トレーニング中の損失グラフィックを見ると波動が激しすぎる気がします
それは多分違うカテゴリの画像を一緒に学習データにしたからだと思う
例えばSD絵と普通のCGは全く別種類の画像だが、一緒に学習データにしたせいで
学習過程に雑音が入り、このようなグラフィックになる
https://i.imgur.com/smM3Cdh.png