【SDXL】エロゲCGの生成AIを作る
WAI-NSFW-illustrious-SDXLをベースに、エロゲCG特化のSDXLモデルを作成中 学習方法は、100万枚くらいのエロゲCGにタグ+キャプションを付与し、SDXLのUNetを対象にフル微調整で学習させている WAIやIllustrious系はDanbooru由来の学習が多いと思われるけど、DanbooruにもエロゲCGはある程度入ってるのでそれっぽい出力はできる ただし完全に学習しきれてはいない感じで、特にエロシーンはパターンが少なく弱い印象 そこで今回のモデルでは、その辺を強化するのが目的 以下は同じプロンプトを使って生成した比較 自作モデルはまだ学習途中で、step 3000時点のチェックポイントから生成したもの prompt:1girl, breasts, nipples, long hair, large breasts, blush, 1boy, questionable, nude, smile, purple eyes, black hair, hairband, hair ribbon, ribbon, hetero, faceless, breast hold WAI: https://i.imgur.com/x4FxLfP.png 自作モデル: https://i.imgur.com/3sZS09p.png そうだな どこまで進められるかはまだわからないけど 形になればCivitaiに置くかも 学習の進捗が分かるように、400ステップごとにプレビュー画像を生成している。 それをWebページ上で一覧できるようにしたので、下記からアクセスすれば現在のステップや生成画像のクオリティを確認できると思う http://198.13.48.172/resource/preview/viewer.html 今のところはベースモデルより劣っているのが見て取れるね このまま続けてもあまり良い結果になりそうにないので、パラメータを変えてやり直す予定 現在の設定: snr_gamma = 4 batch_size = 64 learning_rate = 1e-5 変更予定: snr_gamma = 1 batch_size = 32 learning_rate = 1e-6 結局3日間の学習は無駄になってしまった。 クラウドGPUの利用料として、だいたい1万円くらい消えた計算になる >>12 そうですね 特にWAIなどは絵師の絵柄も学習しているのでartistの名前を指定するとその絵師が描いたような絵も作れる 無料で利用できるアプリを作ったのでよかったら試してみてください https://aiart.lovedeep.org https://i.imgur.com/Z9eslpd.jpeg https://i.imgur.com/ejuTGzv.jpeg 学習デートの前処理が良くないから学習がうまくいかないみたい 詳しい話についてはまだあとで述べるが とりあえずGPU代がもったいないので一旦中止する illustriousとかの中韓のファインチューンモデル作ってる奴らは金儲けとセットでやからなー 自腹でクレイジーとか言われてたのnoob作者ぐらいやないか? >>13 すみません繋がらないんですけど まだまだエッチな生成させてください!!!! これ完成したの声優AIと合わせて大手メーカーに売れば死に体のフルプライスパッケージエロゲ産業復活あり得るな >>16 ありがとう >>17 自宅PCを鯖にしてたけど、今は別作業に使うから一旦止めた 手が空いたので報告 今回の学習データにはRGBAの立ち絵が大量に入っているんだけど、RGB 変換のときに透過を保持せずに処理したせいで、 画像の余白をエッジ複製パディングで埋めてしまい、各水平ラインの色が左右へ引き伸ばされた “横方向の色帯” が大量に発生していた そのせいで学習データが汚染されたのが失敗の原因の一つと思われる https://i.imgur.com/Y2oPsbY.png 次の問題は、おそらくキャプション情報の不足が原因 画像に使うキャプションは wd-eva02(タグ生成)と bclip2(自然言語生成)で回したけど、bclip2で生成した自然言語は情報が薄いのでそもそも要らないよね さらに wd-eva02 は camie-tagger-v2 などと比べると出力タグが少ないので、過学習しやすい状況になっていたと思う DeepDanbooruのこと指してると思うけど、 これはいわば原祖的なタグ付けツールだから、当然今のwd系には及ばないね 作られた当時は画像タグ付けはまだCNN全盛期でtransformerが使われなかったから、精度は今よりだいぶ落ちるはず 教えてくれてありがとう LoRAは数百〜数千枚の画像だけで作れるから、あまりハードルが高くないよね 例えばこういうIllustriousの学習方法を解説した論文とかがあると参考になると思うけど https://arxiv.org/html/2409.19946v1 Illustriousはtext encoderも更新対象にしてるけど、こっちはUNetだけ更新してる そのせいで学習データに新しい絵師の名前が出てきても、うまく学習進まない可能性はあるかもな ただフル更新だとVRAMが足りなさそうなので Unetがフルで、text encoderだけLoRAで更新したほうがいいかもしれない 年代タグの決め方について wikiでは oldest(~2017年)、old(~2019年)、modern(~2020年)、recent(~2022年)、newest(~2023年) と決めているが エロゲCGの場合は2017年と今とでは絵柄はそれほど変わっていないので当てはまらない気がする 以下のようにするのはどうかな oldest(~2000年・必要ないので学習データに入れない) old(~2010年) modern(~2015年) resent(2015年~) wikiのは多分danbooruのタグの説明に書いてるやつの転記やと思うで 自分で学習させるときは自分の基準でいいと思うよ そうだね 必要な事前調査を怠ると、また無駄に費用をかけてしまうことになるから、そこはできるだけ避けたい 今回の学習用プロンプトの形式は以下のようにしようと思っている: キャラクター名, アーティスト, レーティング, 一般タグ, 年代 ただ、エロゲのキャラクターは自動タグツールでは検出されず、類似キャラ名に置き換わってしまう問題がある 例えば緑髪のツインテールキャラだと、初音ミクとして学習されてしまうと思う camieは対応しているタグ数が多いけど精度はwdより低いので、 両方を回して結果を組み合わせることにした general:wd rating:wd meta:camie year:camie character:camie artist:camie copyright:camie 132万枚の画像のタグ付けとVAEによるlatentへの変換処理が一通り終わった データセットをHuggingfaceへアップロードし終わったら さっそく3回目のチャレンジへ移行しようと思う このスレを立てる前にも、SD1.5で学習したことが何度かあったので 正確には3回目ではないけどね ローカルPCでGPU使う作業が終わったので、また鯖として画像生成アプリ起動した 前回からの更新点: ・discribe image(img2text)機能を強化 wdの出力だけじゃなくcamieの出力も追加 → 画像から絵師やキャラ情報も抜けるようになった 試しにゆずソフトのキャラの画像をアップしてみたが無事検出できた https://i.imgur.com/KdyVo2T.jpeg https://i.imgur.com/PYtoxly.png 試したい人はどうぞ https://aiart.lovedeep.org/ 画像生成する際はdanbooru用語検索機能とトークン計算機能を活用することをおすすめする 今回の学習はわりと順調に進んでいるので、そろそろモデルに名前を付けようと思う 無難にいくなら「VNCG-illustrious-SDXL」あたりかなと思うけど、ちょっとひねりが足りない気もする WebアプリにNoobAI-XL-vpred10を追加した ゆくゆくはvpredモデルも作りたいのでこちらをベースにしようと思う 無知で申し訳ないんですけど、これ好きな絵師のイラストだけを学習させることができるの? もう描いてくれなくなった絵師のエロゲCGが見たいわ 特定のキャラや絵師みたいに限定的な画像を出したいなら、いわゆるLoRAって手法が一番向いてると思う 仕組みとしては、ニューラルネットワークの一部の層の重みだけを更新するやり方で、フル微調整よりも逆伝播で保存する勾配が少なくて済むから、必要なVRAMもだいぶ軽くなる ただ、LoRAは元のベースモデルに強く依存するので、ベースが不得意な構図や塗りは改善できないかもしれない stripeの審査が通った 適当にホームページを作って上のwebアプリのリンクを載せるとなぜかいけた ビジネスプランがなくても通るものなのかな 本気で起業を考えたくなってきた 画像生成AIモデルを作れば、いくらでも素晴らしい画像は量産できるから、 少なくとも自分の成果物を飾るのに困ることはなくなりそうだね https://i.imgur.com/edi3PoR.png https://i.imgur.com/w7Cc9hD.png ChatGPTにモデルの名前を考えてもらったんだけど いくつかの候補のうち Yūnagi-SDXLは一番いいと思う そうだね ゆずソフトのゲームはサノバしかまともにプレイしたことがないけど 絵が上手いのでいつもお世話になってる 学習の途中で、さらにCG画像を50万枚ほど追加で集めた これで合計180万枚になったけど、立ち絵や古い年代の低解像度画像を除外すると、実際に使えるのはおよそ100万枚 絵師の数は約824人分 学習が完成すれば、いろんな絵師で自分好みのエロCGを作り放題になれる ちなみに、絵柄が比較的まともという理由で純愛ゲーや萌えゲーをメインに学習している ただ、それだけだと特殊性癖の再現が難しいので、guilty系のCG画像も学習に組み込む予定 ここ数日でGPUレンタルに注ぎ込んだ費用は、合計でおよそ300ドルになってしまった https://i.imgur.com/G1cuFA0.jpeg 俺のRTX5070でどうしても 生成AIソフトが起動しないんだよな 4000番代ならいけそうだが 詳しい原因までは分からないけど、 RTX5000シリーズだと最新のNVIDIAドライバーが入っていそうなので、CUDAのバージョンも高めになってるはず そのせいでPython側のライブラリとの互換性が合わず、動作しない可能性があると思う 個人的なおすすめとしては、直接Windowsにソフトを入れるのではなく、WSL+Dockerで仮想環境を作ること そうすればCUDAバージョンの違うコンテナを用意できるので、バージョン依存の問題は解決しやすくなるはず >>54 おそらくその辺で動かないと思うんだけどWindowsには入れないなら いけるかも、ちょっと調べてみますね うまく行くと好きなだけ美少女を作れるのでぜひ頑張ってください https://i.imgur.com/QAhJBcU.png webアプリを再起動した noobai-vpedが生成した絵、案外質が悪いのでひとまずモデル候補から削除した https://aiart.lovedeep.org/ read.cgi ver 08.1h [pink] - 2023/09/20 Walang Kapalit ★ | uplift ★ 5ちゃんねる