【SDXL】エロゲCGの生成AIを作る
本気度合いが凄いな
完成したらcivitaiに置いてくれよ そうだな
どこまで進められるかはまだわからないけど
形になればCivitaiに置くかも 学習の進捗が分かるように、400ステップごとにプレビュー画像を生成している。
それをWebページ上で一覧できるようにしたので、下記からアクセスすれば現在のステップや生成画像のクオリティを確認できると思う
http://198.13.48.172/resource/preview/viewer.html
今のところはベースモデルより劣っているのが見て取れるね このまま続けてもあまり良い結果になりそうにないので、パラメータを変えてやり直す予定
現在の設定：
snr_gamma = 4
batch_size = 64
learning_rate = 1e-5
変更予定：
snr_gamma = 1
batch_size = 32
learning_rate = 1e-6 結局3日間の学習は無駄になってしまった。
クラウドGPUの利用料として、だいたい1万円くらい消えた計算になる >>12
そうですね
特にWAIなどは絵師の絵柄も学習しているのでartistの名前を指定するとその絵師が描いたような絵も作れる
無料で利用できるアプリを作ったのでよかったら試してみてください
https://aiart.lovedeep.org
https://i.imgur.com/Z9eslpd.jpeg
https://i.imgur.com/ejuTGzv.jpeg 学習デートの前処理が良くないから学習がうまくいかないみたい
詳しい話についてはまだあとで述べるが
とりあえずGPU代がもったいないので一旦中止する illustriousとかの中韓のファインチューンモデル作ってる奴らは金儲けとセットでやからなー
自腹でクレイジーとか言われてたのnoob作者ぐらいやないか？ >>13
すみません繋がらないんですけど
まだまだエッチな生成させてください！！！！ これ完成したの声優AIと合わせて大手メーカーに売れば死に体のフルプライスパッケージエロゲ産業復活あり得るな >>16
ありがとう
>>17
自宅PCを鯖にしてたけど、今は別作業に使うから一旦止めた 手が空いたので報告
今回の学習データにはRGBAの立ち絵が大量に入っているんだけど、RGB 変換のときに透過を保持せずに処理したせいで、
画像の余白をエッジ複製パディングで埋めてしまい、各水平ラインの色が左右へ引き伸ばされた “横方向の色帯” が大量に発生していた
そのせいで学習データが汚染されたのが失敗の原因の一つと思われる
https://i.imgur.com/Y2oPsbY.png 次の問題は、おそらくキャプション情報の不足が原因
画像に使うキャプションは wd-eva02（タグ生成）と bclip2（自然言語生成）で回したけど、bclip2で生成した自然言語は情報が薄いのでそもそも要らないよね
さらに wd-eva02 は camie-tagger-v2 などと比べると出力タグが少ないので、過学習しやすい状況になっていたと思う DeepDanbooruのこと指してると思うけど、
これはいわば原祖的なタグ付けツールだから、当然今のwd系には及ばないね
作られた当時は画像タグ付けはまだCNN全盛期でtransformerが使われなかったから、精度は今よりだいぶ落ちるはず 教えてくれてありがとう
LoRAは数百〜数千枚の画像だけで作れるから、あまりハードルが高くないよね
例えばこういうIllustriousの学習方法を解説した論文とかがあると参考になると思うけど
https://arxiv.org/html/2409.19946v1 Illustriousはtext encoderも更新対象にしてるけど、こっちはUNetだけ更新してる
そのせいで学習データに新しい絵師の名前が出てきても、うまく学習進まない可能性はあるかもな
ただフル更新だとVRAMが足りなさそうなので
Unetがフルで、text encoderだけLoRAで更新したほうがいいかもしれない 年代タグの決め方について
wikiでは
oldest(~2017年)、old(~2019年)、modern(~2020年)、recent(~2022年)、newest(~2023年)
と決めているが
エロゲCGの場合は2017年と今とでは絵柄はそれほど変わっていないので当てはまらない気がする
以下のようにするのはどうかな
oldest(~2000年・必要ないので学習データに入れない)
old(~2010年)
modern(~2015年)
resent(2015年~) wikiのは多分danbooruのタグの説明に書いてるやつの転記やと思うで
自分で学習させるときは自分の基準でいいと思うよ そうだね
必要な事前調査を怠ると、また無駄に費用をかけてしまうことになるから、そこはできるだけ避けたい
今回の学習用プロンプトの形式は以下のようにしようと思っている：
キャラクター名, アーティスト, レーティング, 一般タグ, 年代
ただ、エロゲのキャラクターは自動タグツールでは検出されず、類似キャラ名に置き換わってしまう問題がある
例えば緑髪のツインテールキャラだと、初音ミクとして学習されてしまうと思う camieは対応しているタグ数が多いけど精度はwdより低いので、
両方を回して結果を組み合わせることにした
general：wd
rating：wd
meta：camie
year：camie
character：camie
artist：camie
copyright：camie 132万枚の画像のタグ付けとVAEによるlatentへの変換処理が一通り終わった
データセットをHuggingfaceへアップロードし終わったら
さっそく3回目のチャレンジへ移行しようと思う このスレを立てる前にも、SD1.5で学習したことが何度かあったので
正確には3回目ではないけどね ローカルPCでGPU使う作業が終わったので、また鯖として画像生成アプリ起動した
前回からの更新点：
・discribe image(img2text)機能を強化
wdの出力だけじゃなくcamieの出力も追加
→ 画像から絵師やキャラ情報も抜けるようになった
試しにゆずソフトのキャラの画像をアップしてみたが無事検出できた
https://i.imgur.com/KdyVo2T.jpeg
https://i.imgur.com/PYtoxly.png
試したい人はどうぞ
https://aiart.lovedeep.org/
画像生成する際はdanbooru用語検索機能とトークン計算機能を活用することをおすすめする 今回の学習はわりと順調に進んでいるので、そろそろモデルに名前を付けようと思う
無難にいくなら「VNCG-illustrious-SDXL」あたりかなと思うけど、ちょっとひねりが足りない気もする WebアプリにNoobAI-XL-vpred10を追加した
ゆくゆくはvpredモデルも作りたいのでこちらをベースにしようと思う 無知で申し訳ないんですけど、これ好きな絵師のイラストだけを学習させることができるの？
もう描いてくれなくなった絵師のエロゲCGが見たいわ 特定のキャラや絵師みたいに限定的な画像を出したいなら、いわゆるLoRAって手法が一番向いてると思う
仕組みとしては、ニューラルネットワークの一部の層の重みだけを更新するやり方で、フル微調整よりも逆伝播で保存する勾配が少なくて済むから、必要なVRAMもだいぶ軽くなる
ただ、LoRAは元のベースモデルに強く依存するので、ベースが不得意な構図や塗りは改善できないかもしれない stripeの審査が通った
適当にホームページを作って上のwebアプリのリンクを載せるとなぜかいけた
ビジネスプランがなくても通るものなのかな
本気で起業を考えたくなってきた 画像生成AIモデルを作れば、いくらでも素晴らしい画像は量産できるから、
少なくとも自分の成果物を飾るのに困ることはなくなりそうだね
https://i.imgur.com/edi3PoR.png
https://i.imgur.com/w7Cc9hD.png ChatGPTにモデルの名前を考えてもらったんだけど
いくつかの候補のうち
Yūnagi-SDXLは一番いいと思う そうだね
ゆずソフトのゲームはサノバしかまともにプレイしたことがないけど
絵が上手いのでいつもお世話になってる 学習の途中で、さらにCG画像を50万枚ほど追加で集めた
これで合計180万枚になったけど、立ち絵や古い年代の低解像度画像を除外すると、実際に使えるのはおよそ100万枚
絵師の数は約824人分
学習が完成すれば、いろんな絵師で自分好みのエロCGを作り放題になれる ちなみに、絵柄が比較的まともという理由で純愛ゲーや萌えゲーをメインに学習している
ただ、それだけだと特殊性癖の再現が難しいので、guilty系のCG画像も学習に組み込む予定 ここ数日でGPUレンタルに注ぎ込んだ費用は、合計でおよそ300ドルになってしまった
https://i.imgur.com/G1cuFA0.jpeg 俺のRTX5070でどうしても
生成AIソフトが起動しないんだよな
4000番代ならいけそうだが 詳しい原因までは分からないけど、
RTX5000シリーズだと最新のNVIDIAドライバーが入っていそうなので、CUDAのバージョンも高めになってるはず
そのせいでPython側のライブラリとの互換性が合わず、動作しない可能性があると思う
個人的なおすすめとしては、直接Windowsにソフトを入れるのではなく、WSL＋Dockerで仮想環境を作ること
そうすればCUDAバージョンの違うコンテナを用意できるので、バージョン依存の問題は解決しやすくなるはず >>54
おそらくその辺で動かないと思うんだけどWindowsには入れないなら
いけるかも、ちょっと調べてみますね うまく行くと好きなだけ美少女を作れるのでぜひ頑張ってください
https://i.imgur.com/QAhJBcU.png webアプリを再起動した
noobai-vpedが生成した絵、案外質が悪いのでひとまずモデル候補から削除した
https://aiart.lovedeep.org/ 