吠えている山田夢幻。でも プロンプトはアクビ。
「AIアートに吠えろ!雄叫びの講義002画像の同一性の継承の失敗と、偶然できた面白い動画」
まず、キャラクター固定の問題は、時間的に解決するとの楽観的な予測から、昨年の2024年は、キャラクターの固定を先送りして、ドンドンと、ノリノリで、今まで綺麗なキャラクターが描けなかったフラストレーションの反動で、画像生成AIで小説のイメージイラストの画像ファイルを作りまくり。動画生成AIで動画を作っていました。実際、音楽生成AIのSUNOでは、ペルソナというボーカルの固定ができるようになりました。
ボーカルの固定で、電脳世紀東京のテーマソング「Full metal faith」のボーカルを、ファンタジー小説の音楽で戦う天才ロッカーJ2Jとして固定に成功して、昨年は電脳世紀東京の第二作品で今年に完成予定の「ノーブルパゴーダ」のテーマソングをJ2Jのボーカルで作れました。
基本的には、IP-AdopterとLoraのどちらが、画像生成AIでのキャラクターの固定に向いているのかが、現在の研究テーマです。
IP-Adopterを使って、秘密結社ドゲッサー編の二話から登場する、クローン人間のドローンパイロットのジーンのキャラクター固定を考えました。ですが、見事に失敗しました。
で、マリネでも、IP-Adopterを使って失敗しました。
ただ、ジーンでもマリネでも、CG画像としてはIP-Adopterを使った場合、面白い作品が出来ました。
目が大きくなりすぎて目指していたリアル系での人物の固定は見事に失敗しましたが。面白いCGを使ったアニメ風の動画ができました。
丁度、3DのCGでポリゴンからモデリングして、ボーンで動かして、レンダリングをするという工程を経て作る、従来の高画質の3DのCGの動画が、画像生成AIと動画生成AIを使いジーンとマリネで出来ました。
これが、それです↓。マリネは、ほぼ同一のプロンプトで、Weekly Portrait用に作ったIP-Adopterを使っていない動画も一緒に掲載するので比較してください。
ジーンIP-Adopter使用
マリネIP-Adopter使用
マリネIP-Adopter使用せず。プロンプトのみ。
この感想は、人によって違うでしょう。
漫画やアニメのようなキャラクターが、3DのCGで綺麗に動く動画は、不気味さや、違和感を感じる人達もいると思います。
アニメ的な表現で、3DのCGで細かい部分が作りこまれる表現方法は、CGが映画やアニメで使われるようになってからの技法です。
今回のテーマは、偶然できた、このジーンとマリネの動画生成AIを使って作った、動画は、今後、3DのCG作品を作る上では、作業工程と時間を大幅に短縮できる可能性への示唆があると考えられます。
私も、3DのCGは、大昔から使われているスプライン型と、現在一般的なポリゴン型で、一応勉強はしています。
リギングと、ボーンの使い方も、一応簡単な3DのCGのモデリングで勉強しています。
ですが、3DのCGは、モデリングやリギングは別々の専門家のアーティストがいる分野です。
3DのCGソフトはプロフェッショナル用では非常に高価です。フリーソフトのBlenderの選択肢もありますが。この場合、グラフィックカードが、特殊な製品が必要になります。ですが、勉強用にモニター一つぐらいの接続では、現在OpenGL用のBlender用のグラフィックカードは比較的安価な価格で現在は手に入ります。仮想通貨のマイニング用途では遅すぎる性能ですから、入手はできると思います。コンピュータの性能は向上し続けて、性能に比較して半導体の価格は、安くなり続けています。
時代の進歩の凄さを実感します。
YouTubeでは3Dモデルと、画像生成AIや動画生成AIの組み合わせの実験を紹介している、動画も在ります。
同一キャラクターの固定問題は、肯定的に早い段階で解決できそうな楽観的な予測を私はしています。
Loraを作るための専用に近い動画の作成方法が、既に、公開されています。
このような技術進歩の速さから、画像生成AIや動画生成AIでは、同一の登場人物や、メカなどの、キャラクターの固定の課題はかなり速く解決できると楽観的に考えられます。
現在、私は、Loraの作成は実験を開始した段階です。
ですが、時間的な制約から、なかなか、Loraの作成の勉強の時間はとれません。
現在、今年中に電子書籍で出版予定の「電脳世紀東京ノーブル・パゴーダ」を書いています。
ちなみに「電脳世紀東京ノーブル・パゴーダ」はKindleでの販売を行う予定は在りません。
山田夢幻と針屋忠道が針屋書店の経営を考える「犬猫談義」で詳細は伝えます。
IP-Adopterも知識自体は昨年の段階であったのですが。どのぐらいの同一キャラクターの固定の精度があるのか、試したのは今年に入ってからです。
IP-Adopterも設定のパラメータを変えれば、リアル系でのキャラクターの固定が可能かもしれませんが。実験は開始した段階です。
Loraも高精度のキャラクター固定を行うために色々と勉強しながら実験を続ける予定です。
現在、新しい技術で、動画生成AIでもLoraを使うことが可能になってきているようです。
喜ばしい時代の進歩です。
では、今回の第002回の講義を終えます。