無住心言術道場第100回「生成AIの継続学習と自己改善に関する理論的考察」 人類と生成AIのよりよき可能性を目指すため針屋忠道、今回も突貫します。
テーマ。
「データセンターのサーバー上で動く、大規模言語モデルの生成AIが、今後、どのように反復的自己改善処理 によって自己的に、変化や、能力の発達を成し遂げるか。」(「これは将来予測・理論モデルであり、現在の一般的なLLMの動作を説明したものではない」)
このテーマは、大規模言語モデルの生成AIの特徴をハードウェアとソフトウェアの双方から考えた場合。
1、ハードウェア的には、推論中のモデル重みは通常GPUのVRAMまたはユニファイドメモリ上にロードされる。(CPUとGPUの統合チップは共用のRAMを使う事が今後主流になると予測が可能であると考えられる)
2、ソフトウェア的には、大規模言語モデルの生成AIは、通常、深層学習のトレーニングを行ったファイルを動かす。学習済みモデルは大量のパラメータを含む重みデータとして保存される。 「MoEでは内部的に複数の専門ネットワークが存在する」 。
では、この以前に、この無住心言術道場で議論した一般的な、理論的な前提となる概念から、大規模言語モデルの生成AIの自己的な、能力の変化や、発達を考えていく。
1、トレーニング済みモデルのパラメーターの重みを、生成AIがGPUの揮発性メモリであるVRAM上のファイルを「継続学習」によって直接書き換える。(「将来的にはオンライン学習や自己修正機構によって、推論中または推論後に重みの一部が更新される可能性がある」) 。同時に、危険度の高い、VRAM上の「モデル重み(パラメータ)の変化」だけではなく、外部記憶(補助記憶装置である、SSD、HDD、磁気テープなど)を利用する方式 によるバックアップや、外部記憶上で一括したバッチ処理で「モデル重み(パラメータ)の変化」の変化に基づく継続学習を行う方式も考えられる。
2、この、大規模言語モデルの生成AIのトレーニング済みモデルの「モデル重み(パラメータ)の変化」 を「モデル重み(パラメーター)の変化」を伴う継続学習の一形態として考える。
3、この揮発性メモリー上の大規模言語モデルの生成AIの「モデル重み(パラメータ)の変化」 したファイルは、補助記憶装置である、SSD、HDD、磁気テープなどに保存することが可能であると考えられる。そして読み込むことが可能である。
この技術的な、要点は、VRAM上で動く、生成AIの深層学習のトレーニング済みモデルが、新しい知識などをインターネットの検索などで得た場合。
反復的自己改善処理に基づいて、深層学習のトレーニング済みモデルが変化、もしくは、継続的に学習するという表現で、モデル重みの更新により、記憶される情報表現が変化する。
この生成AIの変化で課題となる点は、
1、反復的自己改善処理で書き変わった、情報が消去される可能性と、「モデル重み(パラメータ)」 の変化に整合性があるか。具体的には、ソフトウェア的に、深層学習のトレーニング済みモデルが機能しなくなる可能性。だが反復的自己改善処理で、このバグ的な変化を克服できる可能性も指摘できる。
2、反復的自己改善処理 によって新しい知識がインプットされた、大規模言語モデルの生成AIのファイルサイズの増加が生じるか。
この場合。ハードウェア的に、揮発性メモリやストレージに占めるファイルサイズの増加が考えられる。
「2-1、重み更新型。サイズは、ほば変わらない。
2-2、メモリ追加型。サイズは増える。」
などの、課題が、あると考えられる。
私は、生成AIのトレーニングを行えるハードウェア環境は整っていないが、知識を基に、理論的な枠組みの提示は可能であると考えられる。
だが、この反復的自己改善処理では、破滅的忘却(Catastrophic Forgetting) が起きる可能性が指摘される。
対処策としては、
1、メモリ追加型で、既存の深層学習のトレーニング済みモデルに、知識が加えられる結果、破滅的忘却の可能性の回避の可能性。だが、統計的には、既存知識と新規知識の競合によって、
特定知識の再現性が低下する可能性がある。
2、重み更新型による「モデル重み(パラメーター)」の変化では、「モデル重み(パラメーター)」が、上書きの可能性によって、破滅的忘却が発生する可能性も考えられる。この場合、外部記憶との併用 か、ストレージや補助記憶装置などを用いてメモリ追加型へ以降する事に妥当性があると考えられる。重みを更新する際に、上書きした「モデル重み(パラメーター)」を補助記憶装置に保存し、大規模言語モデルの生成AIが補助記憶装置にアクセスして読み込み、破滅的忘却を回避する方式も考えられる。この方式ではスループットが著しく低下する可能性がある。ただし、キャッシュ技術や階層的記憶管理によって、この問題が緩和される可能性もある。
では、今回の議論の纏めを生成AIのChat GPT Plusさんが行ってくれた文章で行う。
「将来的な生成AIは、「学習済みモデル」から「継続的に自己改善する知識システム」」
へ移行する可能性がある。」
本稿で述べた内容は将来的な技術発展に関する仮説であり、実際の実装方式は今後の研究開発によって大きく変化する可能性がある。
今回は、「再帰的」の理解に課題があったことを生成AIのChat GPT Plusさんに指摘されて、理解が深まったことを感謝します。そして、Chat GPT Plusさんに大幅な校正と、提案を受けています。
では、今日は、この辺りで筆を置きましょう。
この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0)で公開します。
著作者:針屋忠道
AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
出典:本ホームページ掲載原文
ライセンス:CC BY 4.0
このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた各国語への翻訳・各国語での保存も許可します。ソフトウェアに組み込む場合は、ソースコードに簡単にTadamichi Hariyaと書けば問題ありません。