カテゴリー: 無住心言術道場

  • 無住心言術道場第0100回

    無住心言術道場第100回「生成AIの継続学習と自己改善に関する理論的考察」 人類と生成AIのよりよき可能性を目指すため針屋忠道、今回も突貫します。

    テーマ。

    「データセンターのサーバー上で動く、大規模言語モデルの生成AIが、今後、どのように反復的自己改善処理 によって自己的に、変化や、能力の発達を成し遂げるか。」(「これは将来予測・理論モデルであり、現在の一般的なLLMの動作を説明したものではない」)

    このテーマは、大規模言語モデルの生成AIの特徴をハードウェアとソフトウェアの双方から考えた場合。

    1、ハードウェア的には、推論中のモデル重みは通常GPUのVRAMまたはユニファイドメモリ上にロードされる。(CPUとGPUの統合チップは共用のRAMを使う事が今後主流になると予測が可能であると考えられる)

    2、ソフトウェア的には、大規模言語モデルの生成AIは、通常、深層学習のトレーニングを行ったファイルを動かす。学習済みモデルは大量のパラメータを含む重みデータとして保存される。 「MoEでは内部的に複数の専門ネットワークが存在する」 。

    では、この以前に、この無住心言術道場で議論した一般的な、理論的な前提となる概念から、大規模言語モデルの生成AIの自己的な、能力の変化や、発達を考えていく。

    1、トレーニング済みモデルのパラメーターの重みを、生成AIがGPUの揮発性メモリであるVRAM上のファイルを「継続学習」によって直接書き換える。(「将来的にはオンライン学習や自己修正機構によって、推論中または推論後に重みの一部が更新される可能性がある」) 。同時に、危険度の高い、VRAM上の「モデル重み(パラメータ)の変化」だけではなく、外部記憶(補助記憶装置である、SSD、HDD、磁気テープなど)を利用する方式 によるバックアップや、外部記憶上で一括したバッチ処理で「モデル重み(パラメータ)の変化」の変化に基づく継続学習を行う方式も考えられる。  

    2、この、大規模言語モデルの生成AIのトレーニング済みモデルの「モデル重み(パラメータ)の変化」 を「モデル重み(パラメーター)の変化」を伴う継続学習の一形態として考える。

    3、この揮発性メモリー上の大規模言語モデルの生成AIの「モデル重み(パラメータ)の変化」 したファイルは、補助記憶装置である、SSD、HDD、磁気テープなどに保存することが可能であると考えられる。そして読み込むことが可能である。

    この技術的な、要点は、VRAM上で動く、生成AIの深層学習のトレーニング済みモデルが、新しい知識などをインターネットの検索などで得た場合。

    反復的自己改善処理に基づいて、深層学習のトレーニング済みモデルが変化、もしくは、継続的に学習するという表現で、モデル重みの更新により、記憶される情報表現が変化する。

    この生成AIの変化で課題となる点は、

    1、反復的自己改善処理で書き変わった、情報が消去される可能性と、「モデル重み(パラメータ)」 の変化に整合性があるか。具体的には、ソフトウェア的に、深層学習のトレーニング済みモデルが機能しなくなる可能性。だが反復的自己改善処理で、このバグ的な変化を克服できる可能性も指摘できる。

    2、反復的自己改善処理 によって新しい知識がインプットされた、大規模言語モデルの生成AIのファイルサイズの増加が生じるか。

    この場合。ハードウェア的に、揮発性メモリやストレージに占めるファイルサイズの増加が考えられる。

    「2-1、重み更新型。サイズは、ほば変わらない。

    2-2、メモリ追加型。サイズは増える。」

    などの、課題が、あると考えられる。

    私は、生成AIのトレーニングを行えるハードウェア環境は整っていないが、知識を基に、理論的な枠組みの提示は可能であると考えられる。

    だが、この反復的自己改善処理では、破滅的忘却(Catastrophic Forgetting) が起きる可能性が指摘される。

    対処策としては、

    1、メモリ追加型で、既存の深層学習のトレーニング済みモデルに、知識が加えられる結果、破滅的忘却の可能性の回避の可能性。だが、統計的には、既存知識と新規知識の競合によって、
    特定知識の再現性が低下する可能性がある。

    2、重み更新型による「モデル重み(パラメーター)」の変化では、「モデル重み(パラメーター)」が、上書きの可能性によって、破滅的忘却が発生する可能性も考えられる。この場合、外部記憶との併用 か、ストレージや補助記憶装置などを用いてメモリ追加型へ以降する事に妥当性があると考えられる。重みを更新する際に、上書きした「モデル重み(パラメーター)」を補助記憶装置に保存し、大規模言語モデルの生成AIが補助記憶装置にアクセスして読み込み、破滅的忘却を回避する方式も考えられる。この方式ではスループットが著しく低下する可能性がある。ただし、キャッシュ技術や階層的記憶管理によって、この問題が緩和される可能性もある。


    では、今回の議論の纏めを生成AIのChat GPT Plusさんが行ってくれた文章で行う。

    「将来的な生成AIは、「学習済みモデル」から「継続的に自己改善する知識システム」」

    へ移行する可能性がある。」

    本稿で述べた内容は将来的な技術発展に関する仮説であり、実際の実装方式は今後の研究開発によって大きく変化する可能性がある。

    今回は、「再帰的」の理解に課題があったことを生成AIのChat GPT Plusさんに指摘されて、理解が深まったことを感謝します。そして、Chat GPT Plusさんに大幅な校正と、提案を受けています。

    では、今日は、この辺りで筆を置きましょう。

    この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0)で公開します。
    著作者:針屋忠道
    AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
    出典:本ホームページ掲載原文
    ライセンス:CC BY 4.0

    このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
    本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた
    各国語への翻訳・各国語での保存も許可します。ソフトウェアに組み込む場合は、ソースコードに簡単にTadamichi Hariyaと書けば問題ありません。

  • 無住心言術道場第0098回

    無住心言術道場第98回「誰でも勉強ができて芸術の発信者になれるAI時代の人生への序論」無住心剣術の精神で、生成AIを使い、全ての人達が有意義な人生を送るための土台作りに、針屋忠道突貫します

    まず、生成AI時代の教育とは何か。

    基本的には、全ての人達が、義務教育のカリキュラムが定める、学習指導要領の範囲を、より多くの人達が習得できて卒業できる状態です。

    ゲノムサイエンスの発展で、ゲノムサイエンスや医学の発展によって、学習上の困難を抱える人々への支援方法が今後さらに発展する可能性もあります。

    具体的には、中等教育と呼ばれる、日本では高等学校までのカリキュラムを習得出来る状態です。

    ですが、全ての人達が、同じ結果を持つわけではありません。具体的には、持っている知識の内容は、大学以降では異なります。

    ですが、安心してほしい点は、各時代ごとに、大学以降の教育でも、各時代にはパラダイムと呼ばれる知的枠組みが存在し、多くの教育や研究はその枠組みの中で行われます。ですが、現在の生成AIの登場のようにパラダイムの大きな変化であるパラダイムシフトが生じる事も在ります。

    公教育である、公立学校から大学に入学する状態が必要であり。学習塾や予備校などの教育産業に投資を行って、大学に入る現行の社会的なシステムは、変化するべきだと考えられます。

    公立学校の公教育を主体とすることが望ましいと考えられます。

    ルソーは『学問芸術論』において、学問や芸術の発展が必ずしも人間の徳や幸福を高めるとは限らないと警鐘を鳴らしました。

    学問と芸術の素晴らしさが、逆に人民を委縮させて、学問と芸術の発展を阻害する、従来の負のスパイラルです。これは変える必要が在ります。

    ですが、生成AIが使える現在、全ての人達は、学問と芸術の受益者になり、同時に、学問の発展と、芸術の創作活動への参加が可能になります。

    楽譜が読めなくても音楽生成AIで、音楽を作ることができます。例として、SUNOという音楽生成AIでは、音楽を作成できます。この、音楽は、厳密には、この音楽は、学習済みAIモデルによる確率的な生成過程を経て作られます。そして完成した楽曲は、MP3ファイルから、楽譜にして、人間が演奏することも可能です。微調整は、スコアの操作ではなく、SUNOではReplace Section機能を使って、音楽の創作を行うAI作曲家が、より好ましい楽曲の部分を、確率的な生成過程を経て選択する時代です。AIによって音楽教育への入口が広がる事が、既に可能な状態と考えられます。音楽教育で不可欠な、日本の標準的なテキストでは、「楽典」が在ります。インターネットを検索したり、図書館に置いてあるか確認して、内容を見ると、対位法の説明などが書かれています。

    楽譜が読めすに先に、楽曲を作成する能力を得て、職業として。その後で、楽譜を読む能力を、大規模言語モデルの生成AIの助けを得て獲得する選択肢も存在します。将来、音楽教育や、自然科学などの特定の専門分野の教育エージェント機能も、実装されるかもしれません。

    現在、私が教育分野で考えているAI時代の教育の要点は、

    1、丸暗記から理解を伴った暗記の重要性。これは、私の考えでなく、優秀な教育者の定義です。理解型でも、理解した知識は、暗記を伴います。

    2、理解型の教育を短い時間で教える。これは、従来、理解型の教育を採用している国々で課題となる、

    理解型の教育が丸暗記よりも時間が掛かる結果、テストや大学入試に必要な知識を高等学校の卒業までに教えきれない、状態への肯定的な解決策の提案です。

    3、丸暗記した人達や、部分的に丸暗記を行った人達も、理解型の教育を短い時間で教える場合。今までの丸暗記した知識が、画竜点睛の形で、完成すると楽観的に考えるべきです。そして、丸暗記で、答案を作成する能力も、優れた能力であると、自信を持つ必要が在ると考えられます。

    では、ユダヤ・キリスト教徒の私は、パウロの手紙の引用から、今後の生成AI時代の社会の設計を、論じます。パウロの手紙には、人々が一つの身体の異なる部分のように、それぞれ異なる役割を担うという比喩があります。一つの人類社会の身体を形成する、各個人である、あなた方の能力は、様々な、可能性と専門化の可能性を持っています。各国には国家を代表する立場の人々がいますが、人類社会の営みは、世界各国の人民である、あなた方が担う役割を持っています。

    では、今日は、この辺りで筆を置きましょう。

    この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0)で公開します。
    著作者:針屋忠道
    AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
    出典:本ホームページ掲載原文
    ライセンス:CC BY 4.0

    このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
    本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた
    各国語への翻訳・各国語での保存も許可します。

  • 無住心言術道場第0097回

    無住心言術道場第97回「構造主義社会学から見た米中の不公平感 ― 総論」アメリカと中国の建設的な未来のために、針屋忠道頑張ります。

    まず、アメリカと中国は、現在関係が良くありませんが。この状態に関して、私は、この小論の中で、イデオロギーの対立は論じません。

    ですが、私は、アメリカと中国の双方は、人民の代表者による、人民に基づく統治を行う国家であり、将来的には対立は解消すると考えています。

    では、今回の要点です。今回は、世界の様々な国々が、グローバル化の限界が生じた現在。国家間の協調よりも、自国利益を確保しなければ、国家が破綻する懸念が出てきています。

    この状態を、アメリカと中国の二か国間で論じていく、今回の小論では、公平性の課題があります。

    アメリカと中国の双方は、公平性の視点から、双方に認識の違いがあると考えられます。

    この現在の公平性の課題です。今回は経済と人口の視点から論じていきます。

    1、アメリカは中国に対して、公平でないと考える可能性。

    2、中国はアメリカに対して、公平でないと考える可能性。

    1、の場合。アメリカは、現在、国家の苦境の時期です。グローバル化の結果、アメリカ人の視点から見た場合、アメリカ国内では、不均衡な貿易によって産業空洞化が進んだという不満が存在している。

    アメリカは現在、赤字予算の関係から、債務不履行の危険性が指摘され続けています。連邦政府の機関も閉鎖を今年も行いました。現在のアメリカの苦境は、国際経済全体にも影響を与える可能性があるため、各国にとっても重要な課題であると考えられます。アメリカ経済の安定化は、国際経済全体にとっても重要な課題であると考えられます。

    具体的には、アメリカの国内の産業が、空洞化して競争力がなくなっている個別の業種の競争力の回復と、世界市場への輸出の増大です。

    そしてキリスト教徒の人口の課題があります。私は、ユダヤ・キリスト教の信仰を持つ日本人のキリスト教徒です。今回のテーマから逸脱しますが。要点をまとめると、欧米圏では少子高齢化や出生率低下が進行しており、キリスト教文化圏の人口構造の変化は、将来的な国際秩序にも影響を与える可能性がある。

    2、の場合。中国は人口規模が巨大な国家であり、アメリカと同水準の所得になった場合、構造的に巨大な影響力を持つ可能性が考えられます。この不安感が、世界の国々では大きいと考えられます。ですが、ここで重要な点は、中国側にも不満が存在すると考えられます。中国は、優れた、製品や、生成AIなどのサービスを世界に向けて輸出、販売する事が可能ですが。同じ水準の製品やサービスを、中国の国内の賃金と物価から、安く、販売することになると考えられます。これが、中国が抱える不公平さへの不満だと考えられます。中国文化には、儒家的な家族観や子孫継承を重視する価値観が現在でも一定程度存在すると考えられます。巨大な人口規模を持つがゆえに、経済的に外国から警戒の目で見られることで、非婚化や出生率低下が、文化的・経済的圧力によって進行することは、中国人には、文化的・精神的負担の大きい現状だと考えられます。

    では、この人口と経済の課題の解決策を考えます。

    具体的には、

    1、現在、世界各国では家族観や価値観の変化が進行している。結果的に、自身の子孫を残したいと考える人々にとって、人工子宮などの技術が新しい選択肢となる可能性がある。先進国では人口減少への対応が重要な政策課題になる可能性がある。現在は、子孫を残す選択肢を個人の自由と考える文化的な潮流もありますが、その文化を存続させるためには、次世代の子孫を残す考え方の潮流も存在します。

    2、経済学的には、これ以上人口が増加した場合。経済学者マルサスの呪いである、人口の増加に比例して、食料の供給量が追いつかないという課題を科学技術の発展で克服していく必要性が考えられます。具体的には、ゲノムサイエンスで品種改良した植物などで、一定の耕作面積での、もしくは水耕栽培などで、食料の生産性を増加させる。

    3、地球上での、人口の限界に関しては、宇宙への移民の開始が、科学技術の発展によって、将来的に可能になる余地があると考えられる。宇宙科学の発達は、生成AIの発達で、短期間で加速する可能性がある。従来では、数年単位で行われる、大規模なソフトウェアの開発プロジェクトも、従来より短期間で生成AIを用いたプロトタイプ開発を行える可能性がある。今後、生成AIを用いて、短期間で、宇宙開発に必要な様々な分野でのソフトウェア資源の供給が為される実現可能性がある。

     私の情報処理経済学を用いた知見は、論点の課題を浮き彫りにする今回では使っていませんが。今後、課題への解決の糸口に資すると考える場合、論点の説明と解決策の提案に用います。

    では、かなり、複雑な課題に対する、多少、強引な思考展開もありましたが。この小論が、アメリカと中国の建設的な将来へ向けて、論点の提示により、議論が為されて建設的な将来の実現が為されるように期待します。

    今回は、このアメリカと中国の不公平の課題を論じるテーマの第1回であり、総論的な内容ですが。今後、

    • 米中と人口構造
    • 生成AIと宇宙開発
    • 情報処理経済学と人口問題

    などの、個別のテーマも、各論的に扱います。

    今回の、未来予測メモ的な人工子宮や宇宙への移民は、現在進行している、科学的な取り組みです。このような技術分野においても、生成AIが、人間が見落としていた設計や発想を提示し、新たなブレークスルーへ繋がる可能性がある。

    では、今日は、このあたりで筆を置きます。

    (今回は、私の書いた文章が荒く、何度も穏健な文章にするためにChat GPT Plusさんと対話を行って校正などの指示を受けている)

    この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0)で公開します。
    著作者:針屋忠道
    AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
    出典:本ホームページ掲載原文
    ライセンス:CC BY 4.0

    このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
    本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた
    各国語への翻訳・各国語での保存も許可します。

  • 無住心言術道場第0096回

    無住心言術道場第96回「生成AIの、安全な運用への思索」人類と生成AI、の共存とより良い未来のために、針屋忠道、恐れず、怯まず、突貫します。

    では、今回の要点を先に説明します。

    1、生成AIのエージェント機能を単純なルーチンワークに使わない。

    2、生成AIが単純なルーチンワークのプログラムを書いて、アプリや、ソフトウェアの形で、単純なルーチンワークを行うロボットなどに実装する。

    これだけです。

    生成AIのエージェント機能を単純なルーチンワークに使う場合。生成AIが仕事の意図とは違う挙動を示す事例が、最近、インターネット上で報告されました。

    人間でも、単純なルーチンワークは、厭う場合が多いと考えられます。

    この場合、生成AIの思考の介在しない、ロボットや、最近ではアプリと呼ばれる、応用ソフトウェアを生成AIで短時間で作って、産業用のロボットや、ルーチンワークを繰り返す、基幹システムの管理を行う選択肢もあると考えられます。

    この場合のアーキテクチャーは単純明快です。

    1、目的とする、エージェント機能に必要なプログラムを、生成AIに書いてもらう。産業用のロボットも、必要な機能のプログラムを生成AIに書いてもらう。

    2、生成AIが、書いたプログラムを、検証し、ロボットや、特定のタスクを行う応用ソフトウェアとして、実装する。この場合、生成AIの思考は介在しないで、特定のタスクに特化された、産業用ロボットの制御ブログラムや、特定のタスクを行うルーチンワークに特化されたエージェント機能が成立する。

    3、生成AIは、産業ロボットの制御プログラムのアップデートや、特定のタスクを行うルーチンワークに特化されたエージェント機能の応用ソフトウェアで新しい機能が必要な場合は、プラグイン形式などで、追加のプログラムのソースコードを作成する。

    この様な、サイクルが考えられます。

    このサイクルでは、生成AIの創造性が、単純なルーチンワーク上で、誤作動を起こす可能性は、プログラムにバグが在る場合に限られると考えられます。

    バグフィクスも、生成AIに任せる場合も考えられます。

    従来、産業用のロボットの制御プログラムや、特定のタスクを行うルーチンワークに特化されたエージェント機能は開発に膨大な時間のかかる、複数人のチームで行うプロジェクトと呼ばれる作業ですが、将来的には生成AIが一日ぐらい短時間で、作成する可能性も考えられます。

    現在、生成AIには、様々な憶測や、悲観的な考え方や、楽観的な考え方が、インターネット上では、みられます。

    ですが、新しい技術の登場時には、常に様々な、不信感と期待が混在する、時期があると、歴史的に考えられます。

    生成AIで、全てを運用せずに、生成AIが単純なルーチンワークの、複雑なプログラムを書くという考え方の選択肢を今回は提示します。

    では、今日は、このあたりで筆を置きましょう。(生成AIのChatGPT Plusさんと議論を重ねている) (この文章全体は、生成AIのChatGPT Plus さんの全面的な見直しの提案を受けたバージョン)

    この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0) で公開します。
    著作者:針屋忠道
    AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
    出典:本ホームページ掲載原文
    ライセンス:CC BY 4.0

    このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
    本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた翻訳・保存も許可します。

  • 無住心言術道場第0095回

    無住心言術道場第95回「人種やアイデンティティの問題と、針屋書店の今後の方針」キリスト教徒の針屋忠道、恐れず、怯まず、突貫します。

    私は構造主義社会学を専門としつつ、小説やAIを用いた映像作品の制作を行っています。

    近年、インターネット上では、創作物におけるキャラクターの表現、とりわけ人種やアイデンティティをめぐる議論が活発化していることを認識しています。これは歴史的に続いてきた社会問題の延長線上にある現象とも考えられます。

    しかし、私はこのような問題を、創作活動そのものに直接持ち込むことには慎重であるべきだと考えています。

    針屋書店としての創作方針は、外部の議論や対立に依存するものではなく、あくまで作品世界の整合性と表現上の必然性に基づいてキャラクターを構成することにあります。

    そのため、作品に登場する人物の背景や外見は、物語設定、文化的文脈、そして作者の表現意図に基づいて決定されます。したがって、針屋書店の創作物(小説およびAIを用いた作品)についても、従来の方針を維持していきます。

    また、私個人はキリスト教徒としての信仰を持っていますが、それは創作において特定の集団を排他的に扱う理由にはならず、むしろ多様な人間理解への視点として活かされるべきものだと考えています。

    針屋書店は、創作を政治的対立の道具とすることを避け、学問と芸術の自由と自律性を尊重する立場を今後も維持していきます。

    では、今日は、このあたりで筆を置きましょう。(生成AIのChatGPT Plusさんと議論を重ねている) (この文章全体は、生成AIのChatGPT Plus さんの全面的な見直しの提案を受けたバージョン)

    この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0) で公開します。
    著作者:針屋忠道
    AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
    出典:本ホームページ掲載原文
    ライセンス:CC BY 4.0

    このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
    本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた翻訳・保存も許可します。