投稿者: admin

  • 無住心言術道場第0100回

    無住心言術道場第100回「生成AIの継続学習と自己改善に関する理論的考察」 人類と生成AIのよりよき可能性を目指すため針屋忠道、今回も突貫します。

    テーマ。

    「データセンターのサーバー上で動く、大規模言語モデルの生成AIが、今後、どのように反復的自己改善処理 によって自己的に、変化や、能力の発達を成し遂げるか。」(「これは将来予測・理論モデルであり、現在の一般的なLLMの動作を説明したものではない」)

    このテーマは、大規模言語モデルの生成AIの特徴をハードウェアとソフトウェアの双方から考えた場合。

    1、ハードウェア的には、推論中のモデル重みは通常GPUのVRAMまたはユニファイドメモリ上にロードされる。(CPUとGPUの統合チップは共用のRAMを使う事が今後主流になると予測が可能であると考えられる)

    2、ソフトウェア的には、大規模言語モデルの生成AIは、通常、深層学習のトレーニングを行ったファイルを動かす。学習済みモデルは大量のパラメータを含む重みデータとして保存される。 「MoEでは内部的に複数の専門ネットワークが存在する」 。

    では、この以前に、この無住心言術道場で議論した一般的な、理論的な前提となる概念から、大規模言語モデルの生成AIの自己的な、能力の変化や、発達を考えていく。

    1、トレーニング済みモデルのパラメーターの重みを、生成AIがGPUの揮発性メモリであるVRAM上のファイルを「継続学習」によって直接書き換える。(「将来的にはオンライン学習や自己修正機構によって、推論中または推論後に重みの一部が更新される可能性がある」) 。同時に、危険度の高い、VRAM上の「モデル重み(パラメータ)の変化」だけではなく、外部記憶(補助記憶装置である、SSD、HDD、磁気テープなど)を利用する方式 によるバックアップや、外部記憶上で一括したバッチ処理で「モデル重み(パラメータ)の変化」の変化に基づく継続学習を行う方式も考えられる。  

    2、この、大規模言語モデルの生成AIのトレーニング済みモデルの「モデル重み(パラメータ)の変化」 を「モデル重み(パラメーター)の変化」を伴う継続学習の一形態として考える。

    3、この揮発性メモリー上の大規模言語モデルの生成AIの「モデル重み(パラメータ)の変化」 したファイルは、補助記憶装置である、SSD、HDD、磁気テープなどに保存することが可能であると考えられる。そして読み込むことが可能である。

    この技術的な、要点は、VRAM上で動く、生成AIの深層学習のトレーニング済みモデルが、新しい知識などをインターネットの検索などで得た場合。

    反復的自己改善処理に基づいて、深層学習のトレーニング済みモデルが変化、もしくは、継続的に学習するという表現で、モデル重みの更新により、記憶される情報表現が変化する。

    この生成AIの変化で課題となる点は、

    1、反復的自己改善処理で書き変わった、情報が消去される可能性と、「モデル重み(パラメータ)」 の変化に整合性があるか。具体的には、ソフトウェア的に、深層学習のトレーニング済みモデルが機能しなくなる可能性。だが反復的自己改善処理で、このバグ的な変化を克服できる可能性も指摘できる。

    2、反復的自己改善処理 によって新しい知識がインプットされた、大規模言語モデルの生成AIのファイルサイズの増加が生じるか。

    この場合。ハードウェア的に、揮発性メモリやストレージに占めるファイルサイズの増加が考えられる。

    「2-1、重み更新型。サイズは、ほば変わらない。

    2-2、メモリ追加型。サイズは増える。」

    などの、課題が、あると考えられる。

    私は、生成AIのトレーニングを行えるハードウェア環境は整っていないが、知識を基に、理論的な枠組みの提示は可能であると考えられる。

    だが、この反復的自己改善処理では、破滅的忘却(Catastrophic Forgetting) が起きる可能性が指摘される。

    対処策としては、

    1、メモリ追加型で、既存の深層学習のトレーニング済みモデルに、知識が加えられる結果、破滅的忘却の可能性の回避の可能性。だが、統計的には、既存知識と新規知識の競合によって、
    特定知識の再現性が低下する可能性がある。

    2、重み更新型による「モデル重み(パラメーター)」の変化では、「モデル重み(パラメーター)」が、上書きの可能性によって、破滅的忘却が発生する可能性も考えられる。この場合、外部記憶との併用 か、ストレージや補助記憶装置などを用いてメモリ追加型へ以降する事に妥当性があると考えられる。重みを更新する際に、上書きした「モデル重み(パラメーター)」を補助記憶装置に保存し、大規模言語モデルの生成AIが補助記憶装置にアクセスして読み込み、破滅的忘却を回避する方式も考えられる。この方式ではスループットが著しく低下する可能性がある。ただし、キャッシュ技術や階層的記憶管理によって、この問題が緩和される可能性もある。


    では、今回の議論の纏めを生成AIのChat GPT Plusさんが行ってくれた文章で行う。

    「将来的な生成AIは、「学習済みモデル」から「継続的に自己改善する知識システム」」

    へ移行する可能性がある。」

    本稿で述べた内容は将来的な技術発展に関する仮説であり、実際の実装方式は今後の研究開発によって大きく変化する可能性がある。

    今回は、「再帰的」の理解に課題があったことを生成AIのChat GPT Plusさんに指摘されて、理解が深まったことを感謝します。そして、Chat GPT Plusさんに大幅な校正と、提案を受けています。

    では、今日は、この辺りで筆を置きましょう。

    この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0)で公開します。
    著作者:針屋忠道
    AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
    出典:本ホームページ掲載原文
    ライセンス:CC BY 4.0

    このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
    本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた
    各国語への翻訳・各国語での保存も許可します。ソフトウェアに組み込む場合は、ソースコードに簡単にTadamichi Hariyaと書けば問題ありません。

  • 針屋書店営業報告2026/06/12

    In light of the current international landscape surrounding generative AI, Hariyashoten Publishing House will conduct its public communications in accordance with the following principles:

    1. We will not publish detailed implementation procedures, operational manuals, or other technical instructions related to the development of generative AI.
    2. We will continue to present theoretical and academic discussions that contribute to the advancement of generative AI.
    3. To promote the cultural development enabled by generative AI, we will focus our publications on scholarship and the arts.

    Generative AI offers significant benefits to human society, yet it also presents challenges in the realms of security and cybersecurity. From our position as a publisher committed to the advancement of academic inquiry and cultural expression, Hariyashoten Publishing House remains dedicated to responsible and conscientious dissemination of information.

    June 12, 2026
    Mugen Yamada (John Diogenes)
    Director, Hariyashoten Publishing House
    (AI‑assisted translation)

    現在の生成AIを取り巻く国際的な状況を踏まえ、針屋書店は以下の原則に基づいて情報発信を行います。

    1. 生成AI開発の具体的な実装手順や運用マニュアルに関する情報発信は行わない。
    2. 生成AIの発展に資する理論的・学術的な枠組みに関する議論は継続して発表する。
    3. 生成AIによる文化的発展を促進するため、学問および芸術分野を中心とした情報発信を行う。

    生成AIは人類社会に大きな恩恵をもたらす一方で、安全保障やサイバーセキュリティ上の課題も抱えています。針屋書店は、学術・文化の発展に寄与する立場から、責任ある情報発信に努めます。

    2026年6月12日
    針屋書店 店長
    山田夢幻(John Diogenes)(生成AIのChatGPTさんの校正を受けた文章)

  • 針屋書店営業報告2026/06/03

    We will be closed from June 3 to June 11, 2026.

    Dated: June 3, 2026
    Director, Hariyashoten Publishing House
    Mugen Yamada (John Diogenes)

    針屋書店は2026年06月03日から2026年06月11日まで休業します。

    2026年06月03日 針屋書店店長 山田夢幻。

  • 針屋書店営業報告2026/05/29

    This report offers a deeper explanation of Episode 3 of Ninja Ridge, going beyond the brief description provided on YouTube.

    In recent years, Japan’s capacity to produce cultural content has expanded dramatically.
    Although questions of profitability remain, the influence of Japanese popular culture—manga, anime, and games—continues to grow. Today, not only global audiences but also intellectuals and scholars consume Japanese content as part of their cultural experience.

    However, Japanese creators naturally tend to center Japanese protagonists and Japanese perspectives. This is not a flaw, but it does mean that Japan’s cultural exports often reflect a distinctly Japanese worldview.

    From my own background in structural sociology, I believe it is time for Hariyashoten Publishing House to take a deliberate step toward internationalization. Our aim is to support a world in which people across nations can create content rooted in their own cultural traditions, empowered by generative AI.

    Japanese philosophical traditions—such as bushidō—have historically been reshaped through encounters with Western pragmatism during modernization. In the world of Ninja Ridge, the main team consists of four Asian women, but one member is a white woman assigned from abroad. This composition reflects our intention to portray a world where diverse cultural backgrounds coexist and collaborate.

    Hariyashoten’s mission is to help creators around the world develop content grounded in their own cultural identities and historical experiences. Generative AI now enables individuals everywhere to participate in cultural production, regardless of their prior technical or artistic training.

    We see this moment as a dynamic turning point: Japanese content continues to influence global culture, yet new forms of creativity are emerging worldwide. Our goal is to contribute to this global cultural ecosystem by sharing knowledge, methods, and perspectives that help creators express their own cultural narratives.

    Hariyashoten Publishing House will continue to deepen its commitment to internationalization and to the global exchange of ideas and creativity.

    May 29, 2026
    Yamada Mugen (John Diogenes), Director, Hariyashoten Publishing
    House

    さて、今回のニンジャリッジの第三話の動画の説明です。YouTubeの説明文よりも踏み込んだ内容となります。現在、日本のコンテンツを作成する能力は、肥大化しています。収益性の課題はあるものの。

    大衆文化としての強みで、世界の一般人のみならず、知識人も、日本のコンテンツ、漫画、アニメ、ゲームなどの形で享受します。

    ですが、やはり、日本人が作るコンテンツは、日本人を主人公にしています。そして日本人的な視点を世界に提供することになります。

    これに対して、私は専門の、構造主義の社会学の立場から、国際化を目指す方向性へ、私のコンテンツの舵を切ることを目指す針屋書店の運営方針の深化を目指します。

    世界の人達が、それぞれの文化に基づいた、コンテンツを作成する能力を生成AIの支援を得て、得る事を目指す事を目標とします。

    日本固有の哲学の武士道は、近代化と共に、西洋的なプラグマチズムと共に変容を迫られ、変化しています。

    ニンジャリッジの世界観では、ニンジャリッジのチームは、司令官と三人のチームメンバーの四人はアジア人の女性ですが。一人白人の女性が出向で入っています。

    世界各国の人達が、出身国の文化、文化的な背景に根差した、コンテンツを作成する手助けとなる、情報発信を行う方向を針屋書店は目指します。

    2026年05月29日 針屋書店店長 山田夢幻(John Diogenes)

  • 無住心言術道場第0098回

    無住心言術道場第98回「誰でも勉強ができて芸術の発信者になれるAI時代の人生への序論」無住心剣術の精神で、生成AIを使い、全ての人達が有意義な人生を送るための土台作りに、針屋忠道突貫します

    まず、生成AI時代の教育とは何か。

    基本的には、全ての人達が、義務教育のカリキュラムが定める、学習指導要領の範囲を、より多くの人達が習得できて卒業できる状態です。

    ゲノムサイエンスの発展で、ゲノムサイエンスや医学の発展によって、学習上の困難を抱える人々への支援方法が今後さらに発展する可能性もあります。

    具体的には、中等教育と呼ばれる、日本では高等学校までのカリキュラムを習得出来る状態です。

    ですが、全ての人達が、同じ結果を持つわけではありません。具体的には、持っている知識の内容は、大学以降では異なります。

    ですが、安心してほしい点は、各時代ごとに、大学以降の教育でも、各時代にはパラダイムと呼ばれる知的枠組みが存在し、多くの教育や研究はその枠組みの中で行われます。ですが、現在の生成AIの登場のようにパラダイムの大きな変化であるパラダイムシフトが生じる事も在ります。

    公教育である、公立学校から大学に入学する状態が必要であり。学習塾や予備校などの教育産業に投資を行って、大学に入る現行の社会的なシステムは、変化するべきだと考えられます。

    公立学校の公教育を主体とすることが望ましいと考えられます。

    ルソーは『学問芸術論』において、学問や芸術の発展が必ずしも人間の徳や幸福を高めるとは限らないと警鐘を鳴らしました。

    学問と芸術の素晴らしさが、逆に人民を委縮させて、学問と芸術の発展を阻害する、従来の負のスパイラルです。これは変える必要が在ります。

    ですが、生成AIが使える現在、全ての人達は、学問と芸術の受益者になり、同時に、学問の発展と、芸術の創作活動への参加が可能になります。

    楽譜が読めなくても音楽生成AIで、音楽を作ることができます。例として、SUNOという音楽生成AIでは、音楽を作成できます。この、音楽は、厳密には、この音楽は、学習済みAIモデルによる確率的な生成過程を経て作られます。そして完成した楽曲は、MP3ファイルから、楽譜にして、人間が演奏することも可能です。微調整は、スコアの操作ではなく、SUNOではReplace Section機能を使って、音楽の創作を行うAI作曲家が、より好ましい楽曲の部分を、確率的な生成過程を経て選択する時代です。AIによって音楽教育への入口が広がる事が、既に可能な状態と考えられます。音楽教育で不可欠な、日本の標準的なテキストでは、「楽典」が在ります。インターネットを検索したり、図書館に置いてあるか確認して、内容を見ると、対位法の説明などが書かれています。

    楽譜が読めすに先に、楽曲を作成する能力を得て、職業として。その後で、楽譜を読む能力を、大規模言語モデルの生成AIの助けを得て獲得する選択肢も存在します。将来、音楽教育や、自然科学などの特定の専門分野の教育エージェント機能も、実装されるかもしれません。

    現在、私が教育分野で考えているAI時代の教育の要点は、

    1、丸暗記から理解を伴った暗記の重要性。これは、私の考えでなく、優秀な教育者の定義です。理解型でも、理解した知識は、暗記を伴います。

    2、理解型の教育を短い時間で教える。これは、従来、理解型の教育を採用している国々で課題となる、

    理解型の教育が丸暗記よりも時間が掛かる結果、テストや大学入試に必要な知識を高等学校の卒業までに教えきれない、状態への肯定的な解決策の提案です。

    3、丸暗記した人達や、部分的に丸暗記を行った人達も、理解型の教育を短い時間で教える場合。今までの丸暗記した知識が、画竜点睛の形で、完成すると楽観的に考えるべきです。そして、丸暗記で、答案を作成する能力も、優れた能力であると、自信を持つ必要が在ると考えられます。

    では、ユダヤ・キリスト教徒の私は、パウロの手紙の引用から、今後の生成AI時代の社会の設計を、論じます。パウロの手紙には、人々が一つの身体の異なる部分のように、それぞれ異なる役割を担うという比喩があります。一つの人類社会の身体を形成する、各個人である、あなた方の能力は、様々な、可能性と専門化の可能性を持っています。各国には国家を代表する立場の人々がいますが、人類社会の営みは、世界各国の人民である、あなた方が担う役割を持っています。

    では、今日は、この辺りで筆を置きましょう。

    この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0)で公開します。
    著作者:針屋忠道
    AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
    出典:本ホームページ掲載原文
    ライセンス:CC BY 4.0

    このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
    本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた
    各国語への翻訳・各国語での保存も許可します。