カテゴリー: 無住心言術道場

  • 無住心言術道場第033回

    無住心言術道場第33回「日本の国産大規模言語モデルの生成AI作成と、アーキテクチャー」針屋忠道、Facebookの「日本創生」で15回シリーズの連載で大風呂敷を広げた責任で突貫します。これも一種のLoRAですかな。LoRAの説明は、この文章の中で行います。
     まず、最近の劇的な話題は、中国のスタートアップ企業発の生成AI、DeepSeekの登場です。
     なぜ、中国の新興のベンチャー企業である、DeepSeekが、短期間、低コストで、大規模言語モデルの生成AIを実用段階まで開発できたか。
     一見すると、不自然に思えますが。実態は、最近の生成AIの新しい開発の技術が、使われている形であると考えるべきです。
     ChatGPTの登場は衝撃的でした。ですが、ChatGPTが注目を集めた2023年前半から、現在の2025年02月09日までには、二年近くの時間があります。
     この時間の間に、DeepSeekが使っていると予想される、新しい大規模言語モデルの生成AIの開発技術が急速に発展してきました。
     テレビのニュース番組の情報を纏めると。
     1、DeepSeekは専門分野ごとに、モデルを作成していると日本のテレビのニュース番組では語られていました。そして、専門分野のモデルを集める形で、一つの大規模言語モデルの生成AIを作成する。従来の大規模言語モデルの生成AIが万能型の天才を目指していた形式から、専門分野のプロフェッショナルでチームを組む形式への移行です。
     この方が、GPUの輸出規制で、計算リソースの確保が、難しい中国のスタートアップ企業では、合理的な選択肢であると考えられます。
     2、DeepSeekは、最近の研究で、大規模言語モデルの生成AIの作成が行われる際の、無駄になる計算部分を、できるだけ削ぎ落とすことで、計算リソースに費やされる時間を短くしている可能性が考えられます。最近のAIの研究では、極端に性能が落ちない可能性が出ています。
     3、画像生成AIでは、LoRAという技術が在りますが。この考え方は、キャラクターの固定や、特定のアートスタイルの適用などに使われます。大規模言語モデルの生成AIで、このLoRAの技術を使う場合、行列の量を減らして、学習や推論を行う際のパラメーターの数を減少できます。この結果、新しい話題の追加学習も可能になります。
     生成AIに質問すると、最新の話題が出てこないと、不満を感じる人達も居ると思いますが。生身の人間は、既存の知識で勉強する事が、必要な場合が多いです。
     本を例に出せば、少し古くて内容が時代遅れになっていると見なされている書籍の中に、現代でも第一線で通用する、学問的な内容もあります。ソシュールの記号論は、その典型例です。過去の人類の思考の営みが、学問の歴史の中では続いています。
     日本の中等教育の高等学校までの文部科学省の教育指導要領のカリキュラムは、基本的には、極端に新しい内容は含まれません。もちろん、大規模言語モデルの生成AIの様に人類史に大きな影響を与える内容は、直ぐに扱われます。
     日本の次世代のスーパーコンピュータは、大規模言語モデルの生成AIのトレーニングなどを前提としているようです。従来のCPUに加えて、浮動小数点演算を高速に処理するGPU型の半導体を使い、大規模な並列処理を行う事は間違いないと、日本の新聞記事では書かれていました。
     この場合、日本政府が金融庁を介して、日本の民間の市中銀行のデータベースのトランザクションモニタリングシステムの構築に必要な、深層学習のトレーニング済みのモデルを提供するような形式も考えられます。
     もしくは、日本の次世代のスーパーコンピュータを使って、教育分野で使える日本の国産の大規模言語モデルを作成する事も可能です。この場合ではDeepSeekの大規模言語モデルと同じように、各教科の専門のトレーニングを行ったモデルの作成も考えられます。 

    今日は、この辺りで、筆を置きましょう。

  • 無住心言術道場第032回

    無住心言術道場第32回「一般人がコンピュータを理解する。そして、他人が作ってくれたソフトウェアや、ソースコードを使用する方法」針屋忠道、四年制大学の情報コースを卒業しています。日本の国立大学故に、日本人と日本在住外国人の税金で勉強させて貰った理由から。今回は、公共心が溢れて、無住心剣術の精神で針屋忠道、突貫します。
     まず、針屋忠道が、四年制大学の情報コースを卒業している時点で、ドン引きにならないでください。一応、教員免許を取れば、学校で情報科を教える資格を持っているだけの話です。
     コンピュータ、サイエンスの学位を持っていても、実際のプログラミングの技術を持っていない人達は多いことも事実です。私も自慢は出来ませんが、簡単なプログラムは書けますが大規模プロジェクトのモジュールのソースコード(プログラム)を自力で記述する能力はありません。
     今回のテーマでは、「UNIXという考え方(The UNIX Philosophy」オライリージャパン社。という本を使って説明します。
     この本は重要です。コンピュータ科学が専門で無い人も、一読を勧める重要な本です。活字は少し小さいですが、144ページなので、簡単に読めます。
     判らないところは生成AIに質問すれば教えてくれます。プロンプトエンジニアリングのテクニックとしては「私は、コンピュータに詳しくないですが、専門用語の○○の説明も含めて簡単に○○を教えてください」などの文章をホックスの中に入れて、生成AIが情報科学の専門用語を、説明する際に、別の情報科学の専門用語を使って更に理解が難しくなる悪い状態の解消が考えられます。
     コンピュータの専門用語の知識と理解が深まれば、その人の生成AIに質問する内容も変化しますし、高度化します。それに生成AIは応えてくれます。生成AIは、人間の教師のように馬鹿にしたりしないので安心してください。
     まず、この本の中では、できるだけ、自分で、プログラムを書かないことを勧めています。理由は単純です。
     他人が書いてくれた、プログラムを利用することの方が、自分でプログラムを書くよりも圧倒的に時間的に短いからです。
     まず、スマートフォンや、パソコンを買う場合、オペレーティングシステムが内蔵されています。NAND型フラッシュメモリです。日本語では正式には不揮発性メモリです。簡単に言えば、電源が切れても情報を保存する半導体です。
     このWindowsやmacOSのオペレーティングシステムは、作る事が困難なプログラムです。
     この場合、ソフトウェアを作る時間を短縮して、お金を出して、オペレーティングシステムを買うことになります。他人が作ってくれたソフトウェアを買うという考え方です。
     ですが、UNIX文化のLinuxなどは、オープンソースのソフトウェア文化で、通信費だけで入手することも可能です。もしくはブラウザー経由のクラウドコンピューティングで、サービスを受ける形です。
     ですが、オープンソースのソフトウェアで、利益を得る場合や、使用頻度が多い場合は、オープンソースのソフトウェアの作者が書いた著作を買って印税の形で、尊敬の念を持って感謝することは人間としての道理です。もしくは寄付です。
     日本人は、無料だと、お金を支払わない、悪い癖があります。
     金銭的な余裕が無い場合は、仕方がありませんが。その場合、後で金銭的な余裕が出来た場合は、お金を支払うべきです。
     経済学全般において、資源の有限性やコストの概念を説明する場合。広く使われる「フリーランチはない」という表現は、世界共通の認識であるべきです。
     誰かが働かなければ、無料で、ご飯を食べることは出来ない。という経済学的な警句でもあります。
     寄付の文化が日本で根付くことが、今後は考えられますが。それは、古くは日本古来から続く、神道の文化であり、仏教の文化への、原点回帰であると考えられます。
     今回はWordpressを使ったホームページ作成の説明はしませんが。
     コンピュータを、日本人の一般人が理解することが難しい理由は。多くを積み上げ型で理解していく帰納法型の学習方法が大きな影響を与えていると考えられます。 
     ブラックボックスとして、スマートフォンの操作方法を覚える事が、コンピュータを理解していると考える人達も多いと思います。
     職業訓練としての技能の再訓練である、リスキリングでは、それで良いと考えられますが、コンピュータをハードウェア面とソフトウェア面の双方から、「ざっくり」且つ「正確」に理解する事は、現在では必須だと考えられます。
     今日は、この辺りで、筆を置きましょう。