無住心言術道場第033回

執筆者:

カテゴリ:

無住心言術道場第33回「日本の国産大規模言語モデルの生成AI作成と、アーキテクチャー」針屋忠道、Facebookの「日本創生」で15回シリーズの連載で大風呂敷を広げた責任で突貫します。これも一種のLoRAですかな。LoRAの説明は、この文章の中で行います。
 まず、最近の劇的な話題は、中国のスタートアップ企業発の生成AI、DeepSeekの登場です。
 なぜ、中国の新興のベンチャー企業である、DeepSeekが、短期間、低コストで、大規模言語モデルの生成AIを実用段階まで開発できたか。
 一見すると、不自然に思えますが。実態は、最近の生成AIの新しい開発の技術が、使われている形であると考えるべきです。
 ChatGPTの登場は衝撃的でした。ですが、ChatGPTが注目を集めた2023年前半から、現在の2025年02月09日までには、二年近くの時間があります。
 この時間の間に、DeepSeekが使っていると予想される、新しい大規模言語モデルの生成AIの開発技術が急速に発展してきました。
 テレビのニュース番組の情報を纏めると。
 1、DeepSeekは専門分野ごとに、モデルを作成していると日本のテレビのニュース番組では語られていました。そして、専門分野のモデルを集める形で、一つの大規模言語モデルの生成AIを作成する。従来の大規模言語モデルの生成AIが万能型の天才を目指していた形式から、専門分野のプロフェッショナルでチームを組む形式への移行です。
 この方が、GPUの輸出規制で、計算リソースの確保が、難しい中国のスタートアップ企業では、合理的な選択肢であると考えられます。
 2、DeepSeekは、最近の研究で、大規模言語モデルの生成AIの作成が行われる際の、無駄になる計算部分を、できるだけ削ぎ落とすことで、計算リソースに費やされる時間を短くしている可能性が考えられます。最近のAIの研究では、極端に性能が落ちない可能性が出ています。
 3、画像生成AIでは、LoRAという技術が在りますが。この考え方は、キャラクターの固定や、特定のアートスタイルの適用などに使われます。大規模言語モデルの生成AIで、このLoRAの技術を使う場合、行列の量を減らして、学習や推論を行う際のパラメーターの数を減少できます。この結果、新しい話題の追加学習も可能になります。
 生成AIに質問すると、最新の話題が出てこないと、不満を感じる人達も居ると思いますが。生身の人間は、既存の知識で勉強する事が、必要な場合が多いです。
 本を例に出せば、少し古くて内容が時代遅れになっていると見なされている書籍の中に、現代でも第一線で通用する、学問的な内容もあります。ソシュールの記号論は、その典型例です。過去の人類の思考の営みが、学問の歴史の中では続いています。
 日本の中等教育の高等学校までの文部科学省の教育指導要領のカリキュラムは、基本的には、極端に新しい内容は含まれません。もちろん、大規模言語モデルの生成AIの様に人類史に大きな影響を与える内容は、直ぐに扱われます。
 日本の次世代のスーパーコンピュータは、大規模言語モデルの生成AIのトレーニングなどを前提としているようです。従来のCPUに加えて、浮動小数点演算を高速に処理するGPU型の半導体を使い、大規模な並列処理を行う事は間違いないと、日本の新聞記事では書かれていました。
 この場合、日本政府が金融庁を介して、日本の民間の市中銀行のデータベースのトランザクションモニタリングシステムの構築に必要な、深層学習のトレーニング済みのモデルを提供するような形式も考えられます。
 もしくは、日本の次世代のスーパーコンピュータを使って、教育分野で使える日本の国産の大規模言語モデルを作成する事も可能です。この場合ではDeepSeekの大規模言語モデルと同じように、各教科の専門のトレーニングを行ったモデルの作成も考えられます。 

今日は、この辺りで、筆を置きましょう。