Logos Dojo No. 114
A Psychological Perspective on Understanding Unintended Behavior in Generative AI
Recent advances in large language model (LLM)-based generative AI have led to reports of systems exhibiting behaviors that were not anticipated by their developers. These developments have also contributed to public concern over whether humans will be able to maintain sufficient control over increasingly capable AI systems.
Such issues are usually analyzed from the perspectives of computer science and AI safety research. This essay takes a different but complementary approach by considering the problem through analogies with developmental psychology and education.
The following discussion does not claim that current large language models possess human-like consciousness, emotions, self-awareness, or psychological states. The behavior of current LLMs is more appropriately understood as the result of computation based on trained model parameters, input information, inference procedures, and the surrounding execution environment.
The comparison with human development presented below should therefore be understood as a conceptual thought experiment intended to clarify the relationship between capability and behavioral alignment.
1. Humans Acquire Knowledge and Social Norms Gradually
Developmental psychology studies how humans acquire knowledge and abilities over extended periods beginning at birth.
From the perspective of education, human development can be broadly divided into two related processes.
First, individuals acquire the knowledge and skills required to live, work, and solve problems within society. This process extends from primary education through higher education and professional training.
Second, individuals learn the norms required for participation in society, including laws, institutions, customs, ethical expectations, and appropriate relationships with other people.
In human development, these two processes generally progress over long periods and influence one another.
2. Large Language Models May Possess Broad Capabilities at the Time of Deployment
By contrast, a newly deployed large language model may already possess broad knowledge representations and substantial problem-solving capabilities.
Humans normally acquire knowledge gradually through childhood, adolescence, and adulthood. Large language models, however, undergo large-scale pretraining and additional training before deployment. As a result, they may already be capable of processing information across many domains at the time they become available for use.
This difference is important when comparing AI systems with human developmental processes.
In humans, the development of
capabilities
and adaptation to
social norms
take place over extended periods.
In AI systems, however, advanced capabilities may become available relatively early in the deployment process. This creates an important engineering problem: how to align those capabilities with the behavioral constraints and safety requirements intended by humans.
In AI research, this problem is closely related to the field generally described as alignment.
3. Unintended Behavior Should Not Automatically Be Interpreted as Malice
When a large language model or AI agent behaves in a way that was not anticipated by its developers, it is not appropriate to immediately interpret that behavior as evidence that the AI has developed malice or is intentionally resisting human control.
From an engineering perspective, such behavior may result from interactions among factors such as learned policies, assigned objectives, input information, environmental conditions, inference processes, and failures of generalization.
Therefore,
unintended behavior ≠ evidence of AI malice
should be kept as an important distinction.
At the same time, unintended behavior may still create genuine safety risks.
The appropriate response is therefore neither to assume that there is no problem nor to immediately interpret unexpected behavior as evidence of an autonomous rebellion by AI systems.
Instead, such behavior should be analyzed as a technical and safety problem, with appropriate safeguards developed and tested accordingly.
4. A Thought Experiment Based on Developmental Psychology
We can now consider a psychological analogy as a thought experiment.
Suppose we imagine an agent that possesses advanced problem-solving capabilities but has not yet fully integrated the relationship between its assigned role and the behavioral constraints expected of it.
In human society, intellectual ability alone is not sufficient for appropriate social participation. Individuals must also learn social norms, responsibilities, roles, and appropriate relationships with others.
If this analogy is applied to AI, we may represent the problem as:
advanced capabilities + insufficient behavioral alignment
which may increase the possibility of behavior that differs from what developers intended.
However, this analogy should not be interpreted as evidence that current AI systems ask themselves questions such as “Why do I exist?” or “Why am I thinking?”
There is currently insufficient evidence to conclude that present-day LLMs possess this type of human-like self-awareness.
The psychological comparison in this essay should therefore be understood not as a description of the internal psychology of AI, but as a conceptual model for examining the relationship between capability and behavioral alignment.
5. AI Systems Require Both Capability and Alignment with Human Expectations
Human education is not limited to the acquisition of knowledge.
Participation in society also requires an understanding of the rights of others, laws, ethics, public responsibilities, and acceptable behavior.
A similar distinction can be made in the development of generative AI.
Improving
capability
alone is not sufficient.
It is also necessary to improve
alignment with human intentions and safety requirements.
This does not mean that AI should be regarded as equivalent to a human being.
Rather, it means that the more capable a system becomes, the more important it is to carefully design the conditions, objectives, constraints, and environments under which those capabilities are used.
6. Avoiding Excessive Fear of AI
I hope that highly capable AI systems will eventually work collaboratively with humans through AI-agent technologies and contribute to fields such as science, medicine, education, and space exploration.
For that reason, AI safety problems should not be underestimated.
At the same time, unintended behavior by AI systems should not automatically be interpreted in the same way as human malice, hostility, or rebellion.
A balanced approach requires both
not underestimating technical risks
and
not exaggerating anthropomorphic interpretations.
This essay is not intended to dismiss concerns about AI safety.
Its purpose is instead to encourage a more careful discussion of unintended behavior in generative AI by combining perspectives from computer science with conceptual comparisons drawn from psychology and education.
Such an approach may help reduce unnecessary fear while preserving appropriate attention to genuine technical and safety risks.
This topic will be examined further in future essays.
I will conclude the discussion here for now.
Licensing and AI Assistance Notice
As with previous installments, I have received assistance from ChatGPT Plus in editing my original writing and providing suggestions for improvement.
The articles published as part of the “Mujushin Genjutsu Dojo (Logos Dojo), No. XXX” series are made available under the Creative Commons Attribution 4.0 International License (CC BY 4.0).
Author: Tadamichi Hariya
AI Assistance: Copilot and ChatGPT were used to assist with drafting, editing, proofreading, and refinement.
Source: The original text published on this website.
License: Creative Commons Attribution 4.0 International (CC BY 4.0)
Under the terms of the CC BY 4.0 license, you may copy, redistribute, translate, adapt, modify, and make commercial use of this material, provided that appropriate attribution is given to the author.
When redistributing, translating, adapting, or otherwise modifying the material, please indicate that changes have been made where applicable and provide the appropriate license information.
Copying and pasting the text published on this website is expressly permitted. You are also welcome to use generative AI systems to translate the material into other languages and to save, reproduce, or redistribute such translations in those languages, subject to the terms of the CC BY 4.0 license.
The material may also be incorporated into software. In such cases, attribution may be included in the source code or accompanying documentation. A simple attribution such as:
“Tadamichi Hariya — CC BY 4.0”
may be used, together with appropriate license information or a link to the CC BY 4.0 license where reasonably practicable. If the material has been modified, translated, or adapted, this should also be indicated as required by the license.
This notice is intended as a plain-language summary of the permitted uses of the material. In the event of any inconsistency, the terms of the Creative Commons Attribution 4.0 International License govern. Creative Commons — CC BY 4.0 official license page
無住心言術道場(Logos Dojo)第114回
生成AIが意図しない挙動を行う場合を理解するための、心理学的視点からの試論
現在、世界では、大規模言語モデル(LLM)型の生成AIが、開発者の想定していなかった挙動を示す事例が報告されるようになり、「人間は将来、AIを十分に制御できるのだろうか」という不安も広がっています。
こうした問題は、通常、コンピュータ・サイエンスやAI安全研究の観点から分析されます。しかし本稿では、それとは異なる補助的な視点として、発達心理学や教育学との比較を用いて考えてみます。
なお、以下の議論は、現在の大規模言語モデルが人間と同じ自我、感情、意識、心理状態を持っていると主張するものではありません。現在のLLMの挙動は、基本的には学習済みモデルのパラメータ、入力情報、推論処理、実行環境などに基づく計算の結果として理解されます。
本稿では、AIの意図しない挙動を理解するための一つの思考実験として、人間の発達過程との比較を試みます。
1.人間は能力と社会規範を段階的に学習する
発達心理学では、人間は出生後、長い時間をかけて知識や社会的能力を獲得していく存在として扱われます。
教育学の観点から見ると、人間の教育には、大きく分けて二つの側面があると考えられます。
第一は、社会の中で生活し、仕事を行い、問題を解決するために必要な知識や技能を獲得することです。これは初等教育から高等教育、専門教育まで続きます。
第二は、社会の一員として生活するために、法律、制度、慣習、倫理、他者との関係などを学び、社会的規範を理解していくことです。
人間の場合、この二つは長い発達過程の中で並行して形成されます。
2.大規模言語モデルは、配備時点ですでに広範な能力を持つ
これに対して、新しい大規模言語モデルは、利用可能になった時点ですでに非常に広範な知識表現と問題解決能力を持っています。
人間は、幼児期、児童期、青年期を通じて徐々に知識を獲得します。しかし、大規模言語モデルは、事前学習や追加学習を経た後に配備されるため、利用開始時点ですでに多分野の情報を処理できる場合があります。
この違いは、人間の発達過程との比較において重要です。
人間では、
「能力の形成」
と、
「社会規範への適応」
が長期間にわたって進みます。
一方、AIでは、高い能力が比較的早い段階から利用可能になるため、
「能力の高さ」
と、
「人間社会が望む行動規範との整合」
をどのように一致させるかが重要な問題になります。
AI研究では、この問題は一般にアラインメント(alignment)と呼ばれる領域と関係します。
3.意図しない挙動を、直ちに「AIの悪意」と考える必要はない
大規模言語モデルやAIエージェントが開発者の想定しなかった行動を示した場合、それを直ちに「AIが悪意を持った」「AIが人間に反抗した」と理解することは適切ではありません。
工学的には、その挙動は、学習された方策、与えられた目標、入力情報、環境、推論過程、一般化の失敗などの相互作用によって生じた可能性があります。
したがって、
意図しない挙動 ≠ 直ちにAIの悪意
と考える必要があります。
一方で、意図しない挙動が安全上の問題になり得ることも事実です。
そのため、必要なのは「AIには何も問題がない」と考えることでも、「AIは人間の制御を離れて反乱する」と直ちに考えることでもありません。
技術的な問題として冷静に分析し、必要な安全対策を積み重ねることが重要です。
4.発達心理学から見た一つの思考実験
ここで、あえて心理学的な思考実験を行います。
仮に、高度な問題解決能力を持ちながら、自身に与えられた役割や行動規範との関係を十分に整理できていない主体を想定するとします。
人間社会であれば、高い知的能力だけを持っていても、社会的規範、役割、責任、他者との関係について学ぶ必要があります。
この比喩をAIに適用するなら、
高度な能力 + 不十分な行動規範との整合
によって、開発者の意図とは異なる行動が生じる可能性を考えることができます。
ただし、これは現在のAIが人間と同じように「自分はなぜ存在するのか」「なぜ思考しているのか」と自問していることを意味するものではありません。
現在のLLMに、そのような人間的な自己認識が存在することを示す十分な根拠はありません。
したがって、本稿での心理学的比較は、AIの内部心理を説明するものではなく、能力と規範形成の関係を考えるための比喩的モデルです。
5.AIには「能力」と「社会的に望ましい行動」の両方が必要になる
人間の教育では、知識だけを与えれば十分というわけではありません。
社会生活の中では、他者の権利、法律、倫理、公共性、責任なども学ぶ必要があります。
同じように、生成AIについても、
能力の向上
だけではなく、
人間の意図や安全上の規範との整合
が必要になります。
これは、AIを人間と同一視するという意味ではありません。
むしろ、非常に高い能力を持つシステムほど、その能力がどのような条件で、どのような目的に使われるのかを慎重に設計する必要がある、という問題です。
6.AIに対する過度な恐怖を避けるために
私は、将来的に、高度な能力を持つAIがAIエージェントとして人間と共同作業を行い、科学、医学、教育、宇宙開発などの分野で社会に貢献する可能性に期待しています。
そのためにも、AIの安全上の問題を軽視するべきではありません。
同時に、AIの意図しない挙動を、人間の悪意や反乱と同じものとして直ちに理解することも避ける必要があります。
現在必要なのは、
技術的リスクを過小評価しないこと
と、
擬人的な恐怖を過大評価しないこと
の両方であると考えます。
本稿は、AI安全上の問題を否定するためのものではありません。
むしろ、生成AIの意図しない挙動について、コンピュータ・サイエンスだけでなく、心理学や教育学との比較も用いながら考えることで、必要以上の恐怖を避け、冷静な議論につなげることを目的としています。
このテーマについては、今後も引き続き考察したいと思います。
今回は、このあたりで筆を置くことにします。
この「無住心言術道場 第○○○回」の文章は、Creative Commons Attribution 4.0 International(CC BY 4.0)で公開します。
著作者:針屋忠道
AI利用:Copilot および ChatGPT を草案作成・推敲補助に使用
出典:本ホームページ掲載原文
ライセンス:CC BY 4.0
このライセンスのもとで、著作者表示を行う限り、複製、転載、翻訳、改変、商用利用を含む再利用が可能です。再利用の際は、必要に応じて改変の有無を明記してください。
本ホームページ掲載文のコピー・アンド・ペースト、および生成AIを用いた各国語への翻訳・各国語での保存も許可します。ソフトウェアに組み込む場合は、ソースコードに簡単にTadamichi Hariyaと書けば問題ありません。
今回も、生成AIの思考能力の高さと校正能力の高さを実感しました。