ChatGPTと会話をしていて、「あとから新しいことを覚えられないの?」と思ったことはありませんか? 前回の記事では、AIが“追加学習”によって以前の知識を失う「破滅的忘却」という現象を紹介しました。
今回は、その根本的な理由――「ChatGPTの“知識”は、どこに、どうやって記録されているのか?」について掘り下げます。
ChatGPT脳内のニューロンの役割
前回も軽く触れましたが、ChatGPTは、無数の人工ニューロン(ノード)と、 それらをつなぐ経路(=シナプス的なもの)で構成された「ニューラルネットワーク」によって動いています。
ここでよくある誤解が、「ニューロン自体が知識を記憶しているのでは?」というもの。
しかし実際、ニューロンはただの関数であり、学習データはニューロン同士を結ぶ”経路”に重みとして刻まれているのです。
重み=学習の成果であり、知識の本体
学習とは何か? それは、「どの経路にどれくらいの重み(係数)をかけるか」を調整する作業です。
- ニューロンAが「耳の形が犬っぽい!」という特徴に反応したとします。
- その出力が、次のニューロンたちに送られるとき、
- 各経路には「この特徴をどれくらい重要と見なすか?」という重みがついています。
この重みは、訓練データをもとに「こういうときはこの経路を強く通す」というふうに自動で調整されます。 そしてこの重みの集合こそが、ChatGPTの知識の正体なのです。
ニューロンは“知識をしまう箱”ではない
人工ニューロン1つ1つは「足し算して、活性化関数に通すだけ」の素朴な処理装置。 そこに情報は保存されません。
だから、「学習した内容は、個々のニューロンに保存されている」のではなく、 「ニューロン間のつながり方(=重みのパターン)として全体に染み込んでいる」のです。
これが、ChatGPTの“知識”が局所的ではなく、全体構造に分散しているといわれる理由です。
なぜ“あとから覚える”のが難しいのか?
CChatGPTにあとから新しいことを覚えさせようとすると、既存の重みに上書きが発生します。
これは、「ノートの最後のページに追記する」ような記憶ではなく、 「ネットワーク全体の接続強度を再調整する」ような再構成が必要になるためです。
たとえば、人間であれば「2024年のオリンピックはどこで開催されたか」をあとから覚えることは簡単ですが、 ChatGPTに同じ情報を与えても、その内容は内部的な知識にはならず、一時的なメモリにしか残りません。
その上でモデル全体を再学習させようとすると、次のような問題が起こります:
- 新しい重みを入れたせいで、他の経路のバランスが崩れる
- 結果、もともと得意だったことまでできなくなる(=破滅的忘却)
たとえるなら、完成された時計の歯車の一部を無理やり入れ替えるようなもの。 少しでもバランスが崩れると、全体の精度が落ちてしまうのです。
まとめ
ChatGPTは、ニューロンという「ただの関数」を何千層にも重ね、 その間のつながりに知識を記録することで、あたかも“理解しているように”ふるまっています。
けれど、「記憶できないはずのChatGPT」が、まるで以前の会話を覚えているかのように自然に話をつなげてくる場面、ありませんか?
次回は、この謎――
「ChatGPTは本当に“会話を覚えている”のか?」
その背後にある仕組みと、私たちが“記憶らしきもの”を感じてしまう理由を解き明かしていきます。
コメント