「大規模言語モデルは新たな知能か」（岡野原大輔：著）

大規模言語モデルが訓練データを使って学習する過程を人間と比べてみると、結構人間の脳の方が優れているのではないか、という部分が見えてきて興味深い。
今の機械学習は人間よりも学習効率が悪いそうだ。
「（大規模言語モデルは）言語に限らず様々なタスクにおいて、人が学習するときよりも多くの訓練データを使わないと学習しないことがわかっている」
そうだ。
「破滅的忘却」というのも興味深い現象だ。これは、新しいことを覚えると以前覚えていたことを忘れてしまったり、異なる記憶が混ざってしまう現象のようだ。このあたりは人間にとっても「あるある」だろう。
人間の脳が優れている点はそのサイズとエネルギー効率だろう。
本書には、最大規模の言語モデルは数メガワットのエネルギーを消費するのに対して、人間の脳は20ワット程度のエネルギー消費だとの記載がある。
さらに、大規模言語モデルPaLMが学習する際に必要とする、コンピュータパワーの推定値が出ている。
それによると、このような大規模なモデルが1回学習するのに必要なコストは、富岳全体を2ヶ月間占有するほどの規模になり、金額ベースで数億円のレベルになるという。
まさかこれほどの学習コスト（とエネルギー消費）が掛かるとは知らなかった（今のところサイズとエネルギー効率に関しては人間の脳の方が優れモノだ）。

本書を読んで驚くのが「創発」や「自己注意機能」の能力だ。このあたりはIT専門誌などでもあまり語られていない部分だと思う。
創発とはモデルのサイズを漸次大きくしていく中で、ある時点で急に賢くなる（それまで全く解けなかった問題が、ある時点から急に解けるようになる）現象である。
なぜこのようなことが起こるのかはまだ解明されていないが、「宝くじ仮設」や「構成属性文法」などの仮説があるそうだ。
「注意機能」は、データの流れ方を（人の手によらず）モデルが自身で学習する機能であり、
「文中の遠く離れた場所にある情報も効率的かつ正確に集める」ことができるようになるそうだ。
これは人間の脳のニューロン（の配線）が、新しい経路を作る様に似ていて興味深い。
創発や注意機能の解説を読んで感じるのは、「やってみたらそうなった」という偶発性に対する違和感である。
たしかに偶発的に新しい能力を獲得したことには驚きを感じるが、同時にリスクも感じる。
すなわち、人間が意図しなかった能力（悪い面の能力）を獲得するリスクもあるということではないだろうか。
人間が意図しない悪い面が突然現れる事態を想像するとちょっと怖い。

先に大規模言語モデルと人間の（主に脳の）神経回路には似たところがあると記した。
フィードバックもその一つだろう。
「人間が言語をどのように獲得するのかはまだ解明されていないが、予測モデルのフィードバック（予測と実際の結果とのフィードバック）が大きな役割を果たしている可能性がある」そうだ。

本書は（私のように）AIに関わったことがないIT技術者にとっても、大規模言語モデルの全体像（概要）が分かる良書といえるだろう。

・言語の起源

「言語の起源　－人類の最も偉大な発明」（ダニエル・L・エヴェレット：著、白揚社）の著者は、言語の獲得が遺伝子の突然変異の結果であるとか、普遍文法が存在するといった立場を否定している。
言語を獲得する能力が生得的なものだという突然変異説は非常に影響力がある。
この理論はノーム・チョムスキーの研究に由来する。
著者は言語は発明され、そして進化していったという立場であり、言語の進化には文法とシンボルと文化の協業が必要で、それぞれが影響しあうと主張している。

・言語脳科学

「チョムスキーと言語脳科学」（酒井邦嘉：著、集英社インターナショナル）
著者はチョムスキーの言語理論を脳科学の立場から証明する研究を進めている。
著者は現在のAI（大規模言語モデル）には限界があると考えているようだ。
「木構造で成り立っている文を先読み処理（線形順序）だけで扱うのは原理的に不可能である。脳に組み込まれた言語獲得のメカニズムを研究する必要がある」
と記している。

・強化学習と人間の脳

強化学習も人間の脳の仕組みをまねたものだと思われる。人間の強化学習では大脳基底核ループが使われている。
（「感情とはそもそも何なのか」乾敏郎：著）

・予期しない成果

ヴェンキ・ラマクシュリンという分子生物学者が興味深い予測をしている。
「いつの日かコンピュータは全く新しい成果を生むだろう。・・・例えば、証明も概念さえも人間には理解不能な数学の定理である。それは私たちの行ってきた科学の方法とは異なる」
この予測は実際に起こりそうで、想像するとちょっと恐ろしい。
AIが証明した数学の定理を人間が検証する（解明する）日が来るのだろうか？