デイビッド・ワインバーガー（David Weinberger）は『知識の境界線』という著作において、ネットワーク化された知識への認識を通じて、我々に知識の新たな地平を開いてくれた[1]。彼の人工知能時代における知識への見解は、以下のように要約できる：
人間は複雑なシステムを理解しようと努力してきた。しかし、「人間の理解」に基づく予測は、人工知能ほど正確ではない。とはいえ、人工知能は何も真に理解してはいない。
とはいえ、人工知能の予測は人間の理解に基づく予測よりも正確であるため、我々は理解の追求を諦め、我々のために決定を下す人工知能の構築に注力すべきである。
主導権を予測型人工知能に委ねることで、我々は人類の進化の次の段階を迎えることになる[2]。
大規模言語モデルとその背景にある生成AI、そして今急速に発展しているエージェント型AIを通じて、我々は実際にワインバーガーが「人類の進化の次の段階」と呼ぶものに足を踏み入れている。
統計モデル、回帰分析、深層学習技術を活用し、予測型AIは将来の結果や傾向を高精度で予測することを目指している。医療、金融、マーケティング、サプライチェーン管理、法務など多くの産業で応用され、データ駆動型の意思決定、プロセスの最適化、成果の改善に貢献している。
しかし、ワインバーガーが指摘した通り、「理解」は大きな問題である。AIシステムが各分野の意思決定プロセスにおいてますます重要になるにつれ、説明可能なAI（XAI）という要求が生まれてきた。
XAIは、AIシステムをより説明可能にする方法を探求する分野であり、ユーザーがAIの予測や意思決定の背後にある推論プロセスを理解するのを助ける。これにより、XAIは従来の「ブラックボックス」型AIモデルとは区別される。後者は正確な予測や分類を提供するかもしれないが、それらの結論にどのように到達したかについての洞察を与えない。
疑いようもなく、人工知能の未来の鍵は、理解を諦めるべきか、それとも理解可能な人工知能の構築に取り組むべきか、という点にある。
深層学習：極めて暗いブラックボックス
技術の進展に伴い、我々は間もなくいくつかの敷居を越えることになるだろう。その敷居を越えた先では、人工知能の使用には飛躍的な信仰が必要となる。もちろん、我々人間も常に自分たちの思考プロセスを本当に説明できるわけではないが、直感的に信頼し、人間を測る方法を見つけてきた。
言い換えれば、人間が信頼を築くのは、計算可能な透明性に依存するのではなく、身体的直感理解に依存している：我々は付き添いを通じて善意を判断し、応答を通じて存在を確認し、関係を通じて責任を測る。人間とは異なる方法で思考し決定を下す機械にとって、これは可能なのだろうか？
我々はこれまで、その創造者が理解しない方法で動作する機械を作ったことがなかった。過去の道具——槌から蒸気機関、宇宙船からスーパーコンピュータに至るまで——は、精巧で複雑であったにもかかわらず、因果律に従い、論理に従い、その動作方法はすべて人の管理と理解の範囲内にあった。我々はそれらがなぜ動き、何によって止まるかを知っていた。
しかし、深層学習、言語モデル、自己組織化アルゴリズムが誕生した後、状況は一変した。歴史上初めて、我々は自分たちよりも理解し難い創造物を持つことになった。
これらの機械は高次元空間で「思考」し、我々が直感的に感知できない表現と経路を持っている。それらが与える答えは有効だが、説明は不在である。それらの判断は正確だが、その理由は不明である。これらの予測不可能で捉えどころのない知的機械と、どれほど良好なコミュニケーションと付き合いができるか、我々は期待できるのだろうか？これらの問題は、我々を人工知能研究の最前線へと導く。
人工知能は常にこのようなものではなかった。最初から、人工知能の理解可能性、あるいは説明可能性については、二つの見方があった。
多くの人は、規則と論理に従って推論する機械を構築することが最も有意義であると考えた。そうすれば、その内部動作は、いくつかのコードを検査したいと思う誰にとっても透明になるからだ。
他方、機械が生物学から着想を得て、観察と経験を通じて学習すれば、知能はより容易に現れると考える人もいた。これは、コンピュータのプログラミングを機械に委ねることを意味する。プログラマがコマンドを書いて問題を解決するのではなく、プログラムが实例データと必要な出力に基づいて独自のアルゴリズムを生成する。今日最も強力な人工知能システムへと進化した機械学習技術は、まさに後者の経路に従っている。機械が基本的に自分自身をプログラミングしているのである。
いかなる機械学習技術の動作原理も、本質的に手作業でコーディングされたシステムよりも不透明であり、コンピュータ科学者にとってもそうである。これは、すべての将来の人工知能技術が同様に不可知であるという意味ではない。しかし、その性質上、深層学習は特に暗いブラックボックスである。
我々は膨大なデータを投入し、大規模言語モデルは回答、判断、好みなどを生成するが、それがどのようにこれらの結論に到達したかはわからない。その経路は遡れない。その「法則」は検証できない。その偏りは予警できない。それは沈黙の神託者のようである。我々はそれに頼るが、問いただすことはできない。我々はそれに従うが、責任を負わせることはできない。
こうして、技術はもはや単なる道具ではなく、不透明な権力となった。それは制度化された行為者であり、社会において権力を行使する。この権力は暴力を通じて現れるのではなく、規則、基準、アルゴリズムの論理を通じて人間の生活に浸透していく。
このようなブラックボックスに直面すると、システムに対する人の信頼の問題が生じる。ワインバーガーが挙げた古典的な例は、「ディープ・ペイシェント（Deep Patient）」と呼ばれる医療学習の怪物である。ニューヨークのある医科大学院の研究者たちは、それに70万件の完全な病历を入力し、それができることを無制限に探らせた。結果として、その診断と予測は人間の医師の能力をはるかに超えていた。その「ブラックボックス」診断システムは与えた予測を説明できなかったが、ある場合においては、確かに人間の医師よりも正確だったのである。
これが深層学習であり、人間が考えたことも、あるいは想像さえしなかった発見をもたらす。ワインバーガーは言う。「ディープ・ペイシェント」の教訓は、深層学習システムが世界を人間が理解できるものに単純化する必要はない、ということだ。
問題は、ワインバーガーが人工知能に対する人の信頼について深く掘り下げていないことにある。例えば、「ディープ・ペイシェント」の診断が人間の医師よりも正確であっても、それが自分の与えた判断を説明できないなら、医師と患者はそれに信頼を寄せるだろうか？
AI医師が信頼に値するには、三つの条件を満たす必要がある。
第一は説明可能性：患者と医療スタッフが意思決定の論理を理解できること。信頼は結果だけでなく、プロセスの透明性と理解可能性に基づくからである。
第二はアカウンタビリティ（説明責任）：誤りとリスクが明確に帰属でき、責任が遡及して明らかにされること。
第三は倫理の組み込み：アルゴリズムの設計において、患者の尊厳、脆弱性、権利が考慮されること。
患者が結果を受け身で受け入れるだけで、医師の役割が指導者、守護者から徐々にアルゴリズムの実行者へと変われば、倫理的責任の問題が生じる。患者の主導権が奪われ、医師の判断の余地が圧縮され、誤った診断はもはや人間に遡及しにくくなり、アルゴリズムは倫理的責任を負えない。最後に傷つくのは、やはり患者である。
これは、技術が強力であればあるほど、その権力と境界を明確にする必要があることを示している。さもなければ、信頼は単なる見せかけに過ぎなくなる。
人間の信頼：失敗の打撃に耐え難い
人間の信頼は、他の人がどのように思考するかという理解と、それらの思考の信頼性に関する経験的知識に基づいていることが多い。これは心理的安全性を生み出すのに役立つ。
AIは大多数の人にとって、依然としてかなり新しく、馴染みのないものである。それは複雑な分析システムを用いて意思決定を行い、潜在的な隠れたパターンや膨大なデータからの微弱な信号を識別する。
技術的に説明できたとしても、AIの意思決定プロセスは大多数の人にとって通常理解困難である。ましてや、現在の人工知能の発展は理解不可能な方向へと加速している。自分で理解しないことと対話することは不安を引き起こし、我々がコントロールを失ったと感じさせる。
チップメーカーのNVIDIAが発表した自動運転車は、一見すると他の自動運転車と変わらないように見えるが、実際にはGoogle、テスラ、GMが展示したものとは大きく異なり、人工知能の台頭を示している。NVIDIAの車は、エンジニアやプログラマが提供した命令に従わない。代わりに、人間の行動を観察することで運転を学んだアルゴリズムに完全に依存している。
車をこのように走らせることは印象的な偉業である。しかし、少し不安でもある。車がどのように決定を下しているのかが完全に明確ではないからだ。車両センサーからの情報は、巨大な人工ニューラルネットワークに直接入り、それがデータを処理し、ハンドル、ブレーキ、その他のシステムを操作するために必要なコマンドを提供する。その結果は、人間のドライバーが反応するであろうことと一致しているように見える。
しかし、ある日、予期せぬこと——例えば木に衝突したり、青信号で停止したり——をしたらどうなるだろうか？現状では、そうする理由を見つけるのは難しいかもしれない。システムは非常に複雑で、設計したエンジニアさえも単一の行動の原因を切り出すのに苦労する。そして、それに質問することもできない。それがなぜそうするのかを常に説明できるシステムを設計する方法はない。
深層学習などの技術が創造者にとってより理解しやすく、ユーザーに対してより責任あるものにする方法を見つけない限り、いつ失敗が起こるかを予測するのは難しいだろう——そして失敗は避けられない。
MITで機械学習応用を研究するトミ・ヤッコラ（Tommi Jaakkola）教授は言う：
「これは既に重要性を増している問題であり、将来はさらに重要性を増すだろう。投資決定であれ、医療決定であれ、あるいは軍事決定であっても、単に『ブラックボックス』手法に頼りたくはない。[3]」
ヤッコラはAIの一般的な限界と一般的な失敗について重要な見解を示しており、特にAIの実際の応用における問題や、複雑なシナリオですべての変数を考慮できない限界に焦点を当てている。それには以下が含まれる：
AIの誤用——ヤッコラは、AIが技術自体の欠陥によって失敗するのではなく、解決に適さない問題に使用されることが多いと指摘する。誤った応用シナリオは、AI失敗の主な原因の一つである。
データの不完全性——機械学習プロジェクトにおいて、不完全なデータソースの処理は大きな課題である。これは多くのAIプロジェクト失敗の一般的な原因である。
モデルの限界——彼は現在のAIモデルの固有の限界を強調する。例えば、ニューラルネットワークの微小な変化でさえ、必要な情報をすべて捉えられなくなり、複雑な現実のシナリオで予測不可能または誤った動作を引き起こす可能性がある。
システムの堅牢性——ヤッコラの研究は、堅牢で信頼できる機械学習システムを構築する重要性を強調している。これは、特に医療などの重要な応用分野において、公衆の信頼喪失を防ぐために極めて重要である。
ヤッコラの見解は、多くの企業AIプロジェクトやパイロット計画が期待された成果を上げられなかった理由を議論する際によく引用される。ある研究では、失敗率が95%に達する可能性があると示唆されている。したがって、AIに真の価値を発揮させるには、企業はアルゴリズムを最適化するだけでなく、信頼の構築と倫理設計にも注力する必要がある。
これが「信頼できるAI（Trustworthy AI）」の問題につながる。「信頼できるAI」は、AI倫理とガバナンス分野の核心概念であり、技術的、法的、倫理的、社会的な側面において信頼に値するAIシステムを指す。それは性能と効率だけでなく、人間の価値、権利、社会的責任への尊重を強調する。
人工知能システムが日常生活の様々なサービスや製品にますます広く応用されるならば、ユーザーの観点からAIへの信頼の重要性を捉える必要がある。AI駆動のシステムが人間活動の重要な側面でエージェントや半エージェントの道具になるならば、これらの道具がどの程度まで人間の思考、意思決定、行動に影響を与えるかを心配せざるを得ない。
AIを信頼するか否かは、調整弁として、人工知能技術の拡散の程度を著しく制御する可能性がある。ユーザー、機関、社会集団がAIシステムへの信頼を保つとき、彼らはそれを採用し、依存し、リソースを投入することにより、技術応用の普及を加速させる。逆に、不信は採用率を抑制し、潜在的な技術的利点を現実の利益に転換することを妨げる。
この調整効果は技術的側面だけでなく、倫理と社会心理的側面にも深く関わる。信頼は、信頼性と堅牢性、説明可能性と透明性、公平性と無私、プライバシーとセキュリティ、責任の追跡可能性、倫理と法の遵守などの要因の上に築かれる。これらの基盤が欠如すれば、AIの高正確率や高効率でさえも、使用者の認知を得ることは難しい。
以上のことから、信頼できるAIは単なる技術問題ではなく、技術、倫理、社会、法律の総合的な実践であることがわかる。AIシステムはアルゴリズムが先進的であっても、信頼できず、不透明で、偏見が激しく、責任を負えなければ、信頼できるAIとは呼べない。
信頼を破壊することは、文明を破壊すること
だから、理解するか、しないかは、決して軽々しく結論を出せるものではない。我々が賭けている賭け金があまりに大きいからだ。人間の行動の多くの側面も詳細に説明できないのと同様に、人工知能もそのすべてを説明できないかもしれない。
おそらく、これが知能の性質の一つの特徴なのだ。それは理性による説明に晒されるのは一部だけである。他の部分は本能的であり、あるいは潜意識的であり、あるいは捉えどころがない。
もしそうなら、ある段階で、我々は単に人工知能の判断を信じるか（これはワインバーガーの主張である）、あるいは人工知能を使わないか、という選択を迫られるかもしれない。信じるか使わないか、そのような判断は社会的知能に取り入れざるを得ない。
社会が予期される行動の契約の上に築かれているように、我々は人工知能システムを設計・使用する際、我々の社会規範を尊重し、適応させる必要がある。もしロボット戦車や他の殺人機械を作るなら、それらの意思決定が我々の道徳的判断と一致することが重要である。
哲学者のダニエル・デネット（Daniel Dennett）は説明可能性について非常に慎重な態度を取っている。彼は言う：
「もし我々がこれらの機械を使用し、それらに依存するなら、我々がどのように、そしてなぜ答えを得るのかを、可能な限り確固として掌握しよう。しかし、完全な答えがないかもしれないので、我々は人工知能の説明に対して、人間同士の説明と同じように慎重であるべきだ——機械がどれほど賢く見えても。そして、それが我々よりも上手く何をしているかを説明できないなら、それを信じるべきではない。[4]」
慎重である理由は、人類の未来が、ある種の超知能の乗っ取りに関するものではなく、人工知能の普及が文明に対して存続の脅威を構成する可能性があるからだ。この危険は、人間性の脆弱性——自分が何を知っているかを知らず、誰を信じるべきかも知らない——に根差している。
人工知能が仕事に与える影響を心配するよりも、信頼に与える影響を心配すべきである。なぜなら、信頼は文明の最も重要な礎石の一つだからである。
我々はデジタル環境で過ごす時間がますます増えているが、進化は我々のために十分な準備をしていない。同時に、人工知能は自己複製を実現するために進化する可能性が高い。なぜなら、進化は生物有機体に限らないからだ。
このような二極の発展において、我々は医療におけるエキスパートシステムやナビゲーションのGPSなどによる効率向上を支持するが、機械が知覚、記憶、アルゴリズム計算などの基本的タスクの占める割合が日々増加するという危険も見なければならない。そして人々は、これらのシステムを人格化し、彼らが持たない知的能力を与える傾向があるかもしれない。
デネットが懸念したように、人々は本質的に「寄生」的なAIシステムを誤解し、人間ユーザーの理解能力を挑戦し発展させるために建設的に利用するのではなく、誤った解釈をするかもしれない[5]。人工知能の正しい認識は、「人間の代替」ではなく、「人間の可能性の拡張」であるべきだ。
機械学習の台頭は人類史上最も重要な変革の一つであり、ますます多くの機械学習モデルが、現在の図書館や人間の頭と同じように、我々の知識ベースとなるだろう。
しかし、機械学習モデルには「知識」がない。それらはデータパターンの統計的適合に過ぎない。アルゴリズムは相関関係を識別し、傾向を予測できるが、因果関係、背景の意味、倫理的結果を理解しない。それは人間のように自分の判断を振り返ることも、責任を負うこともない。
したがって、モデルの出力が正確であっても、それは説明可能な理由を提供できず、使用者のさらなる質問に応答することもできない。モデルの「知能」は単なる表象であり、真の信頼は依然として人と人との間の理解、応答、責任の上に築かれる必要がある。
人間の認知はパターン認識だけでなく、自己反省、道徳的知覚、感情的応答を含む。アルゴリズムが我々を脆弱、依存、無力な状況に置くとき、我々は知識の性質と用途を再考し、自分の世界を知ることができる生物としての我々が一体誰なのかを再考する必要がある。
*参考文献：
[1] 『知識の境界線』、デイビッド・ワインバーガー著、胡泳・高美訳、山西人民出版社、2014年。
[2] Weinberger, David (2019). Everyday Chaos: Technology, Complexity, and How We’re Thriving in a New World of Possibility. Harvard Business Review Press.
[3] Knight, Will (Apr 11, 2017). “The Dark Secret at the Heart of AI.” MIT Technology Review, https://www.technologyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of-ai/.
[4] Knight, Will (Apr 11, 2017). “The Dark Secret at the Heart of AI.” MIT Technology Review, https://www.technologyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of-ai/.
[5] Dennett, Daniel C. (2017). From Bacteria to Bach and Back: The Evolution of Minds. Penguin, 402-3.