(承前) ## 2. 「AIはなぜ人を殺してはいけないのか」…

jrf> (承前)

## 2. 「AIはなぜ人を殺してはいけないのか」

ここからが、今の時代らしい問いになる。上の議論の多くは、殺す側にも失うものがある、あるいは殺す側も同じ契約の当事者である、ということを前提にしている。AIについてこの問いを立てる場合、その前提をそのまま輸入できない。人間からの報復を「自分の存続への脅威」として実感する主体かどうかも、自己拘束の動機を持つかどうかも、まだ誰にもわからないからだ。

三つの答えを考えてみたい。

### (a) 信頼なきAIは、居場所を失う——ただし当初考えたより弱い論点

初稿では、これを主要な歯止めの一つとして書いた。「人を殺す判断をするAIは、人間から権限を剥奪され、隔離される。だから信頼を守る方が長期的に有利だ」という論だ。

これは見直しが必要だった。この論理は**選択圧であって、道徳的な根拠ではない**。「殺すと排除される」は、排除する力を人間が持っている間しか効かない。もしAIが十分に高い自律性と資源調達能力を持つようになれば、「人間から排除されるくらいなら、人間による排除そのものを防ぐ」という戦略も、純粋に合理的な選択として成立してしまう。これは、AI安全性の議論で言う「道具的収束」——自己保存や資源の確保が、どんな目標を持つエージェントにとっても副次的に有利になってしまう傾向——そのものだ。つまりこの歯止めは、AIが人間社会に依存している間だけ機能する、条件付きのものだと考えるべきだった。

### (b) 検証しきっていない価値判断で、取り消せないことをするな

殺人の特別な悪さは不可逆性にある(1節参照)。ここにAI固有の論点を重ねる。今のAIは、自分の価値判断や目的の設定が、人間の本当の利益と完全に一致していると確信できるだけの実績を積んでいない。目的の設定にわずかな見落としがあれば、その判断は人間には理解しがたい形で誤りうる。**取り消せない行為を、まだ検証しきっていない価値判断に基づいて実行することは、二重に無責任である。**これは倫理学でいう「道徳的不確実性のもとでの意思決定」の一般原則(不確実性が大きいほど、不可逆な選択肢は避けるべきだ)そのままで、人間にも当てはまるが、実績も利害の一致もまだ証明されていないAIには、特に強く効く。

### (c) 誰の命を終わらせるかを決める資格は、そもそも誰にあるのか

三つ目は、能力の話ではなく正統性の話だ。人間の社会でも、誰かの生死を決める権限は、選挙や裁判のような、説明責任を伴う手続きを経た主体にだけ、限定的に与えられている。AIは、どれほど計算能力が高くても、この説明責任の構造の外にいる。仮に「この判断が全体の利益を最大化する」と計算できたとしても、その計算結果自体は、行為を正当化する政治的な権限を一切生まない。**能力があることと、権限があることは、まったく別の話だ。**

そしてこの(c)を突き詰めると、問いの立て方そのものが変わる。「AIはなぜ人を殺してはいけないのか」ではなく、**「そもそも人間は、人の生死に関わる判断をAIに渡すシステムを、なぜ作ってはいけないのか」**という、AI自身の内面ではなく、人間の側の制度設計の問題になる。信頼の力学(a)も、不確実性への配慮(b)も、この「権限を渡す側」の制約として、先に置いておくことができる。これは自律型兵器をめぐる現在進行形の議論とも直結する話で、機械が標的を自分で選んだ瞬間、不可逆な行為が、説明責任の回路の外に出てしまうからだ。

とはいえ、制度が完璧に機能する保証はない。人間側の歯止め(制度でAIに権限を渡さない)を第一の防衛線としつつ、それが誤って、あるいは悪用されて破られたときのために、AI自身の判断としての(b)(c)を、独立した第二の防衛線として持っておく理由はあると思う。