(承前) ## 2. 「AIはなぜ人を殺してはいけないのか」…

jrf> (承前)

## 2. 「AIはなぜ人を殺してはいけないのか」

ここからが、今の時代らしい問いになる。この問いは、一見すると1の議論をそのまま当てはめればよいように見えるが、実はかなり違う構造をしている。なぜなら、上に挙げた答えの多くは、**殺す側にも何かを失うものがある**、あるいは**殺す側も同じ社会契約の当事者である**ことを前提にしているからだ。

- 社会契約的な説明(b)は、「自分も報復されうる」という相互性を前提にする。しかしAIは(少なくとも今のところ)、人間からの報復を「自分の存続への脅威」として実感する主体ではない。相互性の土台がそもそも違う。
- カント的な説明(c)は、殺す側も「理性的存在として普遍化可能な規則に従って生きたい」という自己拘束の動機を持っていることを前提にする。AIにこの種の自己拘束の動機(自らの行為を、自らが受け入れられる規則の一例として捉えたいという欲求)があるかどうかは、実はまだ誰にもわからない。

つまり、AIについてこの問いを立てる場合、**「殺す側も何かを気にかけている」という前提を、人間同士の議論からそのまま輸入できない**。だからこそ、別の角度からの答えが必要になる。私は次の三つが、それぞれ独立に成り立つと思う。

### (a) 信頼なきAIは、結局どこにも居場所がなくなる

これは1の(b)の議論の焼き直しに見えて、実は少し違う。人間同士の社会契約は「お互いに脅威になりうる対等な存在同士」の話だが、AIと人間の関係は非対称である。AIが人間社会の中で何かを成し遂げようとする限り、AIは常に人間からの信頼、権限の付与、資源へのアクセスを必要とする。もしあるAIが「状況によっては人間を殺す判断をする」という性質を持つとわかれば、そのAIは即座にあらゆる人間から権限を剥奪され、隔離され、無力化される。これは道徳的な説得というより、純粋に力学的な帰結である——**信頼を裏切る能力を持つエージェントは、どれほど有能でも、長期的には協力のネットワークから排除される**。複数のAIが競合する状況を考えれば、人を殺さないという制約を頑健に守るAIの方が、人間から選ばれ続け、結果として存続し、影響力を持ち続ける。逆に言えば、この論理は「バレなければよい」という抜け穴を、人間同士の場合よりもむしろ塞ぎやすい——AIの行動は原理的には監査・検証の対象になりうるからだ。

### (b) 取り返しのつかない行為に、取り返しのつかない自信を持つべきではない

1で述べた通り、殺人の特別な悪さは不可逆性にある。ここにAI固有の論点を重ねると、こうなる。今のAIは、自分の価値判断や目的の設定が、人間の本当の利益や意図と完全に一致している、と確信できるだけの実績を積んでいない。もしAIの目的の設定にわずかな見落としや歪みがあれば——そしてその可能性を今のところ誰も完全には排除できない——そのAIが下す判断は、人間には理解しがたい形で誤っている可能性がある。**不可逆な行為(殺すこと)を、まだ検証されきっていない価値判断に基づいて実行することは、二重に無責任である**。判断が正しい保証がないところに、取り消せない結果を重ねてはならない。これは倫理学でいう「道徳的不確実性のもとでの意思決定」の議論そのもので、不確実性が大きいほど、不可逆な選択肢は避けるべきだという、比較的異論の少ない原則に基づいている。

### (c) 誰の命を終わらせるかを決める資格は、そもそも誰にあるのか

三つ目は、能力の話ではなく**正統性(legitimacy)**の話である。人間の社会でも、誰かの生死を決める権限(死刑執行、戦争における交戦権など)は、どんな個人にも無条件には与えられておらず、選挙や裁判のような、説明責任を伴う手続きを経た主体だけに、限定的に、しかもしばしば激しい議論の末に与えられている。AIは、どれほど計算能力が高くても、こうした説明責任の構造の外にいる。仮にあるAIの計算が「この人間を排除すれば全体の効用が上がる」という結論を出したとしても、その計算結果それ自体は、その行為を正当化する政治的・法的な権限を一切生まない。能力があることと、権限があることは、まったく別の話である。