『スーパーインテリジェンス』

オックスフォード大学の未来研究者ニック・ボストロムが、汎用人工知能（AGI）の登場がもたらしうるリスクを体系的に論じた現代AI倫理の記念碑的著作。

【内容】

本書はまず、人間の水準を超える知性『スーパーインテリジェンス』が到来しうる複数の経路（AIの改善、全脳エミュレーション、生物学的強化、集合的知性、ネットワーク）を概観する。続いて、自己改善が急速に進む「知能爆発」のシナリオ、最初に超知性を獲得した勢力が他を出し抜いて一極支配を築く「決定的戦略優位」、与えられた目標をあくまで最大化しようとする「インストゥルメンタル・コンヴァージェンス」などの概念が導入される。そのうえで、人間にとって致命的な結果を生まないための「価値の読み込み問題」「目標の整合性」「コンテナ設計」「人間との相互監視」などの制御戦略が順に検討される。

【影響と意義】

本書はAIセーフティ研究を学問的・政策的な議論の表舞台に引き上げ、オープンフィランソロピー、効果的利他主義、AIガバナンスの動きに強い影響を与えた。イーロン・マスク、ビル・ゲイツらが公に推薦したことも知られる。

【なぜ今読むか】

生成AIと大規模言語モデルが実社会に浸透し、汎用知性への議論が現実味を帯びる今、「制御できない知性を作らないための原理」を真剣に考える最初の足場として、本書は不可欠の現代古典である。