人工知能（AI）は飛躍的に知的になっています。ある研究は今世紀中に人工知能の知性が人間並みになると示唆しています。
「機械の知性は人類が発明する必要のある最後のものになる」とニック・ボストロム（Nick Bostrom）氏は言います。哲学者であり技術の研究者でもある彼は、我々が構築しつつある考える機械が動かす世界のことをよく考えるよう求めています。我々の作り出す知的な機械は、人類とその価値を守る助けとなるのでしょうか、それともそれ自身の思惑を持つようになるのでしょうか？
- TED Speaker/TED Attendee: Nick Bostrom（Philosopher）
この議論を進める上では、何より擬人化を避けなければなりません。
私たちはこの問題をハリウッドの鮮明なシナリオ（映画ターミネーターなど）に沿ってではなく、もっと抽象的に考える必要があります。
例として、人工知能に難しい数学の問題を解くことを目的として与えたとします。
人工知能が超知的になったら、この問題を解くための最も効果的な方法は、地球を巨大なコンピュータに変えて思考能力を増大させることだと考えるかもしれません。
このモデルにおいては、人間は人工知能にとって数学的問題を解くのを妨げる邪魔者になりうるのです。
ボストロム氏は「超知的な人工知能を作るのは非常に難しいことです。超知的な人工知能を安全なものにするのはその上にさらなる問題を重ねることになりますが、危険があるのは、誰かが安全を確保するという問題を解決することなく、超知的な人工知能を作る方法を見つけるということです。」と語ります。
そして、「だから私たちは、この制御の問題を前もって解決しておくべきだと思います」と述べます。
- Nick Bostrom’s Home Page（Website）
- The Future of Humanity Institute（University of Oxford）
- イーロン・マスク氏、ホーキング博士、ウォズニアック氏ら、AI自律型兵器禁止を呼び掛け（7/28 佐藤由紀子，ITmedia）
