Googleの傘下にあり、驚異的学習能力をそなえた人工知能を開発するDeepMind社の研究者を含めたグループは、AIが人間のコントロールを拒否し、あるいは人間を害することを止めるための「非常ボタン（big red button）」を開発したことを発表しました。
その研究成果はSafely Interruptible AgentsというPDF文書にまとめられ、ウェブサイト上で公開中です。
今回の発表は、DeepMind社の研究者とFIL関係者の共同によるもの。この文書では、人工知能がいつでも適切に動作するわけではないこと。
よって人間のオペレータが人工知能に有害な行動をやめさせて、安全な状況に導くための「非常ボタン」が必要であると述べられています。
すでに人間のオペレータがいつでも安全に人工知能を中断できる「フレームワーク」は完成しているとのこと。一方では、人間の介入を妨害する方法を学習させない方法も確立しているそうです。
もう少し具体的にいうと、アルゴリズムに「割り込みポリシー」を組み込み、人工知能の振る舞いを強制的に変更するトリガーを仕込んでおき、マシンが自分でそう考えたと「騙す」のだとか。
もともとDeepMind社はGoogleに買収されるに際して社内にAI委員会を設置することを条件としており「人工知能の暴走」には自覚的でした。
この分野でトップを行く同社と、人の手を離れて自律判断するAI兵器にストップをかけるFLIが緊密な協力を続ける限り、『ターミネーター』のスカイネットなどAIが人類に反乱を起こす未来は来ないのかもしれません。
全文
http://japanese.engadget.com/2016/06/06/google/
Safely Interruptible Agents
http://intelligence.org/files/Interruptibility.pdf