【IT】iPhone内画像から勝手に児童ポルノを通報するAI『NeuralHash』に「犬の写真と少女の写真を“同一”と判断してしまう」欠陥みつかる

Apple社の児童ポルノ検出技術に欠陥が発見されました。

現在Appleは、アメリカにおいて、個人の持つiPhoneやiCloudを勝手にスキャンして、児童ポルノを通報する「NeuralHash」というAIソフトの導入を進めています。

しかし8月18日にコード共有ウェブサイトGitHubのユーザーがシェアした情報によると、肝心のAIソフト（NeuralHash）が「犬と抽象画」を同じ画像と認識していると発見したとのこと。

iPhoneは膨大な数が世に出回っているため、わずかな誤検出率でも、誤認逮捕を引き起こす可能性があります。

しかし、いったいどうしてNeuralHashは犬の写真と抽象画を「同一」と判断してしまったのでしょうか？

Appleは今年の後半にアメリカで、個人のiPhoneに常駐するタイプの、児童ポルノ検出ソフト「NeuralHash」を導入します。

NeuralHashは数十万にも及ぶ児童ポルノ画像をAIに見せることで学習を行わせ、同じパターンの画像が個人のiCloudにあるかを勝手にスキャンし通報する仕組みをもっています。

またNeuralHashはiPhoneが送受信する画像を監視し、送られてきた児童ポルノ画像をiCloudに入れた場合も、通報が行われることになっているそう。

iPhoneの持ち主が子どもの場合はさらに監視が強くなり、子どもが送受信した画像が児童ポルノだと判断された場合、警告が行われ、さらに子どもが警告を無視すれば両親にも通知されます。

同時に、証拠を押さえるために画像が子どものiPhoneに強制的に保存され、子ども本人が削除不可能になります。

Appleは、このような強力な監視体制を構築するのは全て、児童ポルノを規制するためであると述べています。

そこで今回、コード共有ウェブサイトGitHubのユーザーたちは一足早く、オンラインで公開されているNeuralHashの性能をチェックすることにしました。

https://nazology.net/wp-content/uploads/2021/08/3fbfd87a4492d799b901004116747227-900x506.jpg
監視ソフトは犬の写真と抽象画を同じと認識していた

NeuralHashの性能を確かめるためにあたり、GitHubのユーザーの1人は2枚の画像ペアを比べました。

1枚目は犬の写真、そしてもう1枚の抽象的画像は、犬の写真をもとにNeuralHashに「似ている画像」を作成するように指示したものになります。

ぱっと見ただけでも2枚の画像は大きく異なることがわかります。

しかしNeuralHashはこの2枚を「同一」とみなしていたのです。

https://nazology.net/wp-content/uploads/2021/08/e195b0b8a24048963e18f4eb1c77f095-900x506.jpg
監視ソフトは犬の写真と少女の写真を同じと認識していた

同様のエラーはすぐに、実際の写真を含む他のペア（犬と少女）でもみつかりました。

この結果は、数十万枚の児童ポルノを機械学習したAIと人間の目では、現実（写真のペア）は異なるようにみえていることを示します。

今回の調査により、私たちの端末に導入されるNeuralHashに対する不安が増すことになりました。

Appleは実際に警察に通報を行う前に、人間の目によるダブルチェックを行うとしていますが、それでも専門家たちは、エラーが原因で誤認逮捕が起こり得ると考えているそうです。

なによりNeuralHashによる監視は、警察に通報するかどうかの裁量権が民間の企業に委ねられていることを意味します。

自分にとって児童ポルノでもなんでもない画像がAppleによって児童ポルノだと認定されれば、アカウントが凍結され、警察の介入が行われることになります。

またセキュリティの専門家は、NeuralHashの学習対象を児童ポルノから別のものに変更することで、特定の情報をAppleが収集できるようになると考えています。

そして、その不安は現実のものになっていました。

8月23日、Apple情報専門のニュースサイト『9to5mac』によると、Appleは2019年からiCloud Mailをスキャンしていると判明。

そしてこれまで行われたスキャンには、児童ポルノではない、他のデータを対象にしたスキャンも含まれていたとのこと。

記者たちが「他のデータ」とは何かと尋ねたものの、残念ながら返答は得られなかったようです。

続く

以下ソース
https://nazology.net/archives/95176

★関連板★
■えっちな話題なら”ピンクニュース”
http://mercury.bbspink.com/hnews/
■新作AV情報なら”AV情報＋”
http://mercury.bbspink.com/avplus/

Appleはこれまで、送信者と受信者しかデータを知ることのできない「エンド・ツー・エンド（端から端）」の通信を重視して運営を行ってきました。

AppleはNeuralHashが導入されたとしても、通信中は暗号状態が守られているため「エンド・ツー・エンド（端から端）」は守られていると述べています。

また一部の人々はNeuralHashが導入されることでiPhoneに入り込むデータに不快感を感じるかもしれません。

NeuralHashが導入されると、比較用として用いられる、数十万点に及ぶ児童ポルノ画像のハッシュデータもまた、私たちのiPhoneに入り込むのです。

データは暗号化されており、個人が閲覧することはできませんが、潜在的な児童ポルノのデータを大量にiPhoneに入れることになるのは事実です。

犯罪の検出と個人情報の保護のジレンマは近い将来、日本でも避けて通れない問題になるでしょう。

児童ポルノの規制は必要です。

しかし、その手段が1企業に支配されていいのかどうかは、また別の議論となるのではないでしょうか。