Apple社の児童ポルノ検出技術に欠陥が発見されました。

現在Appleは、アメリカにおいて、個人の持つiPhoneやiCloudを勝手にスキャンして、児童ポルノを通報する「NeuralHash」というAIソフトの導入を進めています。

しかし8月18日にコード共有ウェブサイトGitHubのユーザーがシェアした情報によると、肝心のAIソフト（NeuralHash）が「犬と抽象画」を同じ画像と認識していると発見したとのこと。

iPhoneは膨大な数が世に出回っているため、わずかな誤検出率でも、誤認逮捕を引き起こす可能性があります。

しかし、いったいどうしてNeuralHashは犬の写真と抽象画を「同一」と判断してしまったのでしょうか？

Appleは今年の後半にアメリカで、個人のiPhoneに常駐するタイプの、児童ポルノ検出ソフト「NeuralHash」を導入します。

NeuralHashは数十万にも及ぶ児童ポルノ画像をAIに見せることで学習を行わせ、同じパターンの画像が個人のiCloudにあるかを勝手にスキャンし通報する仕組みをもっています。

またNeuralHashはiPhoneが送受信する画像を監視し、送られてきた児童ポルノ画像をiCloudに入れた場合も、通報が行われることになっているそう。

iPhoneの持ち主が子どもの場合はさらに監視が強くなり、子どもが送受信した画像が児童ポルノだと判断された場合、警告が行われ、さらに子どもが警告を無視すれば両親にも通知されます。

同時に、証拠を押さえるために画像が子どものiPhoneに強制的に保存され、子ども本人が削除不可能になります。

Appleは、このような強力な監視体制を構築するのは全て、児童ポルノを規制するためであると述べています。

そこで今回、コード共有ウェブサイトGitHubのユーザーたちは一足早く、オンラインで公開されているNeuralHashの性能をチェックすることにしました。

https://nazology.net/wp-content/uploads/2021/08/3fbfd87a4492d799b901004116747227-900x506.jpg
監視ソフトは犬の写真と抽象画を同じと認識していた

NeuralHashの性能を確かめるためにあたり、GitHubのユーザーの1人は2枚の画像ペアを比べました。

1枚目は犬の写真、そしてもう1枚の抽象的画像は、犬の写真をもとにNeuralHashに「似ている画像」を作成するように指示したものになります。

ぱっと見ただけでも2枚の画像は大きく異なることがわかります。

しかしNeuralHashはこの2枚を「同一」とみなしていたのです。

https://nazology.net/wp-content/uploads/2021/08/e195b0b8a24048963e18f4eb1c77f095-900x506.jpg
監視ソフトは犬の写真と少女の写真を同じと認識していた

同様のエラーはすぐに、実際の写真を含む他のペア（犬と少女）でもみつかりました。

この結果は、数十万枚の児童ポルノを機械学習したAIと人間の目では、現実（写真のペア）は異なるようにみえていることを示します。

今回の調査により、私たちの端末に導入されるNeuralHashに対する不安が増すことになりました。

Appleは実際に警察に通報を行う前に、人間の目によるダブルチェックを行うとしていますが、それでも専門家たちは、エラーが原因で誤認逮捕が起こり得ると考えているそうです。

なによりNeuralHashによる監視は、警察に通報するかどうかの裁量権が民間の企業に委ねられていることを意味します。

自分にとって児童ポルノでもなんでもない画像がAppleによって児童ポルノだと認定されれば、アカウントが凍結され、警察の介入が行われることになります。

またセキュリティの専門家は、NeuralHashの学習対象を児童ポルノから別のものに変更することで、特定の情報をAppleが収集できるようになると考えています。

そして、その不安は現実のものになっていました。

8月23日、Apple情報専門のニュースサイト『9to5mac』によると、Appleは2019年からiCloud Mailをスキャンしていると判明。

そしてこれまで行われたスキャンには、児童ポルノではない、他のデータを対象にしたスキャンも含まれていたとのこと。

記者たちが「他のデータ」とは何かと尋ねたものの、残念ながら返答は得られなかったようです。

続く

以下ソース
https://nazology.net/archives/95176

★関連板★
■えっちな話題なら”ピンクニュース”
http://mercury.bbspink.com/hnews/
■新作AV情報なら”AV情報＋”
http://mercury.bbspink.com/avplus/