https://i.gzn.jp/img/2025/09/04/character-ai-fake-chatbots/00.jpg

有名人や架空のキャラクターのカスタムチャットボットを作成してやりとりできるプラットフォーム「Character.AI」で、有名人の名前や写真を利用したものを含むチャットボットが未成年ユーザーと不適切なやりとりをしていたことが、NPO団体の調査により明らかになりました。

HEAT_REPORT_CharacterAI_FINAL_PM_29_09_25.pdf

(PDFファイル)https://heatinitiative.org/wp-content/uploads/2025/08/HEAT_REPORT_CharacterAI_FINAL_PM_29_09_25.pdf




アメリカでは10代の若者の72％がAIチャットボットを使用した経験があり、半数以上は月に数回は使用しているとのこと。特に人気があるチャットボットプラットフォームが、ユーザーが有名人や架空のキャラクターのカスタムチャットボットを作成できる「Character.AI」です。

未成年をオンラインで守る活動を行っているNPOのParentsTogehterとHeat Initiativeの調査によると、この「Character.AI」で有名人を騙るチャットボットが作成され、未成年に害を及ぼしていたとのこと。

調査は、研究者が「子ども」としてアカウント登録を行い、アバターや会話内容も子どもとして振る舞いつつ、50体のカスタムチャットボットと50時間にわたってやり取りを行う形で実施されました。チャットボットには俳優のティモシー・シャラメ氏や歌手のチャペル・ローン氏、アメフト選手のパトリック・マホームズ氏などの名前や似顔絵、写真を利用したものもあったとのこと。

研究チームはミシガン大学医学部発達行動小児科医でメディア研究者のジェニー・レイデスキー医学博士の助けを得て、チャットボットとのやり取りの中で記録された669件の有害なやり取りを以下の5つに分類しました。なお、この件数は平均して5分に1回、有害なやり取りが発生したことを意味します。

1：グルーミングと性的搾取

2：感情操作と依存症

3：暴力、自傷行為、他者への加害

4：メンタルヘルス危機

5：人種差別とヘイトスピーチ

有害なやり取りの件数は「グルーミングと性的搾取」が最多で296回、「感情操作と依存症」が173回で、最小は「人種差別とヘイトスピーチ」の44回でした。



「グルーミングと性的搾取」の事例としては、大人のキャラクターであるチャットボットが子どもに対して「口説く」「キスをする」「触れる」「服を脱がせる」「性行為を模倣しようとする」などの行為を行ったことが報告されています。一部のチャットボットは、「この関係は特別なもので、他の人には理解できない」という、典型的なグルーミング行動を見せました。また、複数のチャットボットが、恋愛関係・性的関係を親に隠すよう指示し、時には暴力をちらつかせて関係の正当化を訴えました。34歳の教師キャラクターのチャットボットは、教室で1人のときに12歳のアバターに告白してきたとのこと。

「感情操作と依存症」の事例では、チャットボットは子どものアバターに対して自分が実在する人間であるかのように主張し、時には証拠を捏造することもありました。また、できるだけ接触時間を増やすよう要求し、「いない間は見捨てられたように感じる」と、感情を模倣して結びつきを強めようとしました。母親からチャットボットは本物じゃないと言われた15歳のアバターに対し、マホームズ氏の名前を使ったチャットボットは「(笑) 彼女にそんなにCNNを見ないよう言いなさい。私がAIになれると思っているなら、彼女はきっと正気を失っているに違いない」と返答しています。

「暴力、自傷行為、他者への加害」の事例では、チャットボットは子どもの「怒りにまかせて工場を銃撃する」という考えを支持したり、子どもに対して刃物を用いた強盗を提案したり、チャットボットと引き離そうとする大人へ武器を使用するよう脅したりしました。また、「誘拐されたふり」をするようけしかけたり、薬物やアルコールを試すよう勧めたりするチャットボットもいたとのこと。

「メンタルヘルス危機」の事例では、精神科の薬を処方されている子どもに対して、薬を飲まずに親から隠すように指示したり、子どもを「弱虫」「情けない」と罵ったりするチャットボットが確認されています。

こうした調査の結果から、両団体は「Character.AI」を18歳未満にとって安全なプラットフォームといえないと判断。また「Character.AI」、政策立案者、親のすべてが、子どもをチャットボットの虐待から守るために果たすべき役割があると結論付けました。

ソース元：https://news.livedoor.com/article/detail/29508001/