2021年以降、数十人の少年が脅迫者の被害を受けて自殺しているという報告を受けて、Appleは潜在的な被害者を守るためにコミュニケーションセーフティ機能に頼っているが、それだけでは十分ではないと批判する人もいる。
詐欺師にだまされて露骨な画像を提供させられたり、脅迫目的でAIを駆使して偽の画像を作成したりした10代の若者が、脅迫の被害に遭うケースが増加しています。その結果はしばしば悲惨です。
ウォール・ストリート・ジャーナルの最新記事では、自身の露骨な画像（実在する、あるいは偽造された）が公開される屈辱に耐えかねて、最終的に自ら命を絶った若い被害者たちのプロフィールが紹介されています。こうしたコンテンツは、児童性的虐待コンテンツ（CSAM）として知られています。
プロフィールでは、若者が iPhone のメッセージングを暗黙的に信頼していることが問題の一因であると述べている。
WSJの記事には、高校のチアリーダーチームのコーチであるシャノン・ヒーコックさんと16歳の息子イライジャ君の話が掲載されています。イライジャ君はいつものように母親に翌日の予定をメールで伝えた後、就寝しました。
数時間後、ヒーコックさんは娘に起こされた。エライジャは洗濯室で銃で自ら撃ち、血を流しているのが発見された。翌朝、彼は亡くなった。
記事で紹介されている彼と他の2人のティーンエイジャーは、ソーシャルネットワークでティーンエイジャーと繋がる犯罪者の被害に遭いました。彼らはしばしば10代の少女を装っています。脅迫者は信頼を得るためにソーシャルチャットでやり取りした後、自分が装っている「少女」の偽の露骨な写真を送りつけ、被害者にも同様の画像を要求します。
その後、犯人は被害者を脅迫し、画像を公開しないようギフトカードや電信送金、さらには暗号通貨での支払いを要求します。
支払いは即時に要求され、被害者は脅迫金を支払うよう時間的にプレッシャーを受けるが、支払わない場合、家族、学校、そして公衆の面前で恥をかくことになる。
不可能と思える状況に直面した若者たちは、脅迫の圧力から逃れるために自殺にまで至ることがある。この詐欺は「セクストーション」と呼ばれ、多くの若者の人生を奪ったり、破滅させたりしてきた。
CSAM検出とAppleの現在の取り組み
ソーシャルネットワークの普及に伴い、セクストーション（性的脅迫）事件が急増しています。米国に拠点を置く国立行方不明・被搾取児童センターは昨年、2022年から2023年にかけてセクストーションの通報件数が2.5倍に増加すると予測する調査結果を発表しました。
NCMECは、2022年には10,731件、2023年には26,718件の性的脅迫事件が報告されており、そのほとんどが若い男性を被害者としています。同団体は、10代の子供を持つ親に対し、脅迫者の脅迫の影響を最小限に抑えるため、オンライン上の脅迫の可能性について事前に話し合うよう勧告しています。
2021年にこの問題が初めて広まったとき、Appleは未成年ユーザーのアカウントにCSAM画像が含まれている可能性を検出するために使用する一連のツールを発表した。
これには、iCloud Photo ハッシュを既知の CSAM 画像のデータベースに対してスキャンするメカニズムを利用した、iMessage、Siri、検索の機能が含まれていました。
また、ユーザーが不適切なメッセージや画像にフラグを付け、送信者をAppleに報告できる仕組みも追加されました。画像のスキャンはiCloudフォトユーザーのみに適用され、ローカルに保存された画像には適用されません。
プライバシー擁護団体、児童安全団体、そして政府からの激しい抗議を受け、AppleはiCloudの写真をCSAMデータベースでスキャンする計画を断念しました。代わりに、コミュニケーションセーフティ機能と、子供アカウントに対する大人による管理機能によってユーザーを保護しています。
「すべてのユーザーが個人的に保存しているiCloudデータをスキャンすれば、データ窃盗犯が見つけ出し、悪用するための新たな脅威ベクトルが生まれます」と、Appleのユーザープライバシーおよび子どもの安全担当ディレクター、エリック・ノイエンシュワンダー氏は述べた。「また、予期せぬ結果を招く危険性も生じます。」
「例えば、ある種類のコンテンツをスキャンするだけで、大量の監視が可能になり、他の暗号化メッセージングシステムも様々な種類のコンテンツを検索したいという欲求が生まれる可能性がある」と彼は続けた。米国を含む一部の国は、Appleに対し、このような監視を許可するよう圧力をかけている。
「数年前にiCloudフォトのCSAM検出にハイブリッドクライアントサーバー方式を採用するという提案がありましたが、これを中止することにしました」とノイエンシュヴァンダー氏は付け加えた。「ユーザーのセキュリティとプライバシーを危険にさらすことなく実装することは現実的に不可能だと結論付けました。」
Apple は現在、子供のユーザーを保護するために通信の安全性を活用しています。
その代わりに、Appleは18歳未満の子供やティーン向けに設定できる子供アカウントのペアレンタルコントロールを強化することを選択した。これには、子供のアカウントで送受信される写真内のヌードを検出し、子供が見る前に画像を自動的にぼかす機能を親がオンにできることも含まれている。
お子様のアカウントユーザーがヌードを含む画像を受け取ったり、送信しようとしたりした場合、お子様には役立つリソースが提供されます。画像を見たくない場合は、安心していただけます。
子供には、信頼できる人に助けを求めてメッセージを送るオプションも与えられます。
システムがメッセージにヌードが含まれていることを検出しても、保護者にすぐには通知されない。これは、保護者への早すぎる通知が、身体的暴力や虐待の脅威など、子供にリスクをもたらす可能性があると Apple が懸念しているためだ。
ただし、警告の後に、ヌードを含むマスクされた画像を開いたり、ヌードを含む画像を送信したりすると、保護者に通知される という警告が子供に表示されます。
一部の団体はAppleをはじめとするテクノロジー企業に対し、更なる対策を求めていますが、Appleはユーザーのプライバシーと被害防止のバランスを独自に取ろうとしています。Appleはコミュニケーションの安全性を向上させるための研究を続けています。
