WWDC の前に AppleInsider によってリークされた技術に基づく新しい開発者 API のおかげで、Siri はまもなく画面上のコンテンツを表示および処理できるようになるかもしれません。
Appleは月曜日、開発者向けにSiriとApple Intelligenceの今後の機能への準備を支援するための新しいドキュメントを公開しました。同社の最新の開発者APIは、Siriがコンテキスト認識能力を大幅に向上させ、将来的には画面に表示されているコンテンツから情報を利用できるようになることを明らかにしています。
Appleの変更により、Siriは間違いなくさらに便利になるでしょう。Appleは、AIを搭載した新しく改良されたSiriが将来具体的に何ができるようになるのかを示唆する例をいくつか挙げています。
ユーザーは、現在閲覧中のウェブページや写真に写っている特定の物体についてSiriに質問できるようになります。また、Siriはリクエストに応じて文書やメールを要約したり、コンテンツを追加してテキストを補完したりすることもできます。
これらの機能の一部は、ChatGPTとの統合を導入したiOS 18.2開発者向けベータ版で既に利用可能になっています。Siriは、ユーザーの許可があれば、PDF、テキストドキュメント、または画像をChatGPTに転送して特定のアクションを実行できます。
新しい開発者APIは、Appleがこのプロセスをさらに効率化したいと考えていることを示しています。ユーザーはSiriにChatGPTにドキュメントを送信するよう指示する代わりに、画面上のページについて直接質問したり、ページ内の情報を何らかの形で利用したりできるようになります。ChatGPTは現在、ユーザーが手動で提供したスクリーンショットやドキュメントにしかアクセスできないため、改善の余地は十分にあります。
Siri は近いうちに画面上のコンテンツを利用できるようになるかもしれません。
AppleがAIに画面上の情報を活用させるという構想は、WWDCでApple Intelligenceが発表される前から明らかでした。同社が発表した研究、特にFerretモデルに関するものは、人工知能分野におけるAppleの計画を示す指標となりました。
ドキュメント分析、ドキュメント理解、そしてAIを活用したテキスト生成に重点が置かれました。AppleInsiderは最近のレポートで、Apple Intelligenceの開発中に使用された様々な社内テストアプリケーションについて概説しました。
テストアプリケーションと環境、特に1UPアプリは、iOS 18.2ベータ版のChatGPT統合によって現在利用可能な多くの機能を再現しています。Appleは、メールとメッセージのスマートリプライをテストするための専用アプリも提供しています。
Siriの新機能である、テキストの補完・要約機能、画像、文書、ウェブページに関する質問への回答機能も、正式発表に先駆けて公開されました。Ajax LLM、BlackPearl、Greymatterプロジェクトに関するレポートでは、これらの機能の多くを公開し、その仕組みを解説するとともに、AppleのAIプロンプトをパラフレーズするなど、様々な角度から解説しました。
iPhoneメーカーであるAppleが、生成AIプロジェクトに費やす時間、研究、そして労力を考えると、人工知能（AI）を非常に真剣に受け止めていることは明らかです。月曜日に公開された開発者APIは、2025年のiOS 18.4アップデートでデビューすると噂されているSiriの新機能に開発者が備えるための支援を目的としてのみリリースされました。
