Appleのデバイス上およびサーバー基盤モデルを理解する

AppleはWWDCで新しいAI言語モデルを発表しました。これらのモデルは、Appleデバイス上でローカルに実行されるだけでなく、Apple Siliconを搭載したApple独自のAIサーバー上でも動作します。

人工知能 (AI) は、プロンプト (クエリ) に対する結果を生成するように AI をトレーニングするための知識入力を提供する 言語モデルに依存しています。

言語モデルを使用すると、コンピューターを特定の主題についてトレーニングし、特定のトピックに関するドメインエキスパートとして機能させることができます。

AIアライメントとは、AIシステムを人間の目標、価値観、そして望ましい結果に適合するように設計・実装するプロセスを指します。言い換えれば、アライメントはAIが本来の目的から逸脱して危険な状態にならないように、AIがタスクを遂行し続けることを目的としているのです。

AppleはWWDC 2024において、デバイス上とサーバーベースのAIの両方を提供するApple独自のAI「Apple Intelligence」を発表しました。Apple Intelligenceの新しいモデルを活用することで、AppleのAIはより集中的、高速、そして高精度になります。

基礎言語モデル

Appleは、汎用的な生成AIモデルを「基礎言語モデル」と呼んでいます。これらのモデルは、最大30億のパラメータを使用する大規模言語モデル（LLM）であり、ほとんどのユーザーが利用したい基本的な生成AI向けに設計されています。

Apple Foundation Model グラフ。

Apple Foundation モデル。

Apple はこれら 2 つのモデルをそれぞれAFM-on-deviceとAFM-on-serverと呼んでいます。

AppleはApple Intelligenceに他の汎用モデルも組み込んでいます。これらのモデルはデバイス上でもAppleのサーバー上でも実行できます。

Appleは、その基盤言語モデルの仕組みについて、47ページにわたる非常に詳細なホワイトペーパーを公開しています。技術的な観点から見ると、Appleの基盤モデルは、以下のようなAI技術のベースラインを採用しています。

トランスフォーマーアーキテクチャ
IO埋め込みマトリックス
正規化前
クエリキーの正規化
グループクエリの注目
SwiGLU活性化
RoPE位置埋め込み
微調整
人間による調整と入力

AI 用の Apple Foundation モデルをトレーニングします。

Apple Foundation モデル。

Apple Intelligenceは、AppleBotと呼ばれる自動ウェブクローラーも使用しています。サイトはrobots.txtファイルでオプトアウトすることで、AppleBotにコンテンツを使用しないよう通知できます。

コード AI に関しては、Apple Intelligence は GitHub でホストされているオープンソースソフトウェアからも学習し、そこから学習して圧縮し、重複するケースを自動的に削除します。

Apple のホワイトペーパーでは、モデルの動作方法と使用されるトレーニング方法について詳しく説明しており、最後には高度な数学についても説明しています。

プライベートクラウドコンピューティング

Apple Private Cloud Compute (PCC) は、上記のすべてのモデルを活用し、さらに拡張インテリジェンスのための追加モデルにもアクセスできるリモート AI サービスです。

PCC について説明しているこのブログ投稿によると、Apple は PCC において、速度、正確性、プライバシー、サイトの信頼性など、いくつかの目標を掲げています。

PCC は、Apple の消費者向けデバイスと同じ Secure Enclave と Secure Boot も使用して、オペレーティングシステムとデータが改ざんされないようにします。

テクノロジー企業の他の多くの AI 製品と同様に、PCC は AI プロンプトのリモート実行を提供しますが、パフォーマンスはより高速です。

Apple のモデルに関する機械学習研究のページには、Apple が責任ある AI にどのように取り組んでいるかについての説明もあります。

Apple は、その基盤モデルを次のように要約しています。

私たちのモデルは、Apple製品を通じてユーザーが日常の活動を行う上で役立つことを目的として開発されており、あらゆる段階で責任を持って開発され、Appleのコアバリューに導かれています。言語モデル、拡散モデル、コーディングモデルなど、より広範な生成モデルファミリーについて、近日中に詳細情報をお伝えできることを楽しみにしています。

また、弊社の記事「Apple Intelligence ベータ版のリリースに伴い iOS 17.6 などがリリース」と「Apple が Apple Intelligence のトレーニングに Google Tensor ハードウェアを使用していることを認める」もご覧ください。

Apple Intelligenceは、iOSとMacユーザーに、デバイス上とクラウド上で、より高速で最適化されたAIを提供することを約束しています。間もなくリリースされるiOS 18と次期macOSで、このAIがどのように機能するかは、今後の展開を待つ必要があります。