Appleはオープンソースモデルを増やし、AI産業を前進させ続けている

Apple の Apple Intelligence 研究チームは、AI ジェネレーターのトレーニングに使用される、小さいながらも高性能な新しい言語モデルを 2 つリリースしました。

Appleの機械学習チームは、業界の他のチームと共に、オープンソースの言語モデル向けDataCompプロジェクトに参加しています。Appleが最近開発した2つのモデルは、Llama 3やGemmaといった他の主要な学習モデルに匹敵、あるいは凌駕する性能を示しました。

このような言語モデルは、ChatGPTのようなAIエンジンの学習に使用され、標準フレームワークを提供します。これには、AIエンジンが利用できる高品質なデータを提供するためのアーキテクチャ、パラメータ、データセットのフィルタリングが含まれます。

Appleがこのプロジェクトに提出したモデルには、70億のパラメータを持つ大型モデルと、14億のパラメータを持つ小型モデルの2つが含まれている。Appleのチームによると、大型モデルはベンチマークにおいて、従来の最上位モデルであるMAP-Neoを6.6%上回る性能を発揮したという。

さらに注目すべきは、AppleチームのDataComp-LMモデルは、これらのベンチマークを達成するのに必要な計算能力が40%も少ないことです。このモデルは、オープンデータセットを用いたモデルの中で最高の性能を示し、プライベートデータセットを用いたモデルにも匹敵するものでした。

Appleはモデルを完全にオープンにしており、データセット、重みモデル、トレーニングコードはすべて他の研究者が利用できるようになっています。大規模モデルも小規模モデルも、大規模マルチタスク言語理解ベンチマーク（MMLU）で商用モデルに匹敵するほどの高スコアを獲得しました。

6月のWWDCでApple Intelligenceとプライベートクラウドコンピューティングを発表したことで、Appleは自社デバイスにおける人工知能（AI）応用において業界に遅れをとっていると批判する声を黙らせました。イベント前後に機械学習チームが発表した研究論文は、AppleがAI業界のリーダーであることを証明しました。

Appleチームが公開したこれらのモデルは、将来のApple製品での使用を意図したものではありません。これらは、AIモデルの学習に使用される小規模または大規模データセットのキュレーションにおける有効性の向上を示すためのコミュニティ研究プロジェクトです。

Appleの機械学習チームは、これまでAIコミュニティ全体に向けて研究成果を公開してきました。データセット、研究ノート、その他の資産はすべて、AIコミュニティの拡大に特化したプラットフォームであるHuggingFace.coでご覧いただけます。