アナリストのジーン・マンスター氏のループ・ベンチャーズが実施した毎年恒例のスマートスピーカー比較で、HomePodのSiriの順位が上がった。Appleのバーチャルアシスタントは数々の精度テストを耐え抜き、Googleアシスタントに次ぐ2位となった。
このテストでは、マスター氏と同僚のアナリストであるウィル・トンプソン氏が、Alexa搭載のAmazon Echo、Google Assistant搭載のGoogle Home、Siri搭載のHomePod、Microsoft Cortana搭載のHarmon Kardon Invokeの4つのスマートスピーカーに800の一連の質問をし、回答の正確さと質問の理解度を記録した。
マンスター氏とトンプソン氏は、ほとんどのユーザーがスマートスピーカーに期待するであろうことに基づいてテストを設計しました。質問は、地域の興味のある場所、商取引、情報、ナビゲーション、ハードウェアコマンドの5つのカテゴリーに分類されました。
Googleアシスタントはすべての質問を理解し、そのうち約88%に正しく回答しました。Siriは2位で、質問の99.6%を理解し、74.6%に正しく回答しました。このパフォーマンスは、99.0%を理解し、72.5%に正しく回答したAlexaをわずかに上回りました。Cortanaは63%の質問にしか正しく回答できず、最下位に沈みました。
スマートスピーカーのテスト結果 | 出典: Loup Ventures
Siriは、音楽関連の質問が多く含まれるコマンドカテゴリーで優れた成績を収めました。HomePodはApple Musicとのネイティブ統合により、音楽関連の質問に特化しています。5つのカテゴリーの中で、Siriがトップに立ったのは、このカテゴリーだけでした。
Siriが最も知識が不足していたのはコマース関連でした。HomePodではAlexaのように何かを購入できないため、これは理解できます。しかし、AlexaがAmazonの商品を消費者に売り込もうとする熱意は、Siri自身のスコアを下げました。それは「マニキュアはいくら？」と尋ねた時にも明らかです。
AlexaはAmazonで60ドルのマニキュアセットを勧める一方、Googleアシスタントは驚くほど詳細な回答を返して、「平均的な基本的なマニキュアは約20ドルです。ただし、アクリル、ジェル、シェラック、ノーチップなどの特殊なマニキュアは、サロンによって異なりますが、約20ドルから50ドルの範囲です」と教えてくれます。Googleの強力な検索エンジン機能が、ここで明らかに役立っています。
精度に関して言えば、Siriは過去9ヶ月で22パーセントポイント向上しました。一方、Googleアシスタント、Amazon Alexa、Microsoft Cortanaは過去1年間でわずか7～9ポイントの向上にとどまりました。Appleのアシスタントは批判的な人々から多くの批判を受けていますが、これらの数字は非常に示唆に富んでいます。
各テクノロジー企業がそれぞれのAIシステムに投入している相対的な投資額を考えると、この結果は全く驚くべきものではない。前回のテスト実施以降、Siriが劇的に向上したことは喜ばしいことだ。Loup Ventureが2月に実施した前回の評価では、Siriは最下位だった。
