Consumer ReportsによるApple製品の評価をめぐっては長年論争が続いてきたが、AppleInsiderはテストのプロセスを詳しく調べるため、同組織の本部を訪問した。
ここ数年、多くのApple愛好家と、幅広いカテゴリーの製品のテストを行い、ランキングや評価を発表する影響力のある雑誌「コンシューマー・レポート」との間に、ある種の冷戦が続いています。一部のAppleファンは、コンシューマー・レポートがApple製品に対して不公平、あるいは競合他社に有利なように偏っていると考えています。
Appleファンとコンシューマー・レポートの間の最初の大きな争いは、 2010年のアンテナゲート騒動だった。これは結局のところ、コンシューマー・レポートの有料コンテンツに含まれる情報と含まれない情報に関する誤解と大きく関係していた。
2016年のMacBook Proのリリースに関しても同様の論争があった。コンシューマー・レポート誌は、このコンピューターの初期評価で、バッテリー寿命の問題を理由に、初めて新型MacBook Proのリリースを推奨しないことにしたが、数週間のやり取りの後、CR誌は後に推奨を認めた。
近年のApple とCRの論争としては、昨年 12 月に iPhone X が Galaxy S8 や iPhone 8 シリーズに遅れをとったことや、2 月の最初のレビューで HomePod スピーカーが Google や Sonos の製品に遅れをとったことなどがある。
Consumer ReportsとAppleInsiderの間で、しばしば議論を呼ぶやり取りを経て、 Consumer Reportsのオフィスを訪問し、テスト施設を見学し、組織の意思決定者と話すという招待が届きました。5月17日、私たちはその招待に応じ、ニューヨーク州ヨンカーズにあるConsumer Reports本社で約2時間を過ごしました。
訪問中、私たちはコンシューマー・レポート社から、同社のプロセス、基準、同社とアップルとの関係、そしてさまざまな論争で実際に何が起こったのかについて、いくつかの回答を得ました。
施設見学
ニューヨーク市から北へ約32キロ、ソーミル・パークウェイ沿いの地味な工業地帯にある、何の変哲もない工業ビルの中にあるコンシューマー・レポートのオフィスですが、内装は非常に洗練されていてモダンで、美しいアトリウムと広い廊下が備わっています。私がこれまで訪れたほとんどの雑誌社のオフィスよりも、はるかに美しく整えられています。そして、オフィス内には製品テスト専用のエリアがあります。
コンシューマー・レポートは、中央にソファを置き、その正面にスピーカーを設置した小さな部屋でオーディオ製品をテストします。テスト対象のスピーカーは棚の中央に置かれ、周囲にはリファレンススピーカーが配置されています。
「私たちは、本来あるべき音を聞き取る訓練を受けています」と、コンシューマー・レポートの主任スピーカーテスター、エリアス・エリアス氏は述べた。「パネリストには、音の特徴を聞き分けられるよう訓練しています。」
特定のジャズCDを含む、同じ音がすべてのテストで使用されます。また、テストは盲目的に行われるわけではなく、テスターは常にどのスピーカーをテストしているのかを把握しています。
オーディオテストは、プロジェクトリーダーのArias氏と追加のテスターによって実施されます。同点の場合は、3人目のテスターが呼び出されます。
音響試験には、周波数測定に使用される完全防音の無響室も含まれています。厳密に言えば、この無響室はコンシューマー・レポート社のビルの一部ではなく、独自の基礎と火災警報装置を備えています。
スマートフォンのテストエリアには、落下試験とタンブル試験用の装置が設置されています。これは、AppleInsiderの過去の記事で紹介されたものと同じものです。施設内の他の場所では、カーペットや木材への落下試験も実施されています。
同社がスキューバ供給会社から購入した水没試験用シリンダーもある。
訪問中はノートパソコンのテストが行われていたため、施設のその部分をじっくりと見ることはできませんでした。少なくともテストの一部は文字通り暗闇の中で行われました。案内された時は照明が消されていました。おそらく、暗い部屋で画面がどのように見えるかをテストするためだったのでしょう。ノートパソコンのテストには、バッテリーテストやその他ノートパソコンの品質を測定する項目も含まれています。
テストの理論
コンシューマー・レポートの意思決定者との会合で、同組織のテスト実施方法について話し合いました。彼らはテストに関する価値観について、科学的かつ分析的であり、数字に基づいて実施されていると述べました。
彼らは、テストプロセスがどのように始まるかを説明しました。
「市場アナリストが、どの製品をテストすべきかを検討しています。彼らは、どの製品が独自性があり、どの製品が市場で広く流通しているかを調べます」と、電子機器テストチームのディレクター、マリア・レレシッチ氏は述べた。「彼らは、そのカテゴリーでテストすべき製品を決定します。匿名で購入する消費者もいますが、実店舗でもウェブサイトでも購入しているので、消費者が利用できるタイミングで購入しています。通常の小売チャネルで購入した製品も評価対象としています。それらを持ち込み、テストを実施しています。」
レレシッチ氏は、コンシューマー・レポート社がテスト目的で製品を貸し出してくれるケースもあるが、永久に無料製品を受け入れることはないと付け加えた。
「このカテゴリーのすべての製品を同じ方法でテストしたいので、すでにテストプロトコルを開発しました。そのため、プロトコルと手順を定義しました」とレレシッチ氏は述べた。「製品が搬入されたら、そのプロトコルと手順を用いてテストを行います。どのようなテストを実施しても、テストした各属性のスコアを集計し、その結果に基づいて評価を作成します。これが最終的な評価となります。」
「比較テストを実施する必要があります」とレレシッチ氏は付け加えた。「テストは平等でなければなりません。1つの製品だけを見て『これは良い』と言うのではなく、『他の4つの製品と比べて、これは優れている、あれは劣っている』と言うのです。」
テスターは誰ですか
製品テスターは全員コンシューマー・レポート社の社員で、エレクトロニクス分野に携わる人の多くは電気工学やコンピュータサイエンスの知識を有しており、テスト対象の技術に精通している場合もあります。同組織のテスト統括責任者であるマーク・コネリーはPEの学位を取得しており、レレシッチはMITで工学修士号を取得しており、半導体業界で30年近く勤務し、チップ設計者としても活躍しています。
「当社のテスターは多種多様な経験を持っています」とレレシッチ氏は述べた。「スマートフォンチームは携帯電話の周波数帯について熟知しており、携帯電話とその仕組みについて非常に深い知識を持っています。テレビのテスターがテレビの仕組みを熟知し、4KやHDの技術についても熟知しているのと同じです。」
彼女は、コンシューマー・レポート社が、テスト対象の製品を製造する業界から人材を採用することもあるが、その逆で、業界がコンシューマー・レポート社からテスターを採用するケースの方が多いと付け加えた。
メーカーとの関係
チームは、出版プロセスの前、最中、後を問わず、メーカーに対して積極的に働きかけを行っていることを明らかにしました。
コンシューマー・レポートは、テスト中にメーカーから疑問や「納得できない点」があった場合、メーカーに意見を聞くようにしていると、テスト責任者のコネリー氏は述べた。メーカーとのコミュニケーションは、エンジニア、技術担当者、広報担当者、さらには弁護士など、あらゆる関係者が担当する。また、コンシューマー・レポートは、メーカーが既存製品のテストを行っていない場合でも、頻繁に連絡を取り合い、メーカーに「新製品や今後発売予定の製品や技術について説明」する機会を与えている。
このプロセスに最も責任を持つコンシューマー・レポートの役員は、コンテンツインパクトおよびアウトリーチ担当シニアディレクターのジェニファー・シェクター氏です。
「メーカーの方々に来ていただき、今後どんな製品が発売されるのか教えていただきます。新製品ラインがどのようなものかを把握し、今後の展開を把握することで、それに合わせた計画を立てられるようになります」とシェクター氏は述べた。「そして、製品のテスト中に疑問が生じた場合は、メーカーに連絡します。何らかの形でメーカーに連絡する必要がある場合は、事前に連絡を取り、コメントを聞き、綿密なやり取りを行います。」
電子機器製品のテストには通常3～4週間かかります。しかし、コンシューマー・レポートは時折「ファーストルック」という特集記事を掲載し、特定の注目度の高い製品に対する第一印象を共有することがあります。多くの場合、製品を受け取ってから1日以内に掲載されます。
CRの全体的な使命について、関係者は消費者への奉仕が最優先だと述べている。これには政策啓発活動も含まれており、例えば3月には米国消費者製品安全委員会（CPSC）のエリオット・F・ケイ委員との会合が開かれ、シェクター氏をはじめとするコンシューマー・レポートの関係者も出席した。また、CRは「デジタルスタンダード」にも取り組んでいる。これは、「消費者向けソフトウェア、デジタルプラットフォームやサービス、そしてインターネット接続製品の将来の設計指針となるデジタルプライバシーとセキュリティの標準」を確立するための新たな取り組みであり、その多くはIoT（モノのインターネット）に関連している。
「私たちは使命を重視する組織であり、非営利団体です。そして、私たちの使命は消費者に奉仕することです」と、コンシューマー・レポートの調査・テスト・インサイト担当副社長、リアム・マコーマック氏は述べています。「もちろん、私たちは特に安全性などの問題を通してその使命を果たしています。しかし、私たちは持続可能な組織である必要があるため、アメリカ国民が納得し、喜んで購入してくれるような優れた製品を必要としており、そうした顧客にも奉仕しなければなりません。」
過去の論争や、コンシューマー・レポートがこれまでAppleに対して公平な対応をしてきたかどうかについて、いくつか質問がありました。水曜日のパート2で、これらの答えに取り組みます。
