ニール・ヒューズ
· 1分で読めます
開発者は、Apple が独自の自動ボットを使用して HTML ウェブサイトをクロールしているように見えることを発見したが、この謎の自社製ソフトウェアの正確な目的は依然として不明である。
Goプログラミング言語で書かれたAppleのウェブクローラーの存在を最初に発見したのは、開発者のJan Moesen氏だ。同氏は、このソフトウェアによるアクセスを10月15日以降まで遡って発見している。また、Appleの謎のクローラーから自社のウェブサイトに大量のトラフィックが流入していることを発見した人もおり、このクローラーは時々停止しているようだ。
AppleのボットからのリクエストはHTMLページのみを対象としており、ウェブサイトに付随するCSS、JavaScript、画像ファイルにはアクセスしません。Moesen氏は、AppleのWebクローラーが自身を「Mozilla/5.0 (compatible; Fetcher/0.1)」と識別していることを発見しました。
クローラーは「17.」で始まる IP アドレスから発信されていることが判明しており、これはボットが Apple のサーバーから発信されていることを示しています。
Apple ボットが同社の公式プロジェクトなのか、それとも従業員が会社のマシンから非公式にシステムを構築して実行したのかは不明です。
Apple の取り組みは、OS X Yosemite と iOS 8 の両方における Spotlight の機能強化に関連している可能性があります。どちらも今年の秋にアップデートされ、Google や Bing などのサードパーティの検索ツールにアクセスすることなく、Web 検索コンテンツに直接アクセスできる機能強化が行われました。
AppleはGoogleやMicrosoft Bingといった検索エンジンと直接競合しているわけではありませんが、Siriの検索結果内で具体的な情報を直接提供することに取り組んできました。これにより、Siriの公式ウェブ検索パートナーであるBingを経由したリンクの提供が不要になります。
