BingのChatGPT実験には大きな欠陥があり、検索の未来を左右する

Microsoft が Bing に ChatGPT インターフェースを追加したことで、いずれ検索に革命が起こる可能性はあるが、現時点で吐き出されるナンセンスを考えると、実際に役立つようになるまでには何年もかかりそうだ。

OpenAIのChatGPTは、ここ数ヶ月、テクノロジー系記者から大きな注目を集めてきました。インターネットから収集した情報を活用し、ユーザーの質問に対してもっともらしい回答を生成するチャットボットとして、大きな可能性を秘めています。

相当の資金注入とマイクロソフトとの長い協力関係を持つレドモンドが、さまざまな方法でこれらの知恵を自社製品に注入したいと考えるのも不思議ではない。

この技術を Office 生産性スイートに追加するのはまだ途中だが、マイクロソフトは検索エンジンの Bing も同じことから恩恵を受けられると見ている。

Googleが独自の「Bard」を開発していることから、検索機能の強化を検討しているのはMicrosoftだけではないようです。ChatGPTと検索エンジンを連携させることは、理論的には成功するはずです。

実際には、まだやるべきことはたくさんあります。ここで言っていることを軽視しないでください。技術的な面だけでなく、基盤の面でも途方もない量の作業が必要なのです。

新しい Bing とは何ですか?

Microsoft が「新しい Bing」と名付けた Bing のチャットは、質問に直接答えることを目的としている。

通常の検索エンジンのクエリでは、ユーザーがキーワードを入力して、Web ページへのリンクの形式で提供される関連する結果のリストを取得します。

MicrosoftがBingで使用しているChatGPTのようなAIチャットシステムは、ページ自体でクエリに対する実際の回答を提供しようとします。検索に対する正しい答えを見つけるために多くのリンクを辿るのではなく、ボットは質問に対して理解しやすい回答を作成します。

ホットドッグはサンドイッチ？それともタコス？Bingがその答えを探ります。

人間が質問に答えるのと同じように、ボットはコンパイルされたリソース、つまりインターネットから収集したデータを利用して、一度にわかりやすい応答を作成します。

質問は、応答自体を微調整するための修飾要素を含む完全な文になる可能性があるため、この処理は創造的な側面にも傾く可能性があり、ボットがあなただけのために回答を「考えている」ように見えることもあります。

理論的には、ふわふわのパンケーキのレシピが必要な場合、理想的な AI チャットボットはパンケーキのレシピに関する知識を使用して、使用する材料のセットとそれぞれの量、および調理方法を決定します。

検索エンジンは、よく知られたレシピへのリンクを提供してくれるかもしれません。AIチャットボットは、これまでにない独自のレシピを即座に生み出す可能性を秘めています。

それは良いことであり、同時に悪いことでもあります。

困難を乗り越える

Bing拡張機能の導入当初、Microsoftは全ユーザーに公開しませんでした。新しいサービスを試すには、待機リストに登録する必要がありました。

もちろん、Microsoftと協力すれば、他の競合相手より一歩先を行くことができます。すべてのオプションでMicrosoftのサービスをデフォルトに設定し、Bingをインストールすれば、リストでさらに上位にランクインするでしょう。

最終的に、リストに通されたのでチャットオプションを利用できるというメールが届きます。ただし、チャットオプションは限られた状況でのみ利用できます。

まずは順番待ちリストを通過する必要があります。

まず、Microsoft Edge を使用する必要があります。別のブラウザで Bing にログインすることも可能ですが、チャットシステムは Bing ユーザーのみご利用いただけます。

モバイルでもそれはできませんが、Microsoft はそれに取り組んでいると言っています。

将来的には、どのブラウザでも AI チャットシステムを使用できるようになりますが、それがいつになるかは Microsoft 社以外にはわかりません。

Mac に Edge をインストールし、Bing にサインインしたら、チャットボットにアクセスするのはそれほど難しくありません。

本格的なチャット体験をするには、ページ上部の「チャット」リンクをクリックするのが一番です。すると全画面ページが開き、ツールに質問できる内容と「何でも聞いてください」と書かれたシンプルな検索ボックスが表示されます。

ボックスにクエリを入力すると、ページが少し処理されてから、複数の段落に及ぶ可能性のある応答が表示されます。

Bing のチャット機能を使用したインタラクションの例。

応答全体と下部には、ボットが結果の一部に参照している情報のリストが表示されます（該当する場合）。これらをクリックすると、詳細情報が表示され、そのデータポイントのソースにも移動します。

応答が画面に出力されている間、停止ボタンが表示されます。このボタンをクリックすると、チャットボットのフローが中断され、クエリを変更できます。停止後、または終了した場合は、テキストボックスを使用して追加の質問をしたり、提案されたクエリオプションのいずれかを選択したりすることもできます。

「新しいトピック」の場合はほうきのアイコンボタンをクリックできるため、クエリは新しいものとして扱われ、以前の質問に続くものとして扱われません。

Bing では、通常の検索クエリの他に AI の結果を取得することもできます。

通常の検索クエリを使ってチャットサービスから結果を取得することもできます。結果の横にあるボックスには、同じチャットボットが応答を作成している様子が表示され、そのすぐ横にある一連のリンクが要約された形で表示されます。

結果が出るか出ないか

チャットボットから返される結果は単純なものになることもありますが、予期しないものになることもあります。

ふわふわのパンケーキのレシピを例に挙げてみましょう。Bing は、パンケーキ作りに使用できる可能性のある材料の重量と分量を含む、簡潔な手順リストを表示します。

しかし、この説明リストは既存のレシピからコピーして貼り付けたものと思われますが、実際には適切に装飾されています。

最もふわふわのパンケーキですが、既存の指示に従ってアドリブで作ります。

Bingがリンクしている手順リストは、「Taste of Home」というサイトから引用したもので、関連情報はページ上でハイライト表示されています。しかし、ソースには手順に計測値が記載されていないのに対し、Bingは独自の計測値をテキストに挿入しています。

さらに、それぞれの測定値がどの程度であるべきかについても意見の相違があります。

Bingでは砂糖大さじ2杯と表示されているのに対し、元のレシピでは大さじ1杯しか使用されていません。また、検索エンジンは塩をレシピの半分の量に対して小さじ1/4杯しか推奨していません。ショートニングも1/4カップが大さじ2杯に変更されています。

人物、場所、物に関する単純な質問にも、かなり的確に答えてくれます。AppleInsiderの編集メンバーであるウィリアム・ギャラガーについて尋ねると、「イギリスの作家兼ジャーナリスト」と彼の様々な功績について話していると想定した検索結果が表示されます。

ウィリアム・ギャラガーとは誰ですか?

ここで著者のマルコム・オーウェンについて尋ねるのは、あまり役に立ちません。まず、AppleInsiderのマルコム・オーウェンと、パンクバンド「ザ・ラッツ」の元ボーカルを混同してしまいます。

2つの文章の中で、彼は1980年にヘロインの過剰摂取で亡くなったと述べられており、さらに「写真家、テクノロジーライター、Twitchストリーマーでもあった」と付け加えられている。

Bingはこの作品の作者が亡くなったと推測している。あるいは、ゾンビミュージシャンがTwitchで配信しているかもしれない…

後者の事実は、その名前を持つ現存する人物については事実ですが、両者の間には区別がありません。また、Twitchがミュージシャンの死後30年以上経ってから開始されたことを考えると、両者が混同されていることは明らかです。

鼻水に関する会話は、最終的には試せる家庭療法のリストに落ち着きました。このようなチャットシステムには不正確な点があることを考えると、結果は納得できるものでしたが、さらに、極端な状況では医師に連絡した方が良いかもしれないという点も付け加えられました。

創造力を発揮する

ある程度の創造の自由があるため、AI は Web スクレイピングで取得したルールと規則に従って理想的な応答を作成しようとすることが予想されます。

あなたがどれだけ寛容であるかによって、結果はまちまちです。

まず、ティム・クック氏がAppleのイベントでスタートレックのトランスポーターをどう紹介するかを尋ねたが、ボットは影響力のあるCEOとしてのクック氏の立場とプライバシーを尊重したがった。

もしAppleがAppleイベントでStar Trek Transporterを作ったらどうなるでしょうか?

クック氏について言及することなく進めたにもかかわらず、このボットは依然として鋭い洞察力を持っており、しかもかなりうまく機能している。Appleの発表でよく見られる手法を踏襲し、デバイスとの互換性、安全性、プライバシー、暗号化について言及し、さらには「think different（違う考え方）」という言葉まで口にしている。

確かに、Apple Transporter の価格は 9,999 ドルをはるかに超えるし、中間にある予期せぬコードのような文字列は失敗だが、創造的なテキストの良い展開だった。

スタートレックだけに目を向けると、このボットはデータとスポックの間でかなり信憑性があるがかなりぎこちない会話も作り出している。

スター・ウォーズで「アメリカン・パイ」のパロディを試みたものの、ウィアード・アル版の存在は否定されている。映画についてはあまり詳しく触れられていないものの、スター・ウォーズのパロディであることを明確に示すのに十分な言及が散りばめられている。

はい、コード生成にも使用できます。ただし、精度は異なる場合があります。

場合によっては、Bingにタスクを自動で完了させることも可能です。1から10まで数えるPythonスクリプトを作成するように指示されたところ、whileループまたは再帰を使った2つのコードブロックが提示されました。

給料もらってますか？

議論の余地のない問題の一つは、著作権の帰属に関する問題です。より具体的には、このシステムが生み出す反響に対して、作品の原作者に適切なクレジットや報酬が支払われるかどうかという問題です。

検索エンジンの通常の検索結果は、ページの一部のみを抜粋したもので、ユーザーは実際の結果を見るためにサイトへアクセスする必要があります。さらに、そのページには作成者の住宅ローン返済を支援するための広告も掲載されます。

チャットボットは（ほとんどの場合）かなり正確な応答を作成するため、関連する詳細がすべて提示されているため、ユーザーがさらに情報を探す必要はほとんどありません。

確かに、Bing にはソースへの引用が含まれていますが、ユーザーや Microsoft にとって、それらのリンクを使用して何かを行う動機はありません。

引用のない、スポックとデータの間の架空の会話。

ここで一直線に線を引くのは難しくありません。今のところ、インターネットのかなりの部分は見出しとリンクの裏側についてのごく簡単な説明で止まり、それ以上深くは調べません。

これにより、出版物の収益は削減され、人員も削減され、その結果、AI が収集する質の低いコンテンツが生成されることになります。

さらに、Cnetのようなメディアは既にAIを活用して、質の低いテキストや虚偽の情報を提供するテキストを生成しています。私たちはテストしましたが、それらは既にBingの新しい検索機能の一部となっています。

訪問者をその経路に誘導しないことでコンテンツへの資金が削減され、結果として制作されるコンテンツの質も低下するということは、AIが取り込むコンテンツの質も低下することを意味します。この悪循環が完結し、AIチャットボットが必然的にその不適切な情報を共有するようになると、チャットボットの印象は悪化します。

たとえ品質管理が改善され、チャットボットが実際に正確であり、誤ったデータを使用していないことが保証されたとしても、損害はすでに発生しているでしょう。

また、スタートレックの会話テストやパロディソングのようなケースでは、さらなる研究へのリンクが提供されていないことがよくあります。このような場合、チャットボットが知識を得た場所については一切クレジットされず、チャットボットが使用したデータポイントを作成した人々が現時点で認められたり、報酬を受け取ったりする可能性もありません。

難しい状況ではありますが、AIがますます重要になるにつれ、責任の帰属と補償は取り組むべき課題です。これは選択の余地がないわけではありませんが、世界の国々の現状を考えると、大手テクノロジー企業による自主規制に委ねられることはほぼ確実です。

それがどのように進むかについても、私たちはよく分かっています。