マイクロソフトと検索のロングテール

元マイクロソフトの上級管理職に付いていた方(名前を使ってほしくないそうだ)が検索のロングテールについて興味深い見方をメールしてくれた：

ご存知の通り、検索エンジンのクエリーログはジップの分布を持つ(ランク*頻度=一定)。僕がBillG (ビルゲイツ)を含むマイクロソフトの上級エグゼクティブたちにこのコンセプトを示したとき、彼らは今イチ理解できなかったようだ。君のサイトのロゴと同じようなグラフを書くんだが、今イチ違うんだ。そしてX軸に問題があることに気づいた。グラフを見る人々はX軸の本当のスケールを理解できていないんだ。

君のロゴを見ると(黄色く示されている)ロングテールは赤い部分に比べて4, 5倍のように見えるだろ？実際、黄色い部分の積分(i.e. クエリー体積)と赤い部分のものを比べたらそうなる。でもX軸は線形スケールでは、ほぼ無限に右へ拡張して、いかなる図でもそれを表現できない。本質的に、ロングテールをグラフ／絵で表現するにはx軸をlog(対数)で表現しないといけない。でも、一般的な人は対数／指数関数のスケールを理解してない。

彼は最終的に小銭の山を使って曲線を説明する方法を見つけた。少数の高い山の小銭と一枚の小銭の列がドアの外、さらにホールの下へと続く小道を見える限り形成しているという具合だ。

彼はまた、この分布の結果を推測する簡単なルールを見つけた：

大雑把に言うと、クエリーの数を4で割ると一番人気のあるクエリーの頻度を得る、そして2で割ると測定期間中に一回しか起こらなかったクエリーの数を得ることができる。

最後に、ジップの分布がマイクロソフトにおいて予期しない場所全てに起こっていたことが分かった。

二つ目の例は外部の世界がWindows Crash Analysisと呼んでいるものに関してだ(内部ではWatsonかDr. Watsonと呼ばれている)。どちらにしろ、これがWindowsのアプリケーションがWindows XPでクラッシュしたときなされるダイアローグだ -- 警告が出てマイクロソフトに情報を送るように提案される。マイクロソフトではその情報をアプリケーション名、モジュール名、そしてクラッシュが発生した内部アドレスでインデックス化されたSQLサーバーのデータベースに蓄積する。2001年か2002年頃には、X軸にランク、そしてY軸に頻度を示したグラフと共にアプリケーションのクラッシュの全てを表示していた。内部ではこれは"Watson曲線"と呼んでいた、ゲイツの前でもだ。

そのカーブを見たとき、僕は微笑んだ、なぜなら見覚えがあったものだったからだ。チームの連中に頼んでlog-logでプロットしてくれと頼んでおいた。数日後、戻った時に僕はこう言った"ワオ、直線じゃないか！"僕は驚かなかった。みんなもうそれをWatson曲線なんて言わなくなっただろうね、なぜならジップ分布の一例に過ぎないんだから。

もっとこれについて知りたければ、現実の世界のジップ分布の例が集められる限り載っているこの驚異的なサイトをチェックしてくれ。

原文へ