マスター・オブ・スケール –Zyngaの共同創業者マーク・ピンカスのインタビュー – #8

 

ホフマン:全てのプロダクトチームは、このゲリラテストに対して夢中になり、そして、数値が上昇するとGleeのダンスのリズムと共に舞い上がった。正にクリスマスの日だ。しかし、これらのメトリックスのデータは物凄い量だったのだが、標準化されたトラッキングの手法はなかった。

ピンカス:みんなそれぞれ独自の方法で追いかけていて、標準化されていなかった。他より多少上手くやっているチームもあれば、別のチームは追い切れてなかった。だから、僕は、”これはよくない。標準化しよう。何が正しい状況かを見極めるために、テンプレートを一つ用意しよう。” こうしてチームは、このテンプレートを考え始めた。

ホフマン:マークは、この高速なアイデアボツのアプローチをスケールさせたかった。それを実現するには、全てのチームが、この宝の山のデータを、完全に共通の形で翻訳されたものとしてみる必要があった。

つまり、データの標準化だ。このテーマは、あんまりエキスサイトする対象ではないかもしれない。だから、僕らは、この重要性をみんなに理解してもらうために、最もエキスサイティングな人物を見つけた。

それは、Andrea Jones Rooyだ。彼は、FiveThirtyEightというNate Silverが立ち上げたウェブサイトで、ニュースレポーティングのためのデータサイトだ。実は、Andreaは、サーカスで火を使ったパフォーマーでもある。その名は、Circus Fire。多分、この意味はみんなまだ理解できていないだろう。

ANDREA JONES-ROOY: それは、僕が何かに炎をつけて、それを僕の体におくんだ。みんな僕が全くダメージを受けていないことに驚く。実際は、そこそこ受けているんだけどね。そして、僕のその炎を口の中に入れて食べる。

ホフマン:うーん、炎をそのまま食べるなんて、かなり辛い感じがするよね。しかし、標準化していないデータに比べれば、実は大したことはない。その点は、Andreaが説明してくれる。

 

JONES-ROOY: 君がデータを標準化していないということは、実質、君はデータを持っていないことと同じだ。ただ、ごちゃ混ぜの塊を持っているだけ。なぜ、僕らがデータを整理してまとめるかといえば、それらを広いユーザーに共有することができるからだ。

ホフマン:そのオーディエンスとは、君の会社の経営陣かもしれない。もしくは、全世界が対象かもしれない。しかし、もし、君の数字が、未明瞭のままだと、彼らは君の数字の意味を全く理解してくれない。

JONES-ROOY: 言い換えと、データを互換性のあるものに置き換えることで、受けとった誰もがそのデータの意味を理解できるようにするということだ。

ホフマン:しかし、Andreaは、この領域の代表的なエキスパートであるにもかかわらず、この点で、手痛い目にあったことがある。彼が、ニューヨーク大学の上海校で、同僚の教授と試みた実験において、しっぺ返しを受けた。

 

JONES-ROOY:NYUの上海校で、全く新しい教育方法を開発できることにとてもエキサイトしていた。それで、何を思ったが、全く新しい成績評価手法を作ろうとした。いわゆるAからFの生成期評価手法を捨てて、別の手法を作ろうと考えた。

そして、その新しい手法は、ちょっと馬鹿げたものになっちゃったのだけど、最高が、”真に際立っている”、その次が、”他より優れている”、”とても良い”、”良い”、そして、”改善の余地あり”だった。

学生には、かなり不評だった。みんな”これ、どういう意味?”という感じ。”とても良い”という評価をもらっても、A-Fのスケールに置き換えると、Cになる。”良い”でD。だから、学生は混乱して、”この言葉の表現は、実際の評価を全然適切に表していない”という反応だった。

おまけに、学生達が、大学院を受験したり、仕事に応募する際に、このグレード表によるデータを提出したら、大学院側や企業側から、”これどういう意味ですか?”という質問ばかり返ってきた。だから、結果的に、A-Fの従来通りの評価データに戻した。あれは、本当、とんでもないミスだった。

つづく。

by
関連記事