読者です 読者をやめる 読者になる 読者になる

廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

Wikipedia日本語版に「A/Bテスト」という項目を追加しました。

お願い

Wikipedia日本語版に「A/Bテスト」という項目を追加しました。

A/Bテスト - Wikipedia

この項目の加筆修正には、みなさまのご協力を得たいと願っております。

私はかねてより、一貫してA/Bテストを批判し続けていますが、その問題意識は理解を得られていない状態です。

ここでいう批判とは「全否定」や「人格攻撃」のことではなく「問題提起」と捉えてください。

A/Bテストとは単に「AとBを比べます」という語であり厳密な定義は存在しません。

しかし、A/Bテストという語が多義的であるため、統計の研究者、マーケターやアナリスト等の統計実務を担う方々、A/Bテストを依頼するお客さんであるWeb担当者らの間にコミュニケーション不全が起こっています。

大雑把に言うと、

お客さん:「施策判断したいんだけどあれでしょ? A/Bテストってやつでできるんしょ? AとBで有意な差があるか調べてくれない?」
実務統計家:「はい。わかりました。では仮説検定やっときます」
大学の先生:「最近はA/Bテストとかいって、統計学が重要視されてるようですな。なによりです」

という状況です。

お客さんとしては「有意」とか「テスト」とかの語の統計的な意味を知らずに仕事を依頼し、実務統計家は言われるがままにただ仮説検定を行い、結果として仮説検定が誤用され、まちがった施策判断を助長する状況です。

具体的にどのように問題が起きているかは、A/Bテストのガイドライン:仮説検定はいらない(Request for Comments|ご意見求む) - 廿TT 等の記事を参照して頂ければと思います。

この問題意識は、私自身が「Web解析アナリスト」という肩書で仕事をしていた際に、実際に不利益を生じた事例から芽生えたもので、単なる机上の空論ではないつもりです。

このような状況を放置することは、長期的にみれば統計学という学問全体への不信を招き、統計の研究者、実務統計家、Web担当者、エンドユーザー、すべての立場の人に取って「損」です。

広義でのA/Bテストがより正しく行われるよう、健全な常識(今風に言えば集合知)の形成を期待し、このようなお願いを申し上げます。

経緯

このようなお願いをするに至った経緯について説明させて頂きます。

私は A/Bテスト カテゴリーの記事一覧 - 廿TT の記事を、建設的な批判のつもりで書いていました。

しかし、偶然このようなツィートを目にしました。

f:id:abrahamcow:20141210184604p:plain

これはある方が、私の記事に対して感想をつぶやいていた際に、それを諌めるリプライが交わされている状況です。

私自身の表現力の至らなさより、ぼくの発言は単なる「炎上マーケティング」と捉えられ、A/Bテストに対する建設的な議論を誘発するどころか、むしろ阻害する役割を果たしてしまっているようです。

(本来であれば出典を隠した引用は避けるべきですが、この引用も特定個人への人格攻撃、「炎上マーケティング」と捉えられるおそれがあるため、あえて黒く塗りつぶしております。ご理解お願いします。)

A/Bテストに関する建設的な議論は、私の手に余る問題と判断致しました。

そのため、クリエイティブ・コモンズライセンスの元で運営される、Wikipedia という一種のオープンソースコミュニティに、その役割を委ねようと判断しました。

A/Bテスト - Wikipedia

また当ブログ内の記事もすべて、クリエイティブ・コモンズライセンスで公開されています。

引用複製無断転載罵倒賞賛異論反論すべて大歓迎ですので、A/Bテストに関する建設的な議論の一助として頂ければ幸いです。

また、私自身も、A/Bテスト カテゴリーの記事一覧 - 廿TT の記事の更新は今後も続けるつもりでいます。

建設的な批判でなく人格攻撃と捉えられかねない箇所については、削除・追記・修正・謝罪文の掲載等、なるべく迅速に対応致しますので、ご指摘頂ければと思います。

以上、何卒よろしくお願い申し上げます。

追記

このように書いたところ、すぐにある方よりウィキペディア経由でアドバイスを頂戴しました。

誠にありがとうございます。

ただ、当方恥ずかしながらウィキペディアどころか、Wikiすらさわったことがなく、ウィキペディアのトーク機能にも馴染めていないためレスポンスも遅くなるかと思います。

申し訳ございません。ただ心より感謝していることだけは、この場に記載されていただきます。

ありがとうございます。