廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

裏 RjpWiki さん、勇み足じゃないですか?

裏 RjpWiki さん、勇み足じゃないですか?

 と、いうのはこのエントリ。
A/B テストの周辺(中心?)で,御託を並べる - 裏 RjpWiki
 それともなんか僕が気に障るようなことしましたか?

1. 「多変量テスト」って

 「多変量テスト」って統計用語じゃないんですよ。
 まえ書いた記事から引用しますね。

 A/Bテスト、多変量テストの「テスト」は仮説検定(hypothesis test)という意味のテストではない。

 A/Bテスト、多変量テストツールと呼ばれているのは、要は Web サイト内のパーツをランダムに出し分けるツールだ。

A/Bテスト、多変量テストの図示 - 廿TT

 紛らわしいですね。でもこれで定着しちゃってるんです。

2. 「ダイナマイトプロット」は使わない

 「棒は意味をなさない。」と断定されてますが、棒グラフは各項目の比の関係を比較するツールとして意味をなします。

 やっぱりまえ書いた記事をご覧ください。

エンジニアのためのデータ可視化実践入門という本を書いた - あんちべ!
↑これを読めば棒グラフが各項目の比の関係を比較するツールであることがわかるだろう。

(中略)
例えば広告 A と広告 B の表示回数(IMP)をめちゃくちゃ増やしてこんなデータがとれたとする。

CTs IMP
402000 2000000
400000 2000000

 CTs÷IMP を CTR(クリックスルーレート)と呼ぶことにする。 

 これを仮説検定(比率の差の検定)にかけると5%水準で有意
 R でやってみる。

#データセット
dat1 <-data.frame(
  CTs =c(0.0201, 0.0200)*20000000,
  IMP =rep(2000000,2)
)
#検定
prop.test(dat1$CTs,dat1$IMP, correct=F)

検定の結果はこう。

> prop.test(dat1$CTs,dat1$IMP, correct=F)

	2-sample test for equality of proportions without continuity correction

data:  dat1$CTs out of dat1$IMP
X-squared = 6.2383, df = 1, p-value = 0.0125
alternative hypothesis: two.sided
95 percent confidence interval:
 0.0002152809877 0.0017847190123
sample estimates:
prop 1 prop 2 
 0.201  0.200 

 
 p-value(p 値)っていうのが、有意確率のことなので、これが 5%=0.05 より小さければ5%水準で有意ということになる。"p-value = 0.0125" と出てるので有意

参考:
二群の比率の差の検定
 
 ぼくの推奨したい比率の棒グラフ+95%信頼区間のエラーバーだとこうなる。

f:id:abrahamcow:20140315023209p:plain


 広告 A も広告 B も大差ない。

 エラーバーだけ拡大してみてみるとこう。

f:id:abrahamcow:20140315034659p:plain

 信頼区間がほとんど重なってないので広告 A と広告 B の CTR にがあるかないかでいったらあることはほぼ確実。
 でもその CTR の差に現実的な意味があるかは別問題。

 仮説検定で見れるのはがあるかないかであって、差の大きさではない。

 長い期間とって、IMP をめちゃくちゃ増やしたら、有意にはなるだろうけど、そんなことをする意味はない。

  Web 系の人っぽい言葉を使うと、統計的に有意か否かは KPI にしちゃいけないということだ。

A/Bテスト、多変量テストの図示 - 廿TT

3. 「エラーバーが重なっていなければ母比率に有意差がある」はガセ

 はい。そんなこと書いてません。

4. 母比率の区間推定の計算法

 (正規分布による近似信頼区間です。)って書いてありますがな……。

 そういうことを気にされる方は自分で式を打ち込むなり、R でやるなりしてください。
……と言いつつ、やっぱ直しました。ぼくがなんと言い訳しようと、近似精度が悪いことは事実なので(6/28)

A/Bテスト、多変量テストの図示(Excel 版) - 廿TT

 よろしいでしょうか。 他になにかお気づきの点ございますか?

あ、一番大事なこというの忘れてた

ご指摘ありがとうございます。お礼遅くなりまして申し訳ございません。