廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

ランダムと均等の違い:リスティング広告のA/Bテストのために

仮説検定と実験計画は深い関連があります。

医学薬学分野では、薬の有効性をきちんとテストするために、慎重に標本をランダム化しています。

ランダム化比較試験 - Wikipedia

秋山仁は「ランダム抽出」を「みそ汁の味見」にたとえていました。

Q:「統計学ではなんでちょっとのデータから結論を出せるんですか? ふつう全部をくまなくチェックしないとダメだと思うんですが」
A:「あんたは味噌汁の味見するときに鍋の味噌汁ぜんぶ飲む?」
Q:「いや、小皿で一口ですね」
A:「それが統計学よ」

(上記は記憶に頼ったものなので引用は不正確です)

リスティング広告検索連動型広告)のA/Bテストは広告文の均等配信機能をもとに行われます。
(阿部圭司「Google AdWords&Yahoo!リスティング広告対応 リスティング広告 成功の法則」p.104 より)

Google AdWords&Yahoo!リスティング広告対応 リスティング広告 成功の法則

Google AdWords&Yahoo!リスティング広告対応 リスティング広告 成功の法則

しかしこの「均等配信」機能は予算を均等に消化するために作られたもので、統計的仮説検定のために作られたものではありません。

広告配信で広告の掲載配分を設定する - AdWords ヘルプ

みそ汁の味見をする際は、みそ汁をよくかき混ぜてからすくって飲むでしょう。

みそ汁の「味噌」と「汁」がよく混ざっていても、いなくても、みそ汁をつくるためにかかる「味噌」と「汁」の予算はおんなじです。

しかしみそ汁をよくかき混ぜずに味見した場合、鍋の底からすくったか、鍋の上澄みからすくったかで、味の濃さは大きくことなるでしょう。

f:id:abrahamcow:20141212152848p:plain

みそ汁全体の味を見たければ、みそ汁をよくかき混ぜてからすくって飲みます。

この「よくかき混ぜる」ことが、ランダム化、無作為化です。

リスティング広告のA/Bテストに対して仮説検定を行う際は、この点によく注意し、そもそも検定の前提が保たれているか考える必要があります。

R などのソフトウェアを使えば仮説検定自体はかんたんに行なえますが、その結果の解釈は、

  • 有意差かくにん! よかった!
  • 有意差なし! 残念!

で終わらせることなく、慎重に行ってください。


二元配置直交表:リスティング広告のTDとLPをマッチさせるA/Bテストのために - 廿TT へ続く。

#######
#Rによるみそ汁グラフの作り方
#######
par(mfrow=c(1,2))
#nihongo()
plot(c(0, 1), c(0, 1), type= "n", xlab = "よく混ざってない味噌汁", ylab = "")
rect(0, 0, 1, .8,col="orange4")
rect(0, .8, 1, 1,col="antiquewhite")
plot(c(0, 1), c(0, 1), type= "n", xlab = "よく混ざった味噌汁", ylab = "")
rect(0, 0, 1, 1,col="orange")

色見本 - RjpWiki