読者です 読者をやめる 読者になる 読者になる

廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

A/Bテスト

検定いらずの AB テスト:φ 係数を用いたサンプルサイズ設計

AB テストと呼ばれるものや、AB テストをやる目的は様々だろう。ここではウェブ系施策において、「A と B を比べてみて、どっちか良さそうなほうを使いたい」という目的で行われる AB テストで、かつ CTR(クリック率)とか CVR(コンバージョンレート)とか…

Google スプレッドシートで箱ひげ図

概要 Google スプレッドシートで箱ひげ図を作る方法を紹介します。 サンプルはこちら 箱ひげ図(2010・セ・リーグ) - Google スプレッドシート だれでもコピーして使い回しできると思います。箱ひげ図のなんたるかについては、 施策の効果をみんなで納得し…

(R + Google アナリティクス)コーホート比較でユーザーの定着具合を測る

バズやキャンペーンの効果を測る 過去何回か記事がバズったことがある。このブログはごく個人的なものだが、仮にメディアを運営しているつもりになって考えるとすると、バズをきっかけにユーザーが定着してくれることが望ましい。そこでユーザーの再訪傾向を…

A/Bテストをくり返すために知っておきたい標本の大きさと多重比較の話

『部長、その勘はズレてます!』を読んだ Ptengineから届いたメルマガで『A/Bテストの本としては、間違いなく必読書。』とされていたので、『部長、その勘はズレてます!「A/Bテスト」最強のウェブマーケティングツールで会社の意思決定が変わる 』という本…

A/Bテストのパラドックス(?)のシミュレーション

はじめに A/Bテストツールというものがあります。これはWebページ(内のパーツ)を出し分けて、どっちがユーザーに使われやすいかというのを調べるツールです。有名なA/Bテストツールのひとつ『オプティマイズリー』を見てみます。このツールには下図のよう…

A/Bテスト、多変量テストに必要な期間を見積もる方法の紹介

大雑把な紹介 A/Bテスト、多変量テストと呼ばれるものはいろいろありますが、ここでは主にWeb広告のA/Bテスト、多変量テストの話をします。Web広告のA/Bテストでは、広告AとBを出し分けて、 クリック率=クリック数÷表示回数 コンバージョン率=コンバージョ…

A/Bテスト、多変量テストのための「効果量」入門

本エントリの主張 A/Bテスト、多変量テストの施策判断のためには、 まず第一に棒グラフ 二番目にその信頼区間 必要に応じて、大まかな目安として「効果量」 を出すべきだ。あとこの文章は数学的な予備知識のない方にも読んで頂けるよう努力して書いてます。…

二元配置直交表:リスティング広告のTDとLPをマッチさせるA/Bテストのために

本記事の主張 今現在実務で行われている「A/Bテスト」は統計的仮説検定の意味ではない。統計ソフトを使えば仮説検定自体は簡単に行えるが、「A/Bテスト」の施策判断に仮説検定は不向きである。もうテストって言葉使うのやめたほうがいいんじゃないだろうか、…

ランダムと均等の違い:リスティング広告のA/Bテストのために

仮説検定と実験計画は深い関連があります。医学薬学分野では、薬の有効性をきちんとテストするために、慎重に標本をランダム化しています。ランダム化比較試験 - Wikipedia秋山仁は「ランダム抽出」を「みそ汁の味見」にたとえていました。 Q:「統計学では…

メールマガジンの有効性:Web 系企業が仮説検定を有効に活用した事例の紹介

事例の紹介 私は A/Bテスト カテゴリーの記事一覧 - 廿TT 内に見られる記事において、「Web 系企業のA/Bテストに仮説検定は向かない」という主張を繰り返し述べて来ました。しかし、CiNii 論文 - アクセス遷移の傾向に関する分析とそこから得られる知見につ…

Wikipedia日本語版に「A/Bテスト」という項目を追加しました。

お願い Wikipedia日本語版に「A/Bテスト」という項目を追加しました。A/Bテスト - Wikipediaこの項目の加筆修正には、みなさまのご協力を得たいと願っております。私はかねてより、一貫してA/Bテストを批判し続けていますが、その問題意識は理解を得られてい…

2行2列の行列と行列式だけでできること。A/Bテスト&市場価格の予測

本稿の趣旨 高校数学の学習指導要領から行列と行列式は消えちゃったみたいだけど、 高等学校学習指導要領解説 数学編 平成21年(pdf) 行列と行列式は幅広い分野で便利に使われる道具なので覚えておいたほうがいい。「もともと高校数学で習う行列と行列式っ…

裏 RjpWiki さん、勇み足じゃないですか?

裏 RjpWiki さん、勇み足じゃないですか? と、いうのはこのエントリ。 A/B テストの周辺(中心?)で,御託を並べる - 裏 RjpWiki それともなんか僕が気に障るようなことしましたか? 1. 「多変量テスト」って 「多変量テスト」って統計用語じゃないんです…

A/Bテスト、多変量テストの図示(Excel 版)

データヴィジュアライゼーション via Excel A/Bテスト、多変量テストの図示 - 廿TT ↑このエントリのエクセル版です。 A/Bテスト、多変量テストの結果を可視化するエクセルシートを作りました。 よろしければ使ってください。→ http://zisatsu.web.fc2.com/mo…

ズバリ! 必要なサンプルサイズはいくつ? A/Bテストのための例数設計入門

関連エントリ この記事に興味を持たれた方は、 A/Bテスト、多変量テストに必要な期間を見積もる方法の紹介 - 廿TT A/Bテストをくり返すために知っておきたい標本の大きさと多重比較の話 - 廿TT 検定いらずの AB テスト:φ係数を用いたサンプルサイズ設計 - …

こんにちは検定、ハロー統計的有意性/読書猿くるぶしさんの書き方は誤解を招く

仮説検定はダメ? 本エントリはこの記事への批判です→サヨナラ検定、グッバイ統計的有意性/統計を使うつもりなら必読の論文はこれ 読書猿Classic: between / beyond readers ぼくは読書猿くるぶしさんを書評家として最大級にリスペクトしており、まさか氏を…

A/Bテスト、多変量テストの図示

追記 この文章はいろいろ話がまじっていて読みにくくなってしまっているようです。こちらのほうがわかりやすいかもしれません→A/Bテストをくり返すために知っておきたい標本の大きさと多重比較の話 - 廿TT下記のようなコメントを頂きました。 ryownet ABテス…

A/Bテストのガイドライン:仮説検定はいらない(Request for Comments|ご意見求む)

本記事の編集方針 ※この記事に興味をもたれた方は、 A/Bテスト カテゴリーの記事一覧 - 廿TT も、必要に応じてご覧いただければと思います。本記事はもともとは、「A/Bテストの数理」への批判:「有意」とはなにか の続き的なエントリでした。しかし、予想外…

「A/Bテストの数理」への批判:「有意」とはなにか

目次 ※誤解を招く書き方だったようですが、本記事の主張は有意水準を20%にしろということではないです。仮説検定をやるなら、「有意」っていうのがどういうことか、わかった上でやろうよ、ということです。そして意思決定を「有意水準5%」に丸投げするのはや…

誤差の範囲とはなにか?

「誤差10%ですが」ってなんだよ……。 【2+2=?】数学者「きっかり4」統計学者「だいたい4。誤差10%ですが」弁護士「2+2をいくつにしたいんです?」 ブラックジョーク発信bot (@blackjoker_bot) 2013年3月20日 この文章は、ちょっと書いては書きか…

permutation テスト入門

p 値ってなに? p 値ってなに? ってことをてっとり早く理解するためには permutation テストをやってみるといいと思う。日本語に訳すと「置換検定」とかになるだろうか。と思ったけどやっぱ、permutation は順列ですね。「順列組み合わせ検定」とかにしたほ…