廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

仮説検定

時系列データで相関を出してはいけないのか(失業と自殺は関係あるのか2)

経緯 じ、時系列データに対して単純な相関を算出している。。。 https://t.co/3yUB5ZEhRo— 統計たん@Rアイドル (@stattan) 2016年7月15日男性に関して言えば、失業率と自殺率は強い相関を持つことが舞田敏彦らによって指摘されている。相関係数は0.7224。デ…

エクセルで無相関検定:失業率と野菜摂取量の相関

町山智浩がアメリカでは貧しい人たちが野菜を食べれなくて困っているというような話をしていた。町山智浩 映画『Fed Up』が描くアメリカの飢餓・肥満問題を語る日本でもそういう現象があるだろうと思い、野菜摂取量と失業率の相関を調べてみた。使用したデー…

打者の調子の波のモデル化(幾何分布編)

仮説検定 Albert (2008) "Streaky Hitting in Baseball" ではベータ二項分布を用いて野球選手の調子の波を評価した。Albert (2008) 打者の調子の波のモデル化 - 廿TT下記はカルロス・ギーエンという選手の2005年の打撃成績のデータで、ヒットを 1、アウトを …

optim による glm:最尤推定 + 信頼区間, Wald 検定

あらまし 自分で尤度を書いてみて, R の glm 関数がやってることを再現する. 尤度さえ書ければパラメータの点推定, 区間推定ができるし検定もできる. それができるようになれば, パッケージなどが用意されていない新しいモデルでも計算できるようになる(と…

Albert (2008) 打者の調子の波のモデル化(前編)

モチベーション 野球にはまったく興味ないんだけど、Albert (2008) "Streaky Hitting in Baseball" を読んでた。http://citeseerx.ist.psu.edu/viewdoc/download?rep=rep1&type=pdf&doi=10.1.1.150.5808スポーツデータ解析に関する論文を探すには Journal of…

変化点のあるポアソン過程のパラメータの最尤推定

尤度関数 変化点のあるポアソン分布のパラメータの最尤推定 - 廿TT では、生起したイベントの個数に着目しましたが、生起の間隔に着目してモデル化することもできます。 とすると、変化点のない強度(intensity)λ の定常ポアソン過程では、点と点の間隔は指…

変化点のあるポアソン分布のパラメータの最尤推定

モデル 変化点のあるポアソン分布についてはいろんな研究がなされていますが、一番単純と思われる手法を試します。解析対称はイギリスの炭鉱事故の発生件数のデータです。3. Tutorial — PyMC 2.3.6 documentation から取得しました。 #R のコード dat <- c(4…

(R+Google アナリティクス)オッズ比で属性の影響を調べる

問 Google アナリティクスの管理画面を見ていたら、男性のセッションにくらべて、女性のセッションがだいぶ少ないことに気づきました。これは「このサイトが女性に認知されていない」ということでしょうか? それとも「女性が関心を持ちやすいような話題が、…

A/Bテストをくり返すために知っておきたい標本の大きさと多重比較の話

『部長、その勘はズレてます!』を読んだ Ptengineから届いたメルマガで『A/Bテストの本としては、間違いなく必読書。』とされていたので、『部長、その勘はズレてます!「A/Bテスト」最強のウェブマーケティングツールで会社の意思決定が変わる 』という本…

(R + Google アナリティクス)何ページ目でセッションから離脱するか。残存率の可視化。

生存曲線による残存率の可視化 ランディングページ(LP)を評価する際は、直帰率が低く抑えられているかをチェックすることがよく行われます。Google アナリティクスの管理画面から LP ごとの直帰率を見てみます。 http://abrahamcow.hatenablog.com/entry/2…

ポアソン分布のカイ二乗適合度検定. R による練習.

カイ二乗適合度検定の枠組み カイ二乗検定は分割表に対して行うもの, というイメージがある. たぶんそのイメージはまちがっていない. タイプ 観測値の個数 生起確率 : : : ある実験を行った結果が の k 通りに分類されるとする. , かつ とする. に分類される…

交代再生過程のある時刻における状態がポアソン分布に従うか否かシミュレーションしてみた.

状況 なんらかの機械を設置したとする.この機械はある程度時間が経過すると故障する.修理にはまたある程度の時間がかかる.つまりこの機械は, 状態1:稼働中 状態2:修理中 と, 2 つの状態を交互に繰り返す.ある時刻 o にこの機械をみたとき, この機械が稼働…

メールマガジンの有効性:Web 系企業が仮説検定を有効に活用した事例の紹介

事例の紹介 私は A/Bテスト カテゴリーの記事一覧 - 廿TT 内に見られる記事において、「Web 系企業のA/Bテストに仮説検定は向かない」という主張を繰り返し述べて来ました。しかし、CiNii 論文 - アクセス遷移の傾向に関する分析とそこから得られる知見につ…

時系列データの相関係数はあてにならない……のか? 教えて下さい

本記事の趣旨 見せ掛けの回帰と見せ掛けの相関(擬似相関)は違います。 時系列(というか、ランダムウォークする系列 ランダムウォーク - Wikipedia )の場合、相関係数は比較的高い値になりやすく、また有意な相関が出やすいので注意。 あと高橋洋一の議論…

こんにちは検定、ハロー統計的有意性/読書猿くるぶしさんの書き方は誤解を招く

仮説検定はダメ? 本エントリはこの記事への批判です→サヨナラ検定、グッバイ統計的有意性/統計を使うつもりなら必読の論文はこれ 読書猿Classic: between / beyond readers ぼくは読書猿くるぶしさんを書評家として最大級にリスペクトしており、まさか氏を…

A/Bテストのガイドライン:仮説検定はいらない(Request for Comments|ご意見求む)

本記事の編集方針 ※この記事に興味をもたれた方は、 A/Bテスト カテゴリーの記事一覧 - 廿TT も、必要に応じてご覧いただければと思います。本記事はもともとは、「A/Bテストの数理」への批判:「有意」とはなにか の続き的なエントリでした。しかし、予想外…

「A/Bテストの数理」への批判:「有意」とはなにか

目次 ※誤解を招く書き方だったようですが、本記事の主張は有意水準を20%にしろということではないです。仮説検定をやるなら、「有意」っていうのがどういうことか、わかった上でやろうよ、ということです。そして意思決定を「有意水準5%」に丸投げするのはや…

permutation テスト入門

p 値ってなに? p 値ってなに? ってことをてっとり早く理解するためには permutation テストをやってみるといいと思う。日本語に訳すと「置換検定」とかになるだろうか。と思ったけどやっぱ、permutation は順列ですね。「順列組み合わせ検定」とかにしたほ…