廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

私家版術語集

ベイズ推測とベイズの定理の関係

ベイズ推測とベイズの定理の関係がよくわからなくなってきた。尤度と事前分布が正しい場合にはベイズの定理はもちろん正しいんだけど、ふつう統計的推測をする場合には正しい観測モデル(尤度)も正しい事前分布も未知で、分析者が設定する。それなのになぜ…

カルバック・ライブラ情報量の直感的な意味

状態 がそれぞれ の確率で生起する分布と、状態 がそれぞれ の確率で生起する分布を考えます。この2つの分布間のカルバック・ライブラ情報量は、と定義されます。この量は「母集団分布が のとき経験分布がほぼ となる確率の対数のサンプルサイズ分の 1 の符…

行列の知識ゼロからはじめてトピックモデル(GaP)の結果だけ理解する

トピックモデルと総称されるモデルの中には様々なものがありますが、ここでは [math/0604410] Discrete Component Analysis の Gamma-Poisson モデル(GaP)を紹介します。トピックモデルはカウントデータ(なにかの数を数えたデータ)の行列が与えられたと…

「まちがったモデル」で最尤推定すること

この文章は『In ALL Likelihood』(p.370) を参考にしました。In All Likelihood: Statistical Modelling And Inference Using Likelihood作者: Yudi Pawitan出版社/メーカー: Oxford University Press, Usa発売日: 2013/03/01メディア: ペーパーバックこの商…

AICとBICの違い:「ベイズ統計の理論と方法」第1章についての走り書き

ベイズ統計の理論と方法作者: 渡辺澄夫出版社/メーカー: コロナ社発売日: 2012/03/01メディア: 単行本購入: 1人 クリック: 4回この商品を含むブログ (8件) を見る カルバック・ライブラ情報量は分布の「近さ」を測る指標. ふたつの確率(密度)関数 , に対し…

変分法を使わずに変分ベイズの導出をする

変分下限 2つのパラメータ と を持つ確率モデル を考える。いま事後分布 をうまく近似する を求めたい。を対数周辺尤度と呼ぶ。対数周辺尤度を以下のように変形する。イエンセンの不等式により、対数周辺尤度に対して以下が成り立つ。右辺を変分下限と呼ぶ。…

十分統計量の思想的直感的意味(小島寛之による説明)

十分性、最尤性、一様最小分散不偏性 小島寛之は『現代思想』2014年6月号において、推測統計学を他の数理科学(数学や物理学)とわかつものは、 十分性 最尤性 一様最小分散不偏性 というみっつの正当化であるとしている。内「最尤性」「一様最小分散不偏性…

ベイズ統計のための準備, ベイズの定理, 事前分布と事後分布

ベイズの定理 - Wikipedia 全確率の定理とベイズの定理 ベイズの定理と全確率の定理はセットで覚えたほうが覚えやすい. ベイズの定理は, 条件付き確率に成り立つ下の恒等式として知られる.これは n 個の事象 を考えるとき, 次のように一般化される.ベイズの…

「公理系」とはどういう考え方か。ゲーデルの不完全性定理の誤用例

はじめに 「公理が本当に正しいのか証明する」という謎の概念が登場した、これどうなんだ http://t.co/z3qWje33Q3— トデス子 (@todesking) 2014, 12月 26こういうの、ツイッターとかでかるく揶揄されるだけで終わっちゃうのもったいない。この記事、現時点で…

[定義]確率質量関数、確率密度関数の原子(atom)とは

定義 W. フェラーによれば、1 点 x からなる集合が正の確率を持っているとき、この点を原子(atom)という。 (確率論とその応用 2 上 p.188を参照)確率論とその応用 2 上 (現代経営科学全集 9)作者: ウィリアムフェラー,国沢清典,羽鳥裕久,大平坦出版社/メ…

[定義]arithmetic(算術的)な確率分布とは

定義 arithmetic(算術的)という用語のそもそもは Feller に遡れる。確率論とその応用 2 上 (現代経営科学全集 9)作者: ウィリアムフェラー,国沢清典,羽鳥裕久,大平坦出版社/メーカー: 紀伊國屋書店発売日: 1969/11メディア: 単行本 クリック: 5回この商品…

mean と average の違い

ぼくは英語苦手なんですが、 mean: 平均 average: 主に算術平均のことを指すが、広義では代表値の総称 という理解でいいかと思います。Weblio英和対訳辞書(英和辞典・和英辞典 - Weblio辞書英和辞典・和英辞典 - Weblio辞書)によれば、avarage には代表値…

確率収束するならば法則収束する?

はじめに ポアソンの少数の法則は「起きるのが稀な事象の発生件数はポアソン分布に従う」という意味ではない - 廿TT を書いたとき, 標本分布とかについて復習しとこうと思ってググってて「確率収束するなら法則収束する.」という記述を見つけた(法則収束 -…

デデキントによる無限集合の存在証明のあやまり

概略 小島寛之の『数学でつまずくのはなぜか』はおもしろい本だけど、ラストには(おそらく意図的な)ごまかしがある。 小島はデデキントの無限集合の存在証明は「その後の数学者たちには黙殺されてしまった」と述べているが、そんなことはない。ふつうに反…

Excel の近似曲線(指数近似・対数近似)

対数変換と一般化線形モデル - DTAL(旧RCEAL)留学記録 ↑この記事を見て思い出したこと。Excel の近似曲線は、「指数近似」が、 「対数近似」が、 を意味するようです。(a, c は回帰係数。ε は誤差項。詳しくは 対数変換と一般化線形モデル - DTAL(旧RCEA…

統計の本を読む時に覚えておくと便利な数理統計の公式集

統計学・機械学習でよく使われる数学記号リスト(主に自分用) - About connecting the dots. にインスパイアされた。 こういうメモ作っておくと忘れなくていい気がした。照明は略。 期待値の線形性: 確率変数の和(一次結合)の分散: X が互いに独立なと…

ビッグデータとはなにか

もうこの世界そのものがビッグデータっていうことでいいんじゃないだろうか。

Google トレンドの縦軸の数字(検索インタレスト)ってなんなの?

「検索インタレスト」ってどういう意味? Google トレンド 検索インタレスト=(各時点の検索ボリューム÷各時点の検索ボリュームの最大値)×100らしい。もうちょっとシンプルに書くと、年月日 i に、ある語句を検索した人の数を xi としたときの、を検索イン…

誤差の範囲とはなにか?

「誤差10%ですが」ってなんだよ……。 【2+2=?】数学者「きっかり4」統計学者「だいたい4。誤差10%ですが」弁護士「2+2をいくつにしたいんです?」 ブラックジョーク発信bot (@blackjoker_bot) 2013年3月20日 この文章は、ちょっと書いては書きか…