廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

R

[RStan]ディリクレ・多項モデルで μ's とAqours の人気の差を調べる

背景の整理 前に書いたエントリが引用されて嬉しかったのでもう一ネタ書きます. アイドルの人気投票における多項ロジスティック回帰の適用例 - gaiaskyの技術メモ [RStan]多項ロジスティックモデルで μ's とAqours の人気の差を調べる - 廿TT モデル キャ…

Dirichlet Multinomial モデルのトピック数を ELBO で決める

R

モデルと推定方法については以下に書いた: 変分ベイズによるトピックモデル(Dirichlet-multinomial Model)のパラメータ推定の高速化 - 廿TT ELBO の導出は後で説明します。 R によるシミュレーション library(gtools) VBDirMult <-function(Y,L=2,alpha=r…

NMF(非負値行列因子分解)の次元数を ELBO で決める

R

NMF の変分推論については非負値行列因子分解をRで(ベイズ推論による機械学習入門)2 - 廿TTに書いた。ここでは同じモデルの ELBO (evidence lower bound) を導出する。 ELBO 後で説明します。 R による実装例 NMFVB <-function(Y,L=2,alpha=1,beta=1,maxit…

GaP モデルのトピック数を ELBO で決める

R

ここでは [math/0604410] Discrete Component Analysis の Gamma-Poisson モデル(GaP)の ELBO (evidence lower bound) を導出する。行列の分解がトピックモデルの一種として解釈できることは以下に書いた: 行列の知識ゼロからはじめてトピックモデル(GaP…

ポアソン過程・フラットモデル(BTYDモデル番外編)

R

モデルと尤度 RFM 指標から将来の購買回数を予測するモデルとして、次の2つを紹介しました。 Pareto / NBD モデルの変分推論(RFM指標から将来の購買回数を予測する) - 廿TT BG / NBD モデルの変分推論(RFM指標から将来の購買回数を予測する) - 廿TT ポイ…

Pareto / NBD モデルの変分推論(RFM指標から将来の購買回数を予測する)

R

モデルと尤度 RFM 指標から将来の購買回数を予測するモデルの一つに Pareto / NBD モデルがあります。ポイントは観測されない顧客の生存と離脱を潜在変数としてモデルに含めるところです。モデル: 顧客の購買はレート の定常ポアソン過程に従う 顧客の生存…

腸内細菌叢のデータで遊ぼう(Kostic et al, 2015)

Kostic et al, 2015 (https://www.cell.com/cell-host-microbe/fulltext/S1931-3128(15)00021-9) では、乳幼児の腸内細菌叢のコホート研究をおこなっています。その結果として、腸内細菌の種の多様性は年齢とともに増加する傾向があるが、糖尿病を発症する群…

正規累積項目反応曲線のギブスサンプリングによる推定. Rcpp による実装例 (2)

Albert (1992): 正規累積項目反応曲線のギブスサンプリングによる推定. Rcpp による実装例. - 廿TT のつづきです. Albert, J. H. (1992). Bayesian estimation of normal ogive item response curves using Gibbs sampling. Journal of educational statisti…

0-1データのNMF(非負値行列因子分解)を使った項目反応理論っぽい分析

R

分析の対象 「たのしいベイズモデリング」第4章のデータです。北大路書房:『たのしいベイズモデリング-事例で拓く研究のフロンティア-』ダウンロード から入手できます。 no sex age p1 p2 p3 p4 p5 p6 p7 1 2 37 0 0 1 0 0 1 1 2 2 32 1 1 1 1 0 1 1 3 1 5…

ノンパラメトリック検定からの増減比較という二段構えの方法について

就職してから一年ちょっとたちました。就職して以来、一応バイオインフォマティクスっぽいことをやっています。それで多少は医学っぽい論文もよむようになりました。今日は腸内細菌の分析手法について書きます。最近(2000年代以降)の腸内細菌の研究のブレ…

崩壊型ギブスサンプリングによるトピックモデル(Dirichlet-Multinomial)のパラメータ推定

[math/0604410] Discrete Component Analysis を元に実装しています。論文では Dirichlet-Multinomial Model と呼ばれていますがやってることはLDAと変わりません。 Rao-Balckwellised Gibbs Sampling と呼ばれていますがやってることは崩壊型ギブスサンプリ…

Rcpp を使った最適化ができるパッケージ roptim の簡単な例題

roptim (GitHub - ypan1988/roptim: General Purpose Optimization in R using C++) の使い方をメモ。インストールはCRANからいけます。 install.packages("roptim") 線形回帰をやります。二乗誤差を最小化。reg.cpp というファイルを作る。 // [[Rcpp::plug…

0-1データのNMF(非負値行列因子分解)

R

モデル パラメータ はトピック×項目の成功確率パラメータ、パラメータ はサンプルごとのトピックの構成割合。 は潜在変数 示すトピックのインデックスを表すインジケータ変数です。 変分推論 未知パラメータ と をまとめて と置くと、 対数尤度関数は変分事…

Hawkes 過程を Web サイトへの訪問時刻に当てはめてみる

点過程の時系列解析 (統計学One Point)作者: 近江崇宏,野村俊一出版社/メーカー: 共立出版発売日: 2019/06/08メディア: 単行本この商品を含むブログを見る『点過程の時系列解析』の例題です。『点過程の時系列解析』はこれまでなかった本です。統計的推定と…

『ガウス過程と機械学習』図3.20 (b) を R で再現する (p.91)

ガウスカーネルのハイパーパラメータを最適化して2標準偏差の予測区間をプロットするところ。コードだけ貼ります。解説はしませんので、アマゾンアフィリエイト経由で本を買ってください。ガウス過程と機械学習 (機械学習プロフェッショナルシリーズ)作者: …

ポアソン・ガンマモデルによる渋滞のシミュレーションと予測

モチベーション https://www.jcca.or.jp/kaishi/268/268_toku1.pdf に渋滞の伝播を表した図が乗っています。 https://www.jcca.or.jp/kaishi/268/268_toku1.pdf よりLWRモデルを線形にしたやつ dlm による LWR モデルのパラメータ推定(渋滞の予測) - 廿TT …

変分ベイズを使って変化点検知をしてみる(ポアソン過程版)

記法 イベントの発生時刻を として、 とする。ぜんぶで 回のイベントが観測されたとする。また最初のイベントの生起をポアソン過程がはじまった時刻として とする。 モデル ポアソン過程ではイベントが生起してから次のイベントまでの待ち時間は指数分布に従…

Dirichlet Process Mixtures の変分推論(混合二項分布)

R

Blei & Jordan (2004) http://www.cs.columbia.edu/~blei/papers/BleiJordan2004.pdf をもとに実装してます。Rです。あってるか自信ない。混合数3で乱数を作って、二項分布のパラメータを推定してます。最大で20のクラスタがあるように設定していますが、全…

周辺尤度を重点サンプリングで計算するときの提案分布に変分事後分布を使う

R

といいんじゃないかなーと思った。 (計算統計学の方法 p.199)ここでは分布 g のことを「提案分布」と呼ぶことにしました。以下、R のコードです。混合二項分布のパラメータを平均場近似による変分ベイズ法で推定してます。事前分布はベータ分布とディリク…

ガンマ分布の近似的な最尤推定量を用いた PELT アルゴリズムで変化点の検出

Closed-Form Estimators for the Gamma Distribution Derived From Likelihood Equationsという論文があります。 https://minerva.it.manchester.ac.uk/~saralees/gammapaper.pdfガンマ分布のパラメータの新しい推定量を提案しています。その推定量は閉じた…

ggbrick: histogram like dot plot based on ggplot2

Hello everyone. I introduce an R package ggbrick. github.comMy English is poor. If you don't understand my writing, please use comment field (コメントを書く).ggbrick provides the function geom_brick which is a fun alternative to geom_violi…

ggplot2でヒストグラムを箱ひげ図風に並べてプロットするパッケージggbrickを書いた

English version: abrahamcow.hatenablog.comgithub.comggtetrisって名前にしようかと思ったんだけど、もうある(GitHub - EmilHvitfeldt/ggtetris: Create Tetris Chart Visualizations in R)みたいなので、ggbrickにしました。brickはレンガっていう意味…

[ggplot2]ヒストグラムを箱ひげ図風に並べるプロット(3)

追記:パッケージ化したのでこちらを参照してください→ggplot2でヒストグラムを箱ひげ図風に並べてプロットするパッケージggbrickを書いた - 廿TT 進捗です。 [ggplot2]ヒストグラムを箱ひげ図風に並べるプロット - 廿TT [ggplot2]ヒストグラムを箱ひげ…

[ggplot2]ヒストグラムを箱ひげ図風に並べるプロット(2)

追記:パッケージ化したのでこちらを参照してください→ggplot2でヒストグラムを箱ひげ図風に並べてプロットするパッケージggbrickを書いた - 廿TT [ggplot2]ヒストグラムを箱ひげ図風に並べるプロット - 廿TT をちょっと修正しました。こんな感じです。 so…

[ggplot2]ヒストグラムを箱ひげ図風に並べるプロット

追記:パッケージ化したのでこちらを参照してください→ggplot2でヒストグラムを箱ひげ図風に並べてプロットするパッケージggbrickを書いた - 廿TT geom_dotplot(ggplot2/geom-dotplot.r at master · tidyverse/ggplot2 · GitHub)をちょっといじりました。…

変分ベイズによるトピックモデル(Dirichlet-multinomial Model)のパラメータ推定の高速化

R

変分ベイズによるトピックモデル(GaP; Gamma-Poisson Model)のパラメータ推定の高速化 - 廿TT とまったく同じ議論により、 [math/0604410] Discrete Component Analysis の Dirichlet-multinomial モデルの変分推論もより簡単にすることができる。Dirichle…

変分ベイズによるトピックモデル(GaP; Gamma-Poisson Model)のパラメータ推定の高速化

R

行列の分解がトピックモデルの一種として解釈できることは以下に書いた: 行列の知識ゼロからはじめてトピックモデル(GaP)の結果だけ理解する - 廿TTここでは [math/0604410] Discrete Component Analysis の Gamma-Poisson モデル(GaP)の変分推論がちょ…

変分ベイズによる近似事後分布は相当おおざっぱかもしれない

R

以下のポアソン回帰モデルを考えます。 () はダミー変数で 0 か 1 の値を取るとします。平均場近似による の近似事後分布はガンマ分布です。 です。導出の詳細は省略しますが、気が向いたら追記するかもしれません。ギブスサンプリングのための条件付き分布…

正規分布で事後分布を近似する変分推論のアルゴリズム

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る『ベイズ推論による機械学習入門』で…

R と Stan で Factorization Machines

Factorization Machines の解説はこの記事がわかりやすかった:一歩Matrix Factorization、二歩Factorization Machines、三歩Field-aware Factorization Machines…『分解、三段突き!!』 - F@N Ad-Tech BlogFactorization Machines は傾向線に以下の式を仮…