廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

機械学習

正規分布で事後分布を近似する変分推論のアルゴリズム

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る『ベイズ推論による機械学習入門』で…

R と Stan で Factorization Machines

Factorization Machines の解説はこの記事がわかりやすかった:一歩Matrix Factorization、二歩Factorization Machines、三歩Field-aware Factorization Machines…『分解、三段突き!!』 - F@N Ad-Tech BlogFactorization Machines は傾向線に以下の式を仮…

ニューラルネット風ポアソン回帰でクリック数の多そうな検索クエリを見つける

ニューラルネット風ポアソン回帰でしつこく遊んでいる。 ニューラルネット風ポアソン回帰 - 廿TT ニューラルネット風ポアソン回帰でセッション数の推定 - 廿TT 検索クエリのスペースで区切られたひとかたまりの文字列をキーワードとよぶことにする。検索クエ…

ニューラルネット風ポアソン回帰でセッション数の推定

ニューラルネット風ポアソン回帰(ニューラルネット風ポアソン回帰 - 廿TT)でもうちょっと遊んでみる。前回は活性化関数をハイパボリックタンジェントにしたけどロジスティック関数でもいいみたいだ。モデルはこう。 シミュレーション 前回と同じシミュレー…

ニューラルネット風ポアソン回帰

ニューラルネットはこんな感じの図で説明されることが多い。この図は2次元の入力(2列の共変量)にウェイト(2行4列の行列)をかけてなんらかの関数のなかに入れ、またウェイト(4行のベクトル)をかけて1列にして、なんらかの関数の中に入れたものを出力と…

混合正規分布の変分ベイズ学習をRで

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る『ベイズ推論による機械学習入門』の…

TensorFlowでSIRモデル(非定常ポアソン過程)

TensorFlowで統計モデリング - StatModeling Memorandum に感化されて、SIR モデルと非定常ポアソン過程 - 廿TT と同じようなことをTensorFlowでもやってみました。TensorFlowには常微分方程式を解く関数もあるようです。こんな感じです。SIRのRを非定常ポア…

検索キーワードの分散表現(RとKeras版)

検索キーワードの分散表現(単語埋め込み) - 廿TT でやったのとほぼ同じことを R の keras パッケージでもやってみました。でもあんまりうまくいかなかった。2次元に落としたはずがほとんど1次元。正則化のせいなのかなあ。よくわからない。あとエクセルの…

ロジスティック回帰の変分ベイズ学習をRで

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る『ベイズ推論による機械学習入門』の…

検索キーワードの分散表現(単語埋め込み)

目標 ゆくゆくは 収集したキーワードをグループ化する | 検索連動型広告を成功に導くSEM戦略 | Web担当者Forum の逆問題みたいなことをやりたい。 今回やったこと word2vec のまねをして検索クエリの中のキーワードを数字のベクトルと表現するモデルを考えた…

ニューラルネットワークの変分ベイズ学習をRで

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る『ベイズ推論による機械学習入門』の…

ポアソン2状態隠れマルコフモデルの変分推論をRで

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る『 ベイズ推論による機械学習入門』…

崩壊型ギブスサンプリングによるポアソン混合分布の学習をRで

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見る『ベイズ推論による機械学習入門』の…

R: 確率的勾配降下法で混合ポアソン分布のパラメータの最尤推定

abrahamcow.hatenablog.comコードだけ貼ります。log_softmax関数の微分が難しかった。 SGDmixPois<-function(y, L, theta, lern_rate, num_iters, batch_size){ ll<-function(y,theta){ phi <- c(0,theta[1:(L-1)]) lam <- theta[-c(1:(L-1))] lp <- numeric…

R: 確率的勾配降下法でポアソン分布のパラメータの最尤推定

これはたぶん確率的勾配降下法のもっとも簡単な例題です。モチベーション:でっかいデータで最尤推定したいときがあって、ふつうに準ニュートン法とか使うと遅すぎていやなので、なんか機械学習の人たちがやってる確率的勾配降下法とかいうやつ使えばいいん…

変分法を使わずに変分ベイズの導出をする

変分下限 2つのパラメータ と を持つ確率モデル を考える。いま事後分布 をうまく近似する を求めたい。を対数周辺尤度と呼ぶ。対数周辺尤度を以下のように変形する。イエンセンの不等式により、対数周辺尤度に対して以下が成り立つ。右辺を変分下限と呼ぶ。…

非負値行列因子分解をRで(ベイズ推論による機械学習入門)2

abrahamcow.hatenablog.comはい。機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー)この商品を含むブログ (1件) を見るp.1…

かんたんなバンディットアルゴリズムのシミュレーション

報酬がベルヌーイ分布に従うときのトンプソンサンプリングをシミュレーションしてみました。 問題設定 スロットマシーンが5台あってそれぞれ「当たり」が出る確率が違うとする。「当たり」の出やすいスロットマシーンをうまく選んで、得られる「当たり」の回…

グループドデータの非負値行列因子分解

モチベーション たとえばこういう表がある。 gist.github.com表の左のほうにユーザー層の情報、右の方にユーザー層ごとのブログへのアクセス経路が書かれている。どのユーザー層がどの経路を好むか知りたいとする。そこでトピックモデルとしてポアソン分布を…

線形次元削減をRで(ベイズ推論による機械学習入門)

『ベイズ推論による機械学習入門』で解説されていた線形次元削減です。D 行 N 列の観測データを を M 行 N 列の潜在変数 で表現することが目標です。 D 行 M 列のパラメータ W と D 次元のベクトル μ を使ってという形で近似します。機械学習スタートアップ…

多項式回帰モデルの予測分布(『ベイズ推論による機械学習入門』をRで)

『ベイズ推論による機械学習入門』p.109 の図3.8をRで再現してみました。機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/21メディア: 単行本(ソフトカバー…

混合ポアソン分布による逐次更新型異常検知をRで

詳しい説明は『異常検知と変化検知』5章を見てください。異常検知と変化検知 (機械学習プロフェッショナルシリーズ)作者: 井手剛,杉山将出版社/メーカー: 講談社発売日: 2015/08/08メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る『異常…

[googleAnalyticsR]非負値行列因子分解を用いたユーザーと閲覧ページのクラスタリング(とレコメンド)

非負値行列因子分解(非負値行列因子分解をRで(ベイズ推論による機械学習入門) - 廿TT)でもう少し遊んでみる.メインの関数は Non-negative matrix factorization · GitHub に上げました.非負値行列因子分解は情報推薦にも応用できる(Rによるレコメンドの…

非負値行列因子分解をRで(ベイズ推論による機械学習入門)

『ベイズ推論による機械学習入門』で解説されていた非負値行列因子分解 (Non-negative matrix factorization, NMF or NNMF) を R でやってみます.機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版…

カルバック・ライブラー密度比推定法をRで(異常検知と変化検知)

異常検知と変化検知 (機械学習プロフェッショナルシリーズ)作者: 井手剛,杉山将出版社/メーカー: 講談社発売日: 2015/12/04メディア: Kindle版この商品を含むブログを見る『異常検知と変化検知』の12章で説明されているカルバック・ライブラー密度比推定法を…

ポアソン混合モデルの変分ベイズによる推定をRで(ベイズ推論による機械学習入門)

モデル パラメータ のポアソン分布の確率関数を と書くことにする. の確率関数を, とする.ここで はカテゴリカル分布にしたがう変数とする. は観測されない潜在変数である. の事前分布にパラメータ , のガンマ分布を仮定する.カテゴリカル分布のパラメータ …