読者です 読者をやめる 読者になる 読者になる

廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

ガンマ再生過程に基づくカウントデータの分布

関心のある事象(例えば機械の故障, タクシーの到着など)が繰り返し生起し, それぞれのイベントの生起間隔が独立に同一のガンマ分布に従う場合を考える.イベントの生起間隔を確率変数 で表す. またイベントの発生時刻は, で表す. いま, 開区間 で起こったイ…

非定常ポアソン過程でアフィリエイトのコンバージョンを予測(グループドデータ版)

abrahamcow.hatenablog.com の続きです。めったに起きないコンバージョンの成長の非定常ポアソン過程によるモデル - 廿TT では一日に複数のコンバージョンが発生しても、それは一回とカウントしていました。これはもったいない。こういうのはグループドデー…

状態空間非定常ポアソン(NHPP using Stan)

ポアソン過程は再発事象のモデルとしてよく使われる。ポアソン過程ではイベントが観測された時刻を () とすると、イベントの生起間隔 は独立にパラメータ λ の指数分布に従う。ポアソン過程の拡張としてパラメータλ が時間に依存して変化する非定常ポアソン…

大森・宇津公式を強度関数とした非定常ポアソン過程の重ね合わせによる熊本地震の余震の分析

スクレイピング 使用するツールは R です。データは 気象庁|地震情報 から取得しました。rvest パッケージを使うとかんたんです。また XML パッケージの readHTMLTable 関数を使う方法もあります。R から HTML の表を読み込む - 廿TT速報は一定時間たつと流…

変化点のあるポアソン過程のパラメータの最尤推定

尤度関数 変化点のあるポアソン分布のパラメータの最尤推定 - 廿TT では、生起したイベントの個数に着目しましたが、生起の間隔に着目してモデル化することもできます。 とすると、変化点のない強度(intensity)λ の定常ポアソン過程では、点と点の間隔は指…

変化点のあるポアソン分布のパラメータの最尤推定

モデル 変化点のあるポアソン分布についてはいろんな研究がなされていますが、一番単純と思われる手法を試します。解析対称はイギリスの炭鉱事故の発生件数のデータです。3. Tutorial — PyMC 2.3.6 documentation から取得しました。 #R のコード dat <- c(4…

めったに起きないコンバージョンの成長の非定常ポアソン過程によるモデル

弱小アフィブログの成長 これは当ブログのアマゾンアフィリエイトレポートの折れ線グラフです。横軸が日付, 縦軸がその日の注文数合計です。注文数合計は 0 が多く, 折れ線グラフは下に潰れて, 注文があった日だけスパイクのようにとげとげつきだしています…

観測期間にギャップのあるワイブル過程のパラメータの最尤推定

最尤推定量 ワイブル過程のパラメータの最尤推定 - 廿TT の続きです.Crow (1988) に出てくる例題をやります. を区間 でのイベントの発生時刻, を区間 でのイベントの発生時刻として,非定常ポアソン過程を区間 と ()で観測した場合の尤度関数は以下のように…

ワイブル過程のパラメータの最尤推定

ワイブル過程とは ワイブル過程とは強度(intensity)関数に を仮定した非定常ポアソンのことで, おもに信頼度成長のモデルに使われる.この強度関数はワイブル分布のハザード関数と一致する.ワイブル分布とは別ものなので紛らわしい.power-law ポアソン過程…

RStan でポアソン過程の停止時刻を推定する

問題設定 n = 20 人の患者さんが繰り返し訪問する病院の窓口を T = 100 時間観察した。患者 i はそれぞれある時期 に達すると病院への訪問をやめる(理由は不明:病気が治ったか、遠くに引っ越したか、通院に飽きたか、死んだか)。この訪問がレート λ (全…

交代再生過程の応用例アブスト2本

はじめに 交代再生過程(ARP)は確率論のプロがやっている数学的な研究が多くてむずかしい。ぼくとしては実際のデータに当てはめた具体例がほしい。ARPの例としてよく出されるのはシステムのオン・オフの繰り返しで、信頼性工学の本なんかに書いてある。ただ…

窓打ち切りデータからのワイブル再生過程のパラメータ推定(RStan版)

詳細は 窓打ち切りデータからのワイブル再生過程のパラメータの最尤推定 - 廿TT を参照してください。パラメータを推定するだけなら最尤法の枠組みのなかで十分なんですが、RStan でもできるかな、という練習です。 #シミュレーションでデータを生成 simu1 <…

なんと呼ぶのかわからない待ち行列のシミュレーション

定理 時刻 o 以前にすでに到着しており、時刻 o のサービス開始を待っていた利用者にのみサービスを提供する窓口を考える。到着はレート λ のポアソン過程に従う。利用者はそれぞれある時間だけ待ち、その時間を超えて待つことはしない。利用者の待ち時間は…

出生死滅過程(birth-death process)のシミュレーション

出生死滅過程の性質 ※これは定義ではない.パラメータ λ, μ の出生死滅過程 において, 次の出生または死亡までの時間は, パラメータ λ + μ の指数分布に従う.状態 i から i-1 へ推移する確率は μ/( λ + μ ), i+1 へ推移する確率は λ/( λ + μ ) である. R によ…

ポアソン過程の定義. ポアソン分布と指数分布の関係.

定義 事象が発生するまでの待機時間 は独立同分布で各確率変数はパラメータ λ の指数分布に従うとする. また に対して かつ とする.このとき をパラメータ λ のポアソン過程と呼ぶ. 分布 さて, N(t) が指数過程でなくポアソン過程と呼ばれる理由を納得するた…

窓打ち切りデータからのワイブル再生過程のパラメータの最尤推定

再生過程 例えば電球が切れたら交換し切れたら交換し……というようなプロセスを考える.電球それぞれの寿命 は独立に同分布 に従うとする. は非負の連続型確率変数とする.イベントが繰り返し生起するため, このような過程を再生過程(または更新過程; renewal …

窓打ち切り状況下でのポアソン過程のパラメータの最尤推定

ポアソン過程 お客さんが窓口に到着する時間の間隔を確率変数 で表す.各確率変数は独立同分布でパラメータ λ の指数分布に従うとする. このとき に対して と表記する. また とする. はパラメータ λ のポアソン過程である. 状況 窓打ち切り(window censored…

再生回数の期待値(renewal equation)

例えば電球が切れたら交換し切れたら交換し……というようなプロセスを考える.電球それぞれの寿命 は独立に同分布 に従うとする. は非負の連続型確率変数とする.イベントが繰り返し生起するため, このような過程を再生過程(または更新過程; renewal process)…

再生過程における大数の強法則

計算 例えば電球が切れたら交換し切れたら交換し……というようなプロセスを考える.電球それぞれの寿命 は独立に同分布 に従うとする. は非負の連続型確率変数とする.イベントが繰り返し生起するため, このような過程を再生過程(または更新過程; renewal proc…

レイリー分布を仮定した可用性(2 状態システムの稼働率)の推定

状況 なんらかの機械を設置したとする.この機械はある程度時間が経過すると故障する.修理にはまたある程度の時間がかかる.つまりこの機械は, 稼働中と修理中の 2 つの状態を交互に繰り返す.いま, この機械をある時刻に観測したとき, 機械が稼働している割合…

再生過程における余命の分布(均衡分布)

状況 例えば電球が切れたら交換し切れたら交換し……というようなプロセスを考えます。電球それぞれの寿命 は独立に同分布 F(x) に従うとします。 は非負の連続型確率変数です。電球の寿命切れ、というイベントが繰り返し生起するため、このような過程を再生過…

R でアトリビューション分析。Google アナリティクスの「コンバージョン経路」レポートを視覚化。

アトリビューション分析とは バズワードです。明確な定義はありません。広告の直接効果だけでなく、間接的な効果も含めて分析しようみたいな意味です。 コンバージョン経路 Google アナリティクスの管理画面を開いて「コンバージョン」→「マルチチャネル」→…

R によるメトロポリス・ヘイスティング(MH)法入門

はじめに;動機など メトロポリス・ヘイスティング(Metropolis-Hastings)法はマルコフ連鎖モンテカルロ(Marcov Chain Monte Calro; MCMC)法の一種である.MCMCでは, 独立でも同一でもない分布, マルコフ連鎖により乱数を生成する.MCMCの代表的な手法(ア…

R による棄却サンプリング法(おれが)入門

はじめに;棄却サンプリング法とは 棄却サンプリング(rejection sampling)法は, 受容−棄却サンプリング(acceptance-rejection)法ともいう.棄却サンプリング法を使うとなにができるか.例えば, 密度関数 f(x) に従う乱数を発生させたいけど, 使っているソ…

(2次元)ポアソン過程のシミュレーション

アルゴリズム Jochen Voss によればポアソン過程の乱数を生成するアルゴリズムは以下の通りである.An Introduction to Statistical Computing: A Simulation-based Approach (Wiley Series in Computational Statistics)作者: Jochen Voss出版社/メーカー: W…

交代再生過程のある時刻における状態がポアソン分布に従うか否かシミュレーションしてみた.

状況 なんらかの機械を設置したとする.この機械はある程度時間が経過すると故障する.修理にはまたある程度の時間がかかる.つまりこの機械は, 状態1:稼働中 状態2:修理中 と, 2 つの状態を交互に繰り返す.ある時刻 o にこの機械をみたとき, この機械が稼働…

比例ハザードモデル入門(パラメトリック)

はじめに 生存時間分析で行われるノンパラメトリックな推定がよくわからないので, いったんパラメトリックから入って Cox 回帰とかの勉強をしたらいいかなと思った.生存時間分析の分野では, 密度関数ではなくハザード関数を推定することがよくある.ハザード…

[定義]確率質量関数、確率密度関数の原子(atom)とは

定義 W. フェラーによれば、1 点 x からなる集合が正の確率を持っているとき、この点を原子(atom)という。 (確率論とその応用 2 上 p.188を参照)確率論とその応用 2 上 (現代経営科学全集 9)作者: ウィリアムフェラー,国沢清典,羽鳥裕久,大平坦出版社/メ…

[定義]arithmetic(算術的)な確率分布とは

定義 arithmetic(算術的)という用語のそもそもは Feller に遡れる。確率論とその応用 2 上 (現代経営科学全集 9)作者: ウィリアムフェラー,国沢清典,羽鳥裕久,大平坦出版社/メーカー: 紀伊國屋書店発売日: 1969/11メディア: 単行本 クリック: 5回この商品…

指数乱数で一様乱数を作り散布図の横にヒストグラムを並べてかく

## a fast way to generate *sorted* U[0,1] random numbers: rsunif <- function(n){ n1 <- n+1 cE <- cumsum(rexp(n1)) cE[seq_len(n)]/cE[n1] } x <- rsunif(1000) 関連エントリ: 一様乱数の点と点の間隔は指数分布に従う。 - 廿TT 上図のかき方: #デフ…

ワイブル過程のシミュレーション

逆関数法による乱数の生成 ワイブル過程(Weibull process)とは,累積ハザード関数 を持つ非斉次的(non homogeneous)なポアソン過程の一種.この乱数列 は分布関数 に従う. を一様乱数として,逆関数法により,. は条件付き確率分布 に従うから,逆関数…

強度関数(intensity function)が区分的に定数(piecewise constant)なポアソン過程のシミュレーション

※コードが思いっきりまちがっていたので訂正しました. lambda[i]* (t[i+1] - t[i]) としなければいけないところを lambda[i] としていました. lambda は1単位長さ辺りに生成する乱数の個数に相当するので, (t[i+1] - t[i]) を掛けなきゃいけなかったんでし…

一様乱数の点と点の間隔は指数分布に従う。

上図は一様乱数の一次元の散布図。 上図は点と点の間隔のヒストグラムに指数分布の密度関数を重ねている。 はい。ポアソン過程。あたりまえだった。 以下 R のコード。 set.seed(56) X <- runif(100) tmp <- cbind(X,1) plot(tmp, pch=4, col=densCols(tmp),…