(moved to http://tmasada.cocolog-nifty.com/blog/)
Latent Process Decompositionのためのcollapsed変分ベイズ推定の解説
下記論文にある,latent process decompositionのためのcollapsed変分ベイズ推定について,ガウス分布による近似のところをのぞいて,式の導出を解説した文書を書きました.ここをクリックしてください.

Yiming Ying, Peng Li and Colin Campbell.
A marginalized variational bayesian approach to the analysis of array data. BMC Proceedings 2008, 2(Suppl 4):S7.

[2009/03/27 追記] 大学のWebサーバ,メールサーバが移転のため休止中です.上記の私が作成した解説文書は,間違いがあったので修正しました.新しいバージョンは,Webサーバが復活し次第,アップします.

また,実装も終えて,wineデータセットについて,ほぼ上掲論文通りのlower boundが得られました.推察するに,上掲論文では,ディリクレ事前分布のハイパーパラメータ\alphaを1.0にしているようです.また,上掲論文にはないですが,ガンマ事前分布のハイパーパラメータb_0は簡単に最適化できるので,やってみたら,ほんの少しだけlower boundを大きくできました.さらに,トピック数を変えて,収束後のlower boundを見てみると,3のところで,確かに最大の値が得られます.これで,上掲論文にあるとおり,モデル選択もできそうです.ディリクレ過程とか高級な技を使わなくても,ね.
[PR]
by tmasada2 | 2009-03-25 13:15 | らららルルル
<< Jane Z. at Shib... 福岡での天上智喜のライブ >>