人気ブログランキング |
(moved to http://tmasada.cocolog-nifty.com/blog/)
CRFのL2 regularizationのパラメータはとても大事
自作linear-chain CRFで,Chinese word segmentationやってますが,いままで, regularization のパラメータを, regularization が効く方向にふっていたのですが,ほとんど効かない方向に変えてみました.具体的には,重みベクトルのL2ノルムをσ^2で割るとして,σを0.1から10.0にしました.収束は非常に遅くなりました.

ところが,自作CRFの何の工夫もなしバージョンで,cityuについては,
0.941 0.945 0.943 0.074 0.683 0.962
というような結果が.SIGHANのWebページでは,closedのほうの第一位が,
0.941 0.946 0.943 0.074 0.698 0.961
なので,2005年時点でのトップにほぼ並ぶ結果が出ました.

・・・というわけで,Chinese word segmentationについては,L2ノルムのregularizationのパラメータは,非常に大事ですよ,という話です.

[追記]
msrもベースラインの性能が出ました。
0.957 0.961 0.959 0.026 0.646 0.965
SIGHANのトップは
0.962 0.966 0.964 0.026 0.717 0.968
で、及ばず。上から五番目に入るくらい。
pkuは
0.923 0.943 0.932 0.058 0.602 0.942
で,上から12番目くらい.
一番時間のかかるasは
0.951 0.938 0.944 0.043 0.638 0.965
で,上から5番目くらい.以上,ベースラインでした.
by tmasada2 | 2009-01-21 19:06 | らららルルル
<< 반토막 펀드って、何? Voyage / ナ・ユンソン >>