(moved to http://tmasada.cocolog-nifty.com/blog/)
CRFのL2 regularizationのパラメータはとても大事
自作linear-chain CRFで,Chinese word segmentationやってますが,いままで, regularization のパラメータを, regularization が効く方向にふっていたのですが,ほとんど効かない方向に変えてみました.具体的には,重みベクトルのL2ノルムをσ^2で割るとして,σを0.1から10.0にしました.収束は非常に遅くなりました.

ところが,自作CRFの何の工夫もなしバージョンで,cityuについては,
0.941 0.945 0.943 0.074 0.683 0.962
というような結果が.SIGHANのWebページでは,closedのほうの第一位が,
0.941 0.946 0.943 0.074 0.698 0.961
なので,2005年時点でのトップにほぼ並ぶ結果が出ました.

・・・というわけで,Chinese word segmentationについては,L2ノルムのregularizationのパラメータは,非常に大事ですよ,という話です.

[追記]
msrもベースラインの性能が出ました。
0.957 0.961 0.959 0.026 0.646 0.965
SIGHANのトップは
0.962 0.966 0.964 0.026 0.717 0.968
で、及ばず。上から五番目に入るくらい。
pkuは
0.923 0.943 0.932 0.058 0.602 0.942
で,上から12番目くらい.
一番時間のかかるasは
0.951 0.938 0.944 0.043 0.638 0.965
で,上から5番目くらい.以上,ベースラインでした.
[PR]
by tmasada2 | 2009-01-21 19:06 | らららルルル
<< 반토막 펀드って、何? Voyage / ナ・ユンソン >>