mpaligner

Fork

使用例：
$ cat source/test.utf8.txt | ./script/separate_for_char.pl utf8 \
$ mpaligner -i source/test.utf8.char_unit
このコマンドにより，test.utf8.char_unit をインプットデータとして，
アライメントを行います．アライメントの結果は test.utf8.char_unit.align に出力されます．
以下にオプションの説明を示します．
./mpaligner -i <string> [-o <string>] [-p <string>] [-ai <string>]

オプション:
　　指定するオプションです．そのファイル名に書かれた対データをもとに学習を行い
　　ます．対データのフォーマットは2つの文字列をタブ(\t)区切りにし，各文字列の
　　文字間または部分文字列間に空白を入れたフォーマットでなければなりません．
　　部分文字列は学習によって文字に分割されることがなく，部分文字列を使うことで
　　アライメントに制約を与えることができます．以下にフォーマットの例を示します．
東 京 ト ウ キョ ウ
京 都 キョ ウ ト
i P h o n e ア イ フォ ン
i P a d ア イ パッ ド
　　また以下のように部分的にアライメントの正解を与えることが可能です．
東|京 ト ウ|キョ ウ
京 都 キョ:ウ ト
i P h o n|e ア イ フォ ン|_
i P a d ア:イ パッ ド
　　ここで，「_」は削除文字です．また，区切り文字「|」は表記と読みにおいて
　　同じ数でなければいけません．
　　<string>に対データをアライメントした結果を出力するファイル名を指定します．
　　デフォルトは「-i」オプションで指定したファイル名に.alignの拡張子を付けた
　　ものになります．
　　指定します．事前知識を与えたい場合にこのオプションを使います．
　　フォーマットは以下の通りで，各要素はタブ(\t)区切りになっています．
　　1を指定するとその対応関係が選ばれるようになります．0を指定するとその
　　対応関係は決して選ばれません．
s:y じー 1
田 だ 1
高:田 た:か:だ 0
e _ 0
-ai <string>
　　<string>に学習したアライメントのパラメータが書かれたファイル名(デフォルトだと
　　このオプションは一度学習したパラメータでもう一度アライメントしたい場合や
　　新しいデータの中に今までにないパターンを持つデータがないか検出したい場合
　　などに使います．


　　アライメントした結果を出力するファイルにそのアライメントのスコアや詳細情報も
　　出力します．
　　アライメントのパラメータを格納するハッシュサイズを指定します．

　　例えば以下のようなアライメントを可能にします．
つ|の|だ|☆|ひ|ろ| ツ|ノ|ダ|_|ヒ|ロ|
　　「_」は削除文字です．X側の「☆」が削除文字に対応していることが分かります．
　　つまり，この例では「☆」に読みは存在しないという対応付けになっています．
　　デフォルトではX側が削除文字に対応することを許していません．
　　デフォルトでは許可しません．)
　　削除文字の出現ペナルティです．高いほど削除文字が抑制されます．
　　このパラメータの値は経験的に決定しなければなりません．
　　だいたい0.1～1.0の範囲で設定します．
　　(default 0.5)









　　　市街地距離は導入しません．

　　　それぞれにおいて市街地距離を導入します．
　　　それらを許可し，その文字の出現確率を周辺の対応関係から求める
　　　n-best viterbi training を一回だけ行います．
　　　それぞれにおいて市街地距離を導入します．
　　　それらを許可し，その文字の出現確率を周辺の対応関係から求める
　　　n-best viterbi training を一回だけ行います．
　　　その後，さらに n-best viterbi training で学習を行います．
　　　それぞれにおいて市街地距離を導入します．
　　forward-backward 学習と n-best viterbi training の終了に関する閾値です．
　　もし，閾値が1以上ならばその回数だけ学習を繰り返します．もし，閾値が1未満なら
　　学習により変化したパラメータの合計変化値と閾値を比較して，閾値よりも合計変化
　　値が低ければ学習を終了します．(defalut 0.1)
　　forward-backward 学習と n-best viterbi training それぞれに対して閾値を設定
　　したい場合は-tfbと-tvのオプションを使用します．






　　（特殊な機能なので使う機会はないでしょう．）
　　例えば以下のようにアライメントされません．
G|r|e|e|e|n| グ|リ|ー|_|_|ン|





　　誤った対応付けと判断するコンテキスト数を指定します．(defalut 1)

　　　判断します．もし，doubtful_context_size=1 で対応付けの形式を
　　　<[contecontext_sizegcontext_size>と表すなら,

　　　誤った対応付けとして判断します．もし doubtful_context_size=1 で対応
　　　付けの形式を<[context_size]mappcontext_sizeze]>と表すなら,
　　　誤ったマッピングとなります．
　　n-best viterbi training 時の学習するアライメント数です．(defalut 2)
　　alignment type が1または2の時，このn-bestの結果に基づいて，
　　誤ったマッピングを発見します．0の時はこれが出力結果となります．
　　n-best 数です．(defalut 1)
　　アライメントの出力結果数．(defalut -f_nbest or -s_nbest)
　　n-best 指定のためのオプションです.