Yutaro Shimamura
yu****@irx*****
2007年 4月 27日 (金) 18:52:57 JST
島村です。 はじめに言い忘れてしまいごめんなさい。。 itestの-cオプションはrevision341以降(1.0.4以降)で使用が可能です。 また、Sennaを使用したテーブルのインデックス情報を所持しているのは table.xxx.SEN table.xxx.SEN.i table.xxx.SEN.i.c table.xxx.SEN.l table.MYI table.MYD table.frm になります。 大概はデータベースディレクトリごと tarしてしまえば問題はないと思います。 tarで移動した先のインデックスがおかしいということなのですが、 mmapバグに引っかかっている気がします。(Senna-dev:552) 現在使用しているカーネルのバージョンを教えていただけますか？ On Apr 27, 2007, at 6:33 PM, kuma nobu wrote: > > 島村様 > > お世話になっております、熊田です。 > お返事、誠にありがとうございます。 > > 早速行ってみましたが、同一サーバでindexを生成したテー > ブルでは問題なく、外部サーバで生成したものについては、 > やはりindexが0となっております。 > エラーは検知ができませんでした。 > > このSennaのインデックス以外に、どこか別のファイルで > index情報を持っていたりしないでしょうか？例えば該当す > るテーブルの一覧を別ファイルに書き込まれていたり・・ > > 恐れ入りますが、ご存知であれば情報提供をいただければ > 幸いです。 > > ============同一サーバでindexを生成================ > /usr/local/src/senna-1.0.3/test/.libs/lt-itest: invalid > option -- c > key_size 8 > flags 1 > initial_n_segments 512 > encoding utf8 > nrecords_keys 2000000 > file_size_keys 50405376 > nrecords_lexicon 478424 > file_size_lexicon 16850944 > inv_segment_size 137007104 > inv_chunk_size 24776704 > tid, df, nposts | term > > ....................................................... > > total amount of doc freq. 9440352 > total number of postings 23141473 > total number of terms 477835 > total number of terms w hits 235850 > > > > ============他サーバでindexを生成================== > /usr/local/src/senna-1.0.3/test/.libs/lt-itest: invalid > option -- c > key_size 8 > flags 1 > initial_n_segments 512 > encoding utf8 > nrecords_keys 1999998 > file_size_keys 50405376 > nrecords_lexicon 0 > file_size_lexicon 4268032 > inv_segment_size 167936 > inv_chunk_size 135168 > tid, df, nposts | term > ................................................. > > total amount of doc freq. 0 > total number of postings 0 > total number of terms 0 > total number of terms w hits 0 > > どうぞ、よろしくお願いいたします。失礼いたします。 > > > > > > --- Yutaro Shimamura <yu****@irx*****> wrote: > >> >> 島村です。 >> >> Sennaのディレクトリにある >> ./test/itestというプログラムで、インデックスの破損を調 > べることができま >> >> す。 >> >> cd >> /root/src/senna/senna-svn/(インストールディレクトリ) >> cd test/ >> ./itest -c -v >> /usr/export/mysql/test/ft.002(Sennaインデックスのprefix) >> >> 熊田様の場合、 >> hoge.001 >> hoge.002という2つのインデックスがあるため、 >> >> ./itest -c -v [datadir]/[dbname]/hoge.001 >> ./itest -c -v [datadir]/[dbname]/hoge.002 >> の2つのインデックスを破損チェックしてみてください。 >> >> n of errors in >> invという出力が最後に出てくると思います。 >> その数がインデックス内部で破損している数です。 >> >> また、md5やsha1等でファイルの整合性を確かめてみるのも > 良いと思います。 >> >> >> >> On Apr 27, 2007, at 10:16 AM, kuma nobu wrote: >> >>> >>> SennaDEVの皆様 >>> >>> 初めての投稿となります。熊田と申します。 >>> どうぞ、よろしくお願いいたします。 >>> >>> >> 早速ではございますが、現在、Tritonn組み込みのMysql >>> サーバを同一構成のサーバ２台用意しております。 >>> >>> >> （片方でindexを生成し、もう片方ではそれのコピーを動作 >>> させる構成を考えています） >>> >>> この構成にて、片方でSENNAを利用したfulltext >> indexを >>> >> 貼ったテーブルを、当然のことながらindex生成をしたサー >>> >> バ側では問題なく動作いたしますが、コピー先の同構成の >>> >> サーバにてfulltextサーチを行いますと下記のように0件と >>> >> なります（当然のことながらindexを生成したサーバでは >>> ヒットいたします） >>> >>> +----------+ >>> | count(*) | >>> +----------+ >>> | 0 | >>> +----------+ >>> 1 row in set (0.02 sec) >>> >>> >>> >> > 詳細を調べますと、コピーを持ってきた方のSenna_lexicon_size >>> が0件となっておりました。 >>> >>> *************************** 29. row >>> *************************** >>> Table: hoge >>> Key_name: sinfo >>> Column_name: sinfo >>> Encoding: utf8 >>> Index_type: MECAB >>> Normalize: ON >>> Split_alpha: OFF >>> Split_digit: OFF >>> Split_symbol: OFF >>> Initial_n_segments: 512 >>> Senna_keys_size: 1988015 >>> Senna_keys_file_size: 50405376 >>> Senna_lexicon_size: 0 >>> Senna_lexicon_file_size: 4268032 >>> Senna_inv_seg_size: 167936 >>> Senna_inv_chunk_size: 135168 >>> >>> >>> >> MySQLのテーブルはMyISAMで構成しているため、MySQLを >>> >> 停止させ、UNIXのコマンドを利用して(tgzにまとめて）、 >>> 転送をさせております。 >>> 転送したファイル結果は下記の通りです。 >>> （ファイルの転送漏れや失敗は無い模様です） >>> >>> -rw-rw---- 1 mysql mysql 50405376 Mar 12 06:34 >>> hoge.001.SEN >>> -rw-rw---- 1 mysql mysql 167936 Mar 12 06:00 >>> hoge.001.SEN.i >>> -rw-rw---- 1 mysql mysql 135168 Mar 12 06:00 >>> hoge.001.SEN.i.c >>> -rw-rw---- 1 mysql mysql 4268032 Mar 12 06:00 >>> hoge.001.SEN.l >>> -rw-rw---- 1 mysql mysql 50405376 Mar 12 07:09 >>> hoge.002.SEN >>> -rw-rw---- 1 mysql mysql 167936 Mar 12 06:00 >>> hoge.002.SEN.i >>> -rw-rw---- 1 mysql mysql 135168 Mar 12 06:00 >>> hoge.002.SEN.i.c >>> -rw-rw---- 1 mysql mysql 4268032 Mar 12 06:00 >>> hoge.002.SEN.l >>> -rw-rw---- 1 mysql mysql 8904 Mar 12 06:00 >> hoge.frm >>> -rw-rw---- 1 mysql mysql 1535461332 Mar 12 06:07 >> hoge.MYD >>> -rw-rw---- 1 mysql mysql 66042880 Mar 12 07:12 >> hoge.MYI >>> >>> >> このような状況ですが、上記のファイル以外にindexを >>> 持っている別のファイルが存在するのでしょうか？ >>> もしくはコピーの方法に問題があるのでしょうか？ >>> >>> >> 同じような経験をお持ちの方がいらっしゃいましたら、 >>> >> 是非ともお知恵を拝借したく、メールをさせていただきま >>> した。 >>> >>> >> また、今回のサーバ構築にあたっては、Tritonnプロジェ >>> >> クトページにあります、MySQLへのバインディングに従って > 、 >>> tgzよりインストールを行っております(OSはFedora5)。 >>> >>> どうぞ、よろしくお願いいたします。 >>> >>> _______________________________________________ >>> Senna-dev mailing list >>> Senna****@lists***** >>> >> http://lists.sourceforge.jp/mailman/listinfo/senna-dev >> >> -- >> ------- >> 島村 優太郎 >> yu****@irx***** >> >> _______________________________________________ >> Senna-dev mailing list >> Senna****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/senna-dev >> > > _______________________________________________ > Senna-dev mailing list > Senna****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/senna-dev -- ------- 島村 優太郎 yu****@irx*****
