Shinsuke Sugaya
shins****@yahoo*****
2013年 12月 27日 (金) 10:38:39 JST
菅谷です。 fess_crawler.outは 2013-11-30 16:35:26,127 [Robot-20131130163509-1-2] INFO org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: http://fess.codelibs.org/ja/3.0/config/tokenizer.html という感じでクロール開始時に出力されていると 思いますが、各スレッドごとに Robot-20131130163509-1-2 のような名前が振られています。 fess_crawler.outの最後から各スレッドが最後に 何をクロールしようとしていたかを確認することが できるかと思います。 あとは、jstackとかでスタックダンプして、 スレッド名とスタックの内容を突き合わせると 問題の判別に近づけるかと思います。 よろしくお願いいたします。 shinsuke 2013年12月27日 10:25 <tetsu****@dsn*****>: > 菅谷様。 > お世話になっております。大岡です。 > >> 問題となるファイル等を確認していただいて、クロール対象からの >> 除外等をして頂く必要があるかと思います。 > 問題となるファイルの確認方法は > どのようにすればいいのか教えて頂けないでしょうか？ > 例外が表示されないならfess_crawler.outから > どうやって見つければいいのかわかりません。 > > それでは、よろしくお願いします。 > > ----- Original Message ----- >> 菅谷です。 >> >> (スパム防止のため、送信にはFessのMLへの登録が必要になります) >> >> > 「emptyListCount is over 60.」という >> >> 上記が発生する場合は、クロール対象からのレスポンスが >> 返ってこないまたはクロールが完了できないようなファイルが >> 存在する状況になります。このような状況の時はfess_crawler.outから >> 問題となるファイル等を確認していただいて、クロール対象からの >> 除外等をして頂く必要があるかと思います。 >> >> 通常はクロールできないようなものは例外をはいて、次の対象に >> 進むのですが、ネットワーク的な理由やまれに何かしらのファイル >> 操作系のバグを踏むようなファイルがあったりすると、処理待ち状態に >> なるものはあるかと思います。 >> >> よろしくお願いいたします。 >> >> shinsuke >> >> >> 2013年12月26日 10:06 >> > To: <fess-****@lists*****> >> > Date: Thu, 26 Dec 2013 10:05:57 +0900 >> > Subject: クローリングが途中で止まってしまう問題について >> > お世話になっております。 >> > 大岡と申します。 >> > >> > 社内のファイルサーバを検索するために >> > FESSを使わせて頂いてます。 >> > >> > FESSのバージョンは8.0.0です。 >> > クローリング処理が毎回 >> > 「emptyListCount is over 60.」という >> > メッセージとともに途中で止まってしまいます。 >> > この問題を回避する方法はありますでしょうか？ >> > >> > ファイルサーバのファイル数はおよそ数千万あり、 >> > 毎日100件程度のファイルが更新されていて、 >> > それらの更新を拾うべく毎晩差分クローリングを走らせています。 >> > >> > どうやら差分クローリングの途中で >> > 更新されていないファイルがずっと続くと >> > 「emptyListCount is over 60.」というメッセージが出て >> > クローリングが途中終了してしまうようです。 >> > >> > また、途中終了処理も完全ではないようで、 >> > クローラープロセスは動き続けていて、 >> > そのままでは次の日のクローリングが開始せず、 >> > 毎日管理画面から「クロールの停止」ボタンをクリックして >> > クローラープロセスを停止させています。 >> > >> > 設定の変更等で最後までクローリングをする事は可能になりますか？ >> > >> > それでは、よろしくお願いします。 >> > >> > >> > >
