Sugano
ganos****@gmail*****
2010年 7月 18日 (日) 21:26:01 JST
お世話になってます。 すがのです。 本件、了解です！ 連休明けにでも試してみます！ ご回答ありがとうございました！ > ----Original Message---- > Sun, 18 Jul 2010 07:48:35 +0900 > From: Shinsuke Sugaya <shins****@yahoo*****> > Reply-To: fess-****@lists***** > To: fess-****@lists***** > Subject: [fess-user 297] Re:インデックスの作成が停止します > > 菅谷です。 > > > (CPU:Core 2 Duo 2GHz、メモリ:1.5GB) > > この環境ですと、Fess 的には mx を 512m くらいが > 上限な気がしますので、1 回あたりの Solr に送る > ドキュメント数を下げるのが良い気がします。 > webapps/fess/WEB-INF/cmd/resources/app.dicon > で > > <component name="indexUpdater" > class="jp.sf.fess.solr.IndexUpdater" instance="prototype"> > <property name="maxDocumentCacheSize">5</property> > </component> > > というように maxDocumentCacheSize を下げることが > できます。デフォルトでは 1 回で 10 ドキュメントを > Solr に送ります。 > > shinsuke > > 2010年7月17日11:21 Sugano <ganos****@gmail*****>: > > お世話になってます。 > > すがのです。 > > > >> > ご質問があるのですが、クロールで集めた情報(H2DB)を、SolrDB > >> > へ > >> > 手動で登録する方法(機能など)はありませんでしょうか？ > >> > >> 現状、ないです。クロールデータについては > >> パフォーマンスに大きな影響を与えるので > >> 消せるときに消す感じにしています。ただ > >> 今回のように例外的にクロールを抜けるような > >> 場合に残せるかどうかは検討してみます。 > > 了解しました。 > > 是非、お願いします。 > > > >> > ※少なくとも、catalina.outにはエラーメッセージなどは出力さ > >> > れ > >> > ていませんでした。他のログはこれから調べます。 > >> > >> 最新の環境であれば、fess_crawler.out が > >> どうなっているかがポイントになるかと思います。 > > fess_crawler.outを調べたところ、添付ファイル(fess_crawler. > > outのログを一部抜粋、一部ファイルパスの修正有)のように > > OutOfMemory エラーが発生していたことがわかりました。 > > > > 下記の設定は既にしているのですが、それでも発生するようです。 > > http://fess.sourceforge.jp/ja/3.0/config/memory-config.html > > > > ちなみに、当方の環境・状況は以下のとおりです。 > > > > ●環境 > > ・WindowsXP SP3に搭載して試用・検証中 > > (CPU:Core 2 Duo 2GHz、メモリ:1.5GB) > > ・JDK 6 Update 21 > > ・fess-server-3.1.1 or 4.0.0SNAPSHOT > > (どちらでも発生するようです) > > ・メモリ関連設定：上記リンクと同じ設定 > > > > ●クロール設定 > > ・対象ドキュメント: ファイルサーバ上のファイル 約6万件 > > ・同時実行のクロール設定数：1 > > ・ドキュメント数毎にコミット:500 > > ・スレッド数：3 > > ・間隔：1000ミリ秒 > > > > ●状況 > > 約1万ドキュメントを処理したあたりで、メモリエラー発生 > > ※エラー発生後は、延々とクロール処理のみが行われて、 > > SolrDBへの登録処理が行われない状態 > > ※かなり高い確率(現時点100%)で現象が再発。 > > > > > > 上記、メモリ関連設定の再チューニングなどで回避は可能なのでし > > ょうか？ > > > > 以上、よろしくお願いします。 > >> ----Original Message---- > >> Fri, 16 Jul 2010 06:33:00 +0900 > >> From: Shinsuke Sugaya <shins****@yahoo*****> > >> Reply-To: fess-****@lists***** > >> To: fess-****@lists***** > >> Subject: [fess-user 290] Re:インデックスの作成が停止します > >> > > > >> 菅谷です。 > >> > >> > ご質問があるのですが、クロールで集めた情報(H2DB)を、SolrDB > >> > へ > >> > 手動で登録する方法(機能など)はありませんでしょうか？ > >> > >> 現状、ないです。クロールデータについては > >> パフォーマンスに大きな影響を与えるので > >> 消せるときに消す感じにしています。ただ > >> 今回のように例外的にクロールを抜けるような > >> 場合に残せるかどうかは検討してみます。 > >> > >> > ※少なくとも、catalina.outにはエラーメッセージなどは出力さ > >> > れ > >> > ていませんでした。他のログはこれから調べます。 > >> > >> 最新の環境であれば、fess_crawler.out が > >> どうなっているかがポイントになるかと思います。 > >> > >> よろしくお願いいたします。 > >> > >> shinsuke > >> > >> > >> 2010年7月16日1:17 Sugano <ganos****@gmail*****>: > >> > 初めまして、すがのと申します。 > >> > > >> > ご質問があるのですが、クロールで集めた情報(H2DB)を、SolrDB > >> > へ > >> > 手動で登録する方法(機能など)はありませんでしょうか？ > >> > (クロール実行中もしくはクロール停止時に手動実行) > >> > > >> > というのも、私のところでも桑田さんとほぼ同様の現象が発生し > >> > て > >> > おり、 > >> >> クローラープロセスが実行中にも関わらず、ドキュメント数が > >> >> 増 > >> >> 加しなくなります。 > >> >> システム設定画面で何度が停止->実行を繰り返しましたが状況 > >> >> が > >> >> 変わりません。 > >> > > >> > 具体的には、以下２つの現象のいずれかが発生することが多く、 > >> > > >> > 事象１．クローラプロセスが稼働中にもかかわらず、クローラ側 > >> > DB > >> > （\webapp\fess\WEB-INF\db)やSolrDBへの登録が行われない。 > >> > > >> > 事象２．クローラ側DB（\webapp\fess\WEB-INF\db)への登録はさ > >> > れ > >> > 続けるが、SolrDBへの登録が行われなず、クローラ側DBのみが増 > >> > え > >> > 続ける。 > >> > > >> > 上記の現象発生後に、クローラで収集したSolrDBへの未登録情報 > >> > を > >> > 破棄するのはもったいないので、収集した情報をSolrDBへ手動登 > >> > 録 > >> > する手段を知りたいと考えております。 > >> > (クロールを再度起動すると、前回収集した情報がすべて消えて > >> > し > >> > まい、事象２で数万件分の情報が溜まっていたとしても全てクリ > >> > ア > >> > されてしまうため、クリアされずにDB登録する方法が知りたいで > >> > す。) > >> > > >> > ちなみに、本現象の原因については、下記を参考にして現在調査 > >> > 中 > >> > ですが、現時点では原因は特定できていません。 > >> >> おそらく crawler.out か catalina.out などに出力されて > >> >> いるかと思います。以下を参照してみてください。 > >> >> > >> >> http://fess.sourceforge.jp/ja/3.0/config/logging.html > >> >> > >> > ※少なくとも、catalina.outにはエラーメッセージなどは出力さ > >> > れ > >> > ていませんでした。他のログはこれから調べます。 > >> > ※ファイルパスの長さが260字以上(WindowsのMAX_PATH値以上)の > >> > デ > >> > ィレクトリ・ファイルもあるため、それが原因の一つの可能性も > >> > 有 > >> > り？ > >> > ※上記、もう少し調べてわからないようであれば、再度詳細な情 > >> > 報 > >> > をお知らせします。 > >> > > >> > 以上、よろしくお願い致します。 > >> > > >> >> 菅谷です。 > >> >> > >> >> おそらく crawler.out か catalina.out などに出力されて > >> >> いるかと思います。以下を参照してみてください。 > >> >> > >> >> http://fess.sourceforge.jp/ja/3.0/config/logging.html > >> >> > >> >> よろしくお願いいたします。 > >> >> > >> >> shinsuke > >> >> > >> >> > >> >> 2010年7月14日16:53 Tetsutomo Kuwata <fj.kuwata ＠ gmail. > >> >> com>: > >> >> 初めまして、桑田と申します。 > >> >> > >> >> この度始めてFessを導入しインデックス作成を実行していると > >> >> こ > >> >> ろなのですが > >> >> クローラープロセスが実行中にも関わらず、ドキュメント数が > >> >> 増 > >> >> 加しなくなります。 > >> >> システム設定画面で何度が停止->実行を繰り返しましたが状況 > >> >> が > >> >> 変わりません。 > >> >> どの辺を調べれば原因がわかりますでしょうか。 > >> >> > >> >> 環境 > >> >> Windows Server 2003 R2 > >> >> JDK 6 Update 20 > >> >> fess-server-3.1.1(サービスとして登録) > >> >> > >> >> 対象ドキュメント: ファイルシステム 23万件 > >> >> 現在のドキュメント数: 4万件 > >> >> > >> >> > >> >> 以上、よろしくお願い致します。 > >> >> > >> >> _______________________________________________ > >> >> Fess-user mailing list > >> >> Fess-****@lists***** > >> >> http://lists.sourceforge.jp/mailman/listinfo/fess-user > >> >> > >> > > >> > _______________________________________________ > >> > Fess-user mailing list > >> > Fess-****@lists***** > >> > http://lists.sourceforge.jp/mailman/listinfo/fess-user > >> > > >> > >> _______________________________________________ > >> Fess-user mailing list > >> Fess-****@lists***** > >> http://lists.sourceforge.jp/mailman/listinfo/fess-user > > > > > > _______________________________________________ > > Fess-user mailing list > > Fess-****@lists***** > > http://lists.sourceforge.jp/mailman/listinfo/fess-user > > > > > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user
