Masayuki Shibata
mshib****@shima*****
2010年 2月 3日 (水) 12:00:49 JST
今確認できるのは Catalina.YYYY-MM-DD.log の方です。 ＃fess.out の方は前の方が記録されていません。メモリ関係の ＃設定を追加する以前のログがありませんでした。 以下のメッセージのブロックが昨日時点で頻繁に (たまに最初の ２行だけのが出ますが) 出てました。 メモリ設定後には出ていませんので、ロール設定関係で検索がか からないのは、やはり別件という感じですね？ ----- catalina.2010-02-02.log 引用ここから ----- 2010/02/02 13:05:35 org.apache.solr.common.SolrException log 致命的: java.lang.OutOfMemoryError: Java heap space at java.lang.StringCoding$StringEncoder.encode(StringCoding.java:232) at java.lang.StringCoding.encode(StringCoding.java:272) at java.lang.String.getBytes(String.java:947) at org.apache.lucene.index.FieldsWriter.writeField(FieldsWriter.java:207) at org.apache.lucene.index.StoredFieldsWriterPerThread.addField (StoredFieldsWriterPerThread.java:58) at org.apache.lucene.index.DocFieldProcessorPerThread.processDocument (DocFieldProcessorPerThread.java:231) at org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:779) at org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:762) at org.apache.lucene.index.IndexWriter.updateDocument(IndexWriter.java:2629) at org.apache.lucene.index.IndexWriter.updateDocument(IndexWriter.java:2601) at org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:241) at org.apache.solr.update.processor.RunUpdateProcessor.processAdd (RunUpdateProcessorFactory.java:61) at org.apache.solr.handler.BinaryUpdateRequestHandler$2.document (BinaryUpdateRequestHandler.java:70) at org.apache.solr.client.solrj.request.JavaBinUpdateRequestCodec$2.readIterator (JavaBinUpdateRequestCodec.java:121) at org.apache.solr.common.util.JavaBinCodec.readVal(JavaBinCodec.java:210) at org.apache.solr.client.solrj.request.JavaBinUpdateRequestCodec$2.readNamedList (JavaBinUpdateRequestCodec.java:107) at org.apache.solr.common.util.JavaBinCodec.readVal(JavaBinCodec.java:175) at org.apache.solr.common.util.JavaBinCodec.unmarshal(JavaBinCodec.java:101) at org.apache.solr.client.solrj.request.JavaBinUpdateRequestCodec.unmarshal (JavaBinUpdateRequestCodec.java:126) at org.apache.solr.handler.BinaryUpdateRequestHandler.parseAndLoadDocs (BinaryUpdateRequestHandler.java:60) at org.apache.solr.handler.BinaryUpdateRequestHandler.access$000 (BinaryUpdateRequestHandler.java:46) at org.apache.solr.handler.BinaryUpdateRequestHandler$1.load (BinaryUpdateRequestHandler.java:52) at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody (ContentStreamHandlerBase.java:54) at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:131) at org.apache.solr.core.SolrCore.execute(SolrCore.java:1316) at org.apache.solr.servlet.SolrDispatchFilter.execute(SolrDispatchFilter.java:338) at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:241) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter (ApplicationFilterChain.java:235) at org.apache.catalina.core.ApplicationFilterChain.doFilter (ApplicationFilterChain.java:206) at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:233) at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:191) at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:558) ----- catalina.2010-02-02.log 引用ここまで ----- >菅谷です。 > >確認していただきありがとうございます。 > >> やってみましたが OutOfMemory になりました。 > >これがログに記述されたのはfess.outで良いでしょうか? >また、OutOfMemory もいくつか種類があるのですが、 >Heap などが書いてあるログでしょうか? > >> そちらでは発生していないでしょうから Windows をサーバーにし >> たケースでは... ということにはなるのでしょうけど。 > >こちらの環境で、今までのところ Windows でも観測できて >いないので、クロールするドキュメントのような気もしています。 >たとえば、大きなサイズのドキュメントが立て続けに読み込んで >ヒープが足りなくなる状況が発生している可能性があるのかも >しれないと考えています。これも後で実験してみようと >思います。 > >shinsuke > >2010年2月3日8:50 Masayuki Shibata <mshib****@shima*****>: >> 柴田＠亀岡市です。 >> >> fess.dicon にご指定のブロックを追加 -Xmx1024m としたもので >> やってみましたが OutOfMemory になりました。 >> ＃1/31 版には、このブロック自体が記載されていませんでした >> ＃ので追加しました。 >> >> そこで setenv.bat に -Xmx512m を追加、fess.dicon も -Xmx512m >> に戻して昨夜クロールをかけて帰宅したところ今朝方見る限りで >> は正常に完了したようです。 >> ＃ようですと書いたのは、ラベルとロールを設定したクロール先 >> ＃だったのですが、検索画面にラベル指定のプルダウンは出てき >> ＃ませんでしたし、ログインして検索かけても何もヒットしなか >> ＃ったので... >> ＃クロール先の分量が少ないケースでロールを設定していないも >> ＃のは昨日検索できましたし、今回インデックスはできているよ >> ＃うなので別件 (ロール関係？) トラブルかも知れません。 >> >> ここしばらくは、ずっと setenv.bat 側 -Xmx1024m でテストして >> おりましたので、メモリを振り分けた形になり増やしたことには >> なっていませんが... >> >> 流石に両方とも -Xmx1024m にすると 32bit OS 機だとメモリフル >> 搭載に近くなってくるので余裕を見て多めという作戦がとりにくい >> ですし、作成するインデックスのサイズなどにメモリ消費量が比例 >> するなら双方適正なサイズは知りたいところです。 >> >> そちらでは発生していないでしょうから Windows をサーバーにし >> たケースでは... ということにはなるのでしょうけど。 >> >>>菅谷です。 >>> >>>1/31 版がどこまでの修正が入っているか、すぐには >>>わからないのですが、3.0 ではクロール処理周りを >>>スレッドからプロセスに変更しています。そのため、 >>>Tomcat の setenv.bat での指定は不要になりました。 >>> >>>これにより、クロールの即時停止やJava自体のバグの >>>影響回避などが実現できます。 >>> >>>現在の指定はwebapps/fess/WEB-INF/classes/fess.dicon >>>で設定します。 >>> >>> <component name="systemHelper" class="jp.sf.fess.helper.SystemHelper"> >>> <property name="crawlerJavaOptions"> new String[] { >>> "-Djava.awt.headless=true", "-server", "-XX:+UseGCOverheadLimit", >>> "-XX:+UseConcMarkSweepGC", "-XX:+CMSIncrementalMode", >>> "-XX:+UseTLAB", "-Dpdfbox.cjk.support=true", "-Xmx512m", >>> "-XX:MaxPermSize=128m" }</property> >>> </component> >>> >>>上記のmxを変更しても同じようでしたら、OutOfMemoryError の >>>ログ部分をいただければ調査したいと思います。あとは、 >>>ヒープの OutOfMemory であれば、 >>> >>> - catalina.out なら setenv.bat を編集(Tomcatプロセスのメモリ不足) >>> - fess.out なら fess.dicon を編集 (クロールプロセスのメモリ不足) >>> >>>というように切り分けることができるので mx の設定を >>>どちらかに記述すると良いと思います。 >>> >>>よろしくお願いいたします。 >>> >>>shinsuke >>> >>> >>>2010年2月2日14:31 Masayuki Shibata <mshib****@shima*****>: >>>> 柴田＠亀岡市です。 >>>> >>>> 1/31 版スナップショットで題記発生してクロールが止まりました。 >>>> >>>> OutOfMemoryError だそうです。 >>>> >>>> setenv.bat が以前と変わっていたのでちょっと気になっていたの >>>> ですが、"-Xmx512m" が見あたらないのは、承知の上での変更です >>>> か？ >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>> >>>_______________________________________________ >>>Fess-user mailing list >>>Fess-****@lists***** >>>http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > >_______________________________________________ >Fess-user mailing list >Fess-****@lists***** >http://lists.sourceforge.jp/mailman/listinfo/fess-user > ---------- Shibata, Masayuki Manager, Software Development Shimadzu Corporation Analytical Measuring Instruments Division Research & Development Department Telephone: 075-823-1441 Japan Facsimile: 075-823-1365 Japan E-mail: mshib****@shima*****
