Shinsuke Sugaya
shins****@yahoo*****
2010年 7月 16日 (金) 06:33:00 JST
菅谷です。 > ご質問があるのですが、クロールで集めた情報(H2DB)を、SolrDBへ > 手動で登録する方法(機能など)はありませんでしょうか？ 現状、ないです。クロールデータについては パフォーマンスに大きな影響を与えるので 消せるときに消す感じにしています。ただ 今回のように例外的にクロールを抜けるような 場合に残せるかどうかは検討してみます。 > ※少なくとも、catalina.outにはエラーメッセージなどは出力され > ていませんでした。他のログはこれから調べます。 最新の環境であれば、fess_crawler.out が どうなっているかがポイントになるかと思います。 よろしくお願いいたします。 shinsuke 2010年7月16日1:17 Sugano <ganos****@gmail*****>: > 初めまして、すがのと申します。 > > ご質問があるのですが、クロールで集めた情報(H2DB)を、SolrDBへ > 手動で登録する方法(機能など)はありませんでしょうか？ > (クロール実行中もしくはクロール停止時に手動実行) > > というのも、私のところでも桑田さんとほぼ同様の現象が発生して > おり、 >> クローラープロセスが実行中にも関わらず、ドキュメント数が増 >> 加しなくなります。 >> システム設定画面で何度が停止->実行を繰り返しましたが状況が >> 変わりません。 > > 具体的には、以下２つの現象のいずれかが発生することが多く、 > > 事象１．クローラプロセスが稼働中にもかかわらず、クローラ側DB > （\webapp\fess\WEB-INF\db)やSolrDBへの登録が行われない。 > > 事象２．クローラ側DB（\webapp\fess\WEB-INF\db)への登録はされ > 続けるが、SolrDBへの登録が行われなず、クローラ側DBのみが増え > 続ける。 > > 上記の現象発生後に、クローラで収集したSolrDBへの未登録情報を > 破棄するのはもったいないので、収集した情報をSolrDBへ手動登録 > する手段を知りたいと考えております。 > (クロールを再度起動すると、前回収集した情報がすべて消えてし > まい、事象２で数万件分の情報が溜まっていたとしても全てクリア > されてしまうため、クリアされずにDB登録する方法が知りたいで > す。) > > ちなみに、本現象の原因については、下記を参考にして現在調査中 > ですが、現時点では原因は特定できていません。 >> おそらく crawler.out か catalina.out などに出力されて >> いるかと思います。以下を参照してみてください。 >> >> http://fess.sourceforge.jp/ja/3.0/config/logging.html >> > ※少なくとも、catalina.outにはエラーメッセージなどは出力され > ていませんでした。他のログはこれから調べます。 > ※ファイルパスの長さが260字以上(WindowsのMAX_PATH値以上)のデ > ィレクトリ・ファイルもあるため、それが原因の一つの可能性も有 > り？ > ※上記、もう少し調べてわからないようであれば、再度詳細な情報 > をお知らせします。 > > 以上、よろしくお願い致します。 > >> 菅谷です。 >> >> おそらく crawler.out か catalina.out などに出力されて >> いるかと思います。以下を参照してみてください。 >> >> http://fess.sourceforge.jp/ja/3.0/config/logging.html >> >> よろしくお願いいたします。 >> >> shinsuke >> >> >> 2010年7月14日16:53 Tetsutomo Kuwata <fj.ku****@gmail*****>: >> 初めまして、桑田と申します。 >> >> この度始めてFessを導入しインデックス作成を実行しているとこ >> ろなのですが >> クローラープロセスが実行中にも関わらず、ドキュメント数が増 >> 加しなくなります。 >> システム設定画面で何度が停止->実行を繰り返しましたが状況が >> 変わりません。 >> どの辺を調べれば原因がわかりますでしょうか。 >> >> 環境 >> Windows Server 2003 R2 >> JDK 6 Update 20 >> fess-server-3.1.1(サービスとして登録) >> >> 対象ドキュメント: ファイルシステム 23万件 >> 現在のドキュメント数: 4万件 >> >> >> 以上、よろしくお願い致します。 >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user >
