Shinsuke Sugaya
shins****@yahoo*****
2011年 4月 11日 (月) 21:44:46 JST
菅谷です． 情報をありがとうございます． 申し訳ありません…．対象が Fess のコードでなく Apache HttpClient だったり，調べるのに十分な時間が なかったりで，まだ確認できていません．今週中に 時間が取りたいと思っています． shinsuke 2011年4月11日19:34 Masayuki Shibata <mshib****@shima*****>: > 柴田＠亀岡市です。 > > どうも Subversion 管理者から悪者にされているようなので、こちらも > 調べています。 > > Subversion の Apache エラーログと、Fess の fess_crawler.out の関 > 係は例えば以下のようになっていました。 > > 【error.log】 > ... > [月日 時間a 西暦] [error] [client 192.168....] Digest: uri mismatch - <URI1> > does not match request-uri <URI2> → (1) > ... > > 【fess_crawler.out】 > ... > 西暦-月日 時間b,nnn [Robot-西暦月日開始時間-1-X] INFO > org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: URI1 → (2) > ... > 西暦-月日 時間c,mmm [Robot-西暦月日開始時間-1-Y] INFO > org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: URI2 → (3) > ... > > ４箇所ほど見てみました。 > > ・時間b と 時間c は近い。ログ行で言うと離れてても５行。大抵隣接行。 > ・時間a は、時間b、時間c の４分弱ほど後。 > ・(2) と (3) の URI1、URI2 の登場順は逆のこともある。 > ・X, Y (Robot の ID 番号末尾) は、見た範囲では同じものがなかった。 > ・Subversion の error.log で、このエラーは Fess でのクロール時のみ。 > ・URI1 と URI2 は、似ていることは多いが、かなり違うものも含まれる。 > →似ているのはクロールする時間が近いからそうなっているだけ。 > ・どのファイルで発生しているか一定しているわけではないようだ。 > > また離れてても５行... ですが、Subversion の Web クロールのスレッド > 設定は確かに５にしてますので、それを１にするしかないかなと思いかけ > ています。 > > > ----- Original Message ----- > From: "Shinsuke Sugaya" <shins****@yahoo*****> > To: <fess-****@lists*****> > Sent: Friday, April 01, 2011 8:05 PM > Subject: [fess-user 457] Re:Apache のエラーログに不審なエラーが > > >> 菅谷です． >> >> 情報をありがとうございます． >> 毎回別のものであれば，マルチスレッドの >> タイミングの問題の可能性が高いと思います． >> S2Robot的には問題になりそうな箇所が思い >> あたらないので，HttpClientの調査をしてみます． >> >> shinsuke >> >> >> 2011年4月1日19:56 Masayuki Shibata <mshib****@shima*****>: >>> 柴田＠亀岡市です。 >>> >>> 発生しているファイルは、毎回別のもののようです。 >>> >>> たまたま同じことはあるかも知れませんが、数個試したところ同じファイル名 >>> 文字列にヒットする箇所がありませんでした。 >>> >>> 後者の password mismatch のエラーは、前者の uri mismatch のエラー行の >>> 間に埋もれている感じで出ていますので、両者に関係はありそうです。 >>> >>> >>> ----- Original Message ----- >>> From: "Shinsuke Sugaya" <shins****@yahoo*****> >>> To: <fess-****@lists*****> >>> Sent: Friday, April 01, 2011 2:58 PM >>> Subject: [fess-user 455] Re:Apache のエラーログに不審なエラーが >>> >>> >>>> 菅谷です。 >>>> >>>> 現時点では何とも言えませんが、HttpClient で >>>> マルチスレッドで認証情報がうまくいっていない >>>> のかもしれません。発生しているファイルは毎回 >>>> 同じところでしょうか？ >>>> よろしくお願いいたします。 >>>> >>>> shinsuke >>>> >>>> 2011年3月31日14:54 Masayuki Shibata <mshib****@shima*****>: >>>>> 柴田＠亀岡市です。 >>>>> >>>>> インデックスが作成できたドキュメント数が約 35,000 に対し、 >>>>> 以下のようなエラー (クロールされる側の Apache の error.log) >>>>> が、一晩クロールすると 50 〜 150 くらいの数発生しています。 >>>>> >>>>> error.log(4379): [Thu Mar 31 01:00:50 2011] [error] [client >>>>> 192.168.27.12] >>>>> Digest: uri mismatch - >>>>> </svn2fess/sandbox/root/Source/trunk/SOURCE_APP/SOURCE_DLL/LSSItgProgUI/> >>>>> does >>>>> not match request-uri >>>>> </svn2fess/sandbox/root/Source/trunk/SOURCE_APP/SOURCE_DLL/LSSLiToolFunc/> >>>>> >>>>> また以下のエラーも 1 〜 10 くらいの数発生しています。 >>>>> >>>>> error.log(1705): [Thu Mar 24 04:13:37 2011] [error] [client >>>>> 192.168.27.12] >>>>> Digest: user bungle: password mismatch: >>>>> /svn2fess/LabSolutionsCommon/root/tags/Ver.5.40(LCMS-8030)Fixed/help/4_\xe8\x8b\xb1\xe8\xaa\x9e\xe5\x8e\x9f\xe7\xa8\xbf/LabSolutionsHelp/COMMON_HELP_DATAEXP_NW_KEYWORD_DATA.html >>>>> >>>>> クロール対象である Subversion のサーバー管理者から大丈夫か >>>>> と問い合わせがあって気づいた次第です。 >>>>> >>>>> Subversion サーバー以外のクロール先では発生している気配は >>>>> ありませんが、そもそも Subversion 上のファイルが圧倒的に多 >>>>> いので、Subversion サーバー固有の問題とはにわかには断定で >>>>> きません。 >>>>> >>>>> このエラーログが出るのは、どういったケースが考えられるでし >>>>> ょうか？ >>>>> >>>>> もしお気づきの点あれば、ご指摘いただけると幸いです。 >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user >
