Shinsuke Sugaya
shins****@yahoo*****
2012年 6月 7日 (木) 23:12:47 JST
菅谷です。 Fess だから何かあるというわけではないと 思いますので、ネットワーク周りを確認して いただくのが良いかと思います。あとは、 ログレベルをdebugにして、httpclientの 通信の内容を確認していただくのが良いと 思います。 それらのWARNは特に問題ないと思います。 よろしくお願いいたします。 shinsuke 2012年6月7日 12:50 Yuriyo Ige <ige****@playe*****>: > 菅谷様 > > 色々すみません。 > > 先方のサーバーは、ログインURLを叩くことで擬似ログインができるとのことですので、 > ログインの問題ではないようです。 > クロールURLはポート指定がされているので、もしかしたらポート指定の問題なのでしょうか…？ > なお、wgetでのコンテンツの取得はできています。 > > > fessのログを見ると、 > > WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - > Skip setting property, because property(httpClientContext) of > org.seasar.robot.client.http.HcHttpClient not found > WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - > Skip setting property, because property(proxyAuthScheme) of > org.seasar.robot.client.http.HcHttpClient not found > WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - > Skip setting property, because property(cookieStore) of > org.seasar.robot.client.http.HcHttpClient not found > WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - > Skip setting property, because property(httpClientContext) of > org.seasar.robot.client.http.HcHttpClient not found > WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - > Skip setting property, because property(proxyAuthScheme) of > org.seasar.robot.client.http.HcHt > WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - > Skip setting property, because property(cookieStore) of > org.seasar.robot.client.http.HcHttpClient not found > > という行が出力されています。 > ちなみに、fess.outの方には特にwarnログはありませんでした。 > > 何かお気づきの点がございましたら、ご教示お願い致します。 > > > > 2012年6月6日 6:09 Shinsuke Sugaya <shins****@yahoo*****>: >> 菅谷です。 >> >> Fess をインストールしたサーバーからwgetやcurlなどで >> 対象コンテンツが取得できるか、確認してみると良いと思います。 >> あとは、ログを確認してみると良いと思います。 >> >> http://fess.sourceforge.jp/ja/6.0/config/logging.html >> >> よろしくお願いいたします。 >> >> shinsuke >> >> 2012年6月5日 19:04 Yuriyo Ige <ige****@playe*****>: >>> 色々すみません。 >>> あれから別セグメントのIPを試しているのですが、 >>> fessサーバのシェルからはtelnetの接続やpingの疎通ができますが、 >>> fessでのクロールができません。 >>> >>> クロールしたいサーバーは以下になりますが、 >>> >>>>>>> eth0：グローバルIP…112.24.125.111（管理画面等はこちらからアクセス） >>>>>>> eth1：ローカルIP…192.168.100.100 >>>>>>> >>>>>>> クロール先：ローカルIP…192.168.101.111 >>>>>>> （192.168.100.xxxから192.168.101.xxxへのスタティックルートは設定済み） >>> >>> eth1と同一セグメントへのサーバ（コチラは認証なしです）へのクロールも失敗します。 >>> >>> グローバルIPを設定してしまったfessで、別nicでのローカルへのクロールはできないのでしょうか…？ >>> それとも、根本的に私がクロールの設定を間違えているのでしょうか？ >>> >>> お手数ですが、ご教示のほどよろしくお願いいたしま。 >>> >>> >>> 2012年6月2日 17:40 Shinsuke Sugaya <shins****@yahoo*****>: >>>> 菅谷です。 >>>> >>>>> sso proxyですが、どこかにドキュメントはありますでしょうか…？ >>>> >>>> ないです。すいません…。Fess の案件で >>>> フォーム認証が必要な場合は SSO Proxy を >>>> 提案・利用していますが、SSO Proxy も >>>> 独立した OSS プロダクトとしてまとめて >>>> いこうとは思うものの、ソースは公開して >>>> いますが、時間がなくて、いまいち情報を >>>> まとめきれていません…。 >>>> >>>>> パラメータを投げる形になっています。 >>>> >>>> リクエストヘッダーでも可能であるならば >>>> http://fess.sourceforge.jp/ja/7.0/admin/requestHeader-guide.html >>>> の設定で可能です。 >>>> >>>>> それと、別セグメントのIPの件はいかがでしょうか？ >>>> >>>> Fess サーバーからアクセス可能であれば、 >>>> 別セグメントなどは影響はないと思います。 >>>> >>>> よろしくお願いいたします。 >>>> >>>> 菅谷 >>>> >>>> 2012年6月2日 17:21 Yuriyo Ige <ige****@playe*****>: >>>>> ありがとうございます。 >>>>> 基本はフォーム認証ですが、一々クロール時にフォームログインをしてられないので、 >>>>> パラメータを投げる形になっています。 >>>>> >>>>> sso proxyですが、どこかにドキュメントはありますでしょうか…？ >>>>> fessと組み合わせて使用する際の使用方法など、 >>>>> 今MLの過去ログを検索していますが、proxyで検索しても2010年の２月のログにしか無く、 >>>>> 求めているものと違うようなので… >>>>> >>>>> それと、別セグメントのIPの件はいかがでしょうか？ >>>>> >>>>> ご教示のほど、よろしくお願い致します。 >>>>> >>>>> >>>>> 2012年6月2日 6:06 Shinsuke Sugaya <shins****@yahoo*****>: >>>>>> 菅谷です。 >>>>>> >>>>>>> ログイン認証はアクセスURLで擬似的にセッションを張る方式です。 >>>>>> >>>>>> 上記は具体的にはどうのようなものになるのでしょうか？ >>>>>> Fess 自体でサポートするのは、BASIC認証、Digest認証、 >>>>>> NTLM認証になります。フォーム認証は、別プロダクトとして >>>>>> リリースできてませんが、SSO Proxy というのを >>>>>> https://github.com/marevol/sso-proxy >>>>>> に置いてあるので、リバースプロキシ的に自動認証するので >>>>>> これ経由でクロールできると考えています。 >>>>>> >>>>>> よろしくお願いいたします。 >>>>>> >>>>>> shinsuke >>>>>> >>>>>> 2012年6月1日 21:40 Yuriyo Ige <ige****@playe*****>: >>>>>>> はじめまして。 >>>>>>> >>>>>>> >>>>>>> fessをsolrのクローラーとして使用したくて導入しました。 >>>>>>> ひとまず、通常のwebクロール上は問題ないのですが、 >>>>>>> 別セグメントのIPへのクロール及びログイン認証の部分で詰まっています。 >>>>>>> >>>>>>> やりたいこととしては、以下のとおりです。 >>>>>>> >>>>>>> ＜前提＞ >>>>>>> サーバーに対して以下のIPが振られているものとします。 >>>>>>> （IPは架空のものです） >>>>>>> >>>>>>> eth0：グローバルIP…112.24.125.111（管理画面等はこちらからアクセス） >>>>>>> eth1：ローカルIP…192.168.100.100 >>>>>>> >>>>>>> クロール先：ローカルIP…192.168.101.111 >>>>>>> （192.168.100.xxxから192.168.101.xxxへのスタティックルートは設定済み） >>>>>>> >>>>>>> クロール先はログイン権限別に表示するコンテンツが決まっており、 >>>>>>> そのコンテンツ毎にクロールを行う必要があります。 >>>>>>> ログイン認証はアクセスURLで擬似的にセッションを張る方式です。 >>>>>>> >>>>>>> >>>>>>> この状態でfessから上記クロール先へクロールすることは可能なのでしょうか？ >>>>>>> 可能な場合は、認証部分も含めどのように設定すればよろしいでしょうか？ >>>>>>> >>>>>>> 何卒ご教示のほど、よろしくお願い致します。 >>>>>>> >>>>>>> _______________________________________________ >>>>>>> Fess-user mailing list >>>>>>> Fess-****@lists***** >>>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>> >>>>>> _______________________________________________ >>>>>> Fess-user mailing list >>>>>> Fess-****@lists***** >>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user
