From se-harada ＠ e.sgu.ac.jp Fri Dec 16 09:33:35 2011 From: se-harada ＠ e.sgu.ac.jp (SGU HARADA) Date: Fri, 16 Dec 2011 09:33:35 +0900 Subject: [Ultramonkey-l7-users 485] Re: =?iso-2022-jp?b?My4wLjIbJEIkTjVzRjAkSyREJCQkRhsoQg==?= In-Reply-To: References: <4EE80171.1090009@nttcom.co.jp>, , <4EE853C4.7040408@nttcom.co.jp>, <20111214.180802.1744153312891964048.tateishi.katsuyuki@oss.ntt.co.jp>, , <4EE95607.4020402@nttcom.co.jp>, Message-ID: 原田です。おはようございます。 昨日ご報告しました検証環境にて、Ultramonkey-L7 3.0.1に入れ換えて 検証してみましたが、こちらではユーザーデータの一部に重複が発生する事象は 発生いたしませんでした。 Ultramonkey-L7 3.0.2でのみ発生する事象のようです。 何か他に検証すべきことがございましたらやってみますのでお知らせ下さい。 よろしくお願いいたします。 From nakano.hiroaki ＠ nttcom.co.jp Fri Dec 16 09:49:30 2011 From: nakano.hiroaki ＠ nttcom.co.jp (=?UTF-8?B?5Lit6YeO44CA5a6P5pyX?=) Date: Fri, 16 Dec 2011 09:49:30 +0900 Subject: [Ultramonkey-l7-users 486] Re: =?utf-8?b?My4wLjLjga7mjJnli5XjgavjgaTjgYTjgaY=?= In-Reply-To: References: <4EE80171.1090009@nttcom.co.jp> <4EE853C4.7040408@nttcom.co.jp> <20111214.180802.1744153312891964048.tateishi.katsuyuki@oss.ntt.co.jp>, <4EE95607.4020402@nttcom.co.jp> Message-ID: <4EEA959A.4080008@nttcom.co.jp> 中野です。 おはようございます。 (2011/12/15 18:41), SGU HARADA wrote: > > 原田です。 > いろいろとお調べいただきましてありがとうございます。 > > 本日、事象が発生した環境とは別の検証環境を構築して確認したところ > 事象が再現することが確認できました。 > > 以下のような感じで検証環境を構築しました。 > 仮想環境（OracleVM 完全仮想化）を使用しましたが、元々の環境は全て独立した > 物理サーバ上にUMとリアルサーバをそれぞれ構築して運用しております。 > > ・上位メールゲートウェイ　（UM通過前にデータの破損が無いかの確認用） > CentOS 5.7 > postfix-2.8.7 + MailArchiva > > ・ロードバランサ （仮想環境でCPU 2コア割り当て） > Scientific Linux 6.1　（2.6.32-131.21.1.el6.x86_64） > 最小インストール、SELinux無効、yum update実施 > 　UltraMonkey-L7-3.0.2をソースからコンパイル　（当初ご報告した環境ではrpmを使用） > UMのインストール手順はほぼuml7-install_manual_3.0.0_ja.txtの通り > 　(apache-log5cxx-0.10.0のmake install時に"will not overwrite just-created?" > のエラーが出るので、Makefile.amを修正する手順を加えています） > 　TCP/25番で受けた通信をリアルサーバ２台のどちらかのTCP/25番に > 　sessionless/rrで投げるようl7directord.cfを設定 > > ・リアルサーバ > 　CentOS 5.7 > postfix-2.3.3-2.3.el5_6 (Maildir形式) > > 検証目的のため、リアルサーバ2台はデータの同期を行なっていません。 > （メールはUMで振り分けられてどちらか一方のリアルサーバに入る） > > このような環境で試したところ、UltraMonkey-L7 3.0.2を経由させた場合は、先のメールで > 提供させて頂いたサンプルと同様、立石様からご指摘いただいたようにユーザーデータの > 一部に重複が発生する事象が再現できました。 > 念のため、Ultramonkey-L7 3.0.2を経由させず、上位メールゲートウェイから > リアルサーバの1台にメールを直接配送したところ、事象は発生しませんでした。 > 3.0.1では事象は発生しないのかという点につきましては、これから確認したいと思います。 ありがとうございます。 やはりdrbdとかは関係なく、v3.0.2のバグのようです。。。 こちらでも再現環境を組んでみようと思うので、 環境を参考にさせてもらいます。 > 中野様からコメント頂きました、全データではなく、たまにそうなるのは気になる、という > 点ですが、今回の検証環境では全体的に遅い回線（当初事象が発生した環境は > LAN内の1Gbpsで各機器を接続しているのに対し、今回は機器間は仮想環境内の100Mbpsで > 上位ゲートウェイサーバはインターネット上のVPSサービスを利用）で構築してみました。 > 結果、同じ添付ファイルを送信した場合でも、データの受け渡し完了までに時間がかかった > ように思われたのですが、それが影響しているのか重複したユーザデータが増えていました。 > （同じ添付ファイルで検証した結果、30カ所以上のユーザデータの重複が発生） > ご参考になりますでしょうか。 なるほどです。 上記事象から推測できることとしては、 ・仮想環境でUM-L7のバッファが小さめになったか、回線帯域の減少でデータ送信の分割単位が 　細かくなって、データ重複箇所が増えた。 ・回線帯域が狭くなってデータ送信に時間がかかったため、データ送信側と受信側それぞれの 　スレッドでイベント状態遷移を司るメッセージの順番制御にバグがあり、それが顕在化 　しやすくなった。(UM-L7 v3系はクライアント<->UM-L7も、UM-L7<->リアルサーバも 　非同期処理を行っているので、そのあたりのバグの可能性も考えられます。) というところです。 こちらでも再現環境を組みつつ、怪しげなところにデバッグコードを埋め込みながら 試験してみるので、解析まで少々お時間をください。 > また3.0.1について検証して引き続きご報告させていただきます。 > よろしくお願いいたします。 > > > _______________________________________________ > Ultramonkey-l7-users mailing list > Ultramonkey-l7-users ＠ lists.sourceforge.jp > http://lists.sourceforge.jp/mailman/listinfo/ultramonkey-l7-users > > > -- 中野 宏朗 (NAKANO Hiroaki) NTTコムウェア 品質生産性技術本部 技術SE部 基盤ソフトSE・OSS部門 OSS適用推進担当 Tel: 043-211-2452 (Ext: 特番+26-8341), Fax: 043-211-5086 Zip/Address: 261-0023 千葉県千葉市美浜区中瀬1-6 NTT幕張ビル21F-En From tateishi.katsuyuki ＠ oss.ntt.co.jp Fri Dec 16 09:55:53 2011 From: tateishi.katsuyuki ＠ oss.ntt.co.jp (TATEISHI Katsuyuki) Date: Fri, 16 Dec 2011 09:55:53 +0900 (JST) Subject: [Ultramonkey-l7-users 487] Re: =?iso-2022-jp?b?VWx0cmFNb25rZXkbJEIkThsoQlN1c2UbJEIkRyROGyhC?= =?iso-2022-jp?b?GyRCTXhNUSRLNFgkNyReJDckRhsoQg==?= In-Reply-To: <4EE9EC3C.4080608@sei.co.jp> References: <4EE9EC3C.4080608@sei.co.jp> Message-ID: <20111216.095553.1905898252926396527.tateishi.katsuyuki@oss.ntt.co.jp> 立石です。 On Thu, 15 Dec 2011 21:46:52 +0900, 園田 雅樹 wrote: > UltraMonkey-L7 の導入を検討しており、 > UltraMonkey-L7 および UltraMonkey(無印)双方で動作検証を行っております。 > 導入予定のサーバOSはSuse Linuxです。 > (SLES11SP1 x86_64 2.6.32.27-0.2-default) > > L7に関しては、インストール用のソースファイルおよび、インストールマニュア > ルが充実しており、導入することができましたが、 > 無印に関しては、RHEL用のRPMしか提供されておらず、導入に難儀しております。 > UltraMonkey無印に関しまして、Suse系での導入実績等ご存知ないでしょうか。 SLES は使ったことがなくて、ほとんど勘が働かないのですが、参考まで・・・ UltraMonkeyは実際のところ 1. LVS 2. ldirectord 3. Pacemaker から構成されています。また、冗長構成を取らないのであれば1, 2 だけでロードバランサとして動かすことも可能です。 1. LVS これは kernel 内の ip_vs モジュールとユーザランドの ipvsadm があれば使えます。 * kernel の ip_vs モジュール * ivsadm コマンド があれば使用可能です、それぞれ確認してインストールしてみて ください。 openSUSE であれば ipvsadm の RPM がありました。kernel のほ うは確認していませんが、ipvsadmがあるということはまず間違い なくip_vsモジュールも含まれているはずです。 2. ldirectord これは Linux-HA の一部 resource-agents に含まれています。お そらくRPMでは分離されて作成されるので、 ldirectord という名 前の PRM が存在していないか確認してみてください。 たぶん RPM があると思いますが、なければ resource-agents の ソースコードから引っ張ってくるとかするといいと思います。 openSUSE であれば、 こちらも ldirectord の RPM がありました。 以上、1, 2が UltraMonkey としてのロードバランサ部分ですので、 まずはこれらのみを構築し、ロードバランサとしての動作を確認す るのがよいと思います。 設定等についてですが、1,2 の動作はほぼ ldirectord.cf の設定で 決まります(※)。この記述については、ldirectord(8)をご覧いただ くか、ネット上の ldirectord の構築方法のどれもが参考になるは ずです(昔からそれほど大きな変更がないので)。 ※ ip_vsの挙動はkernelパラメータで設定する個所がありますが、 そちらはkernelのドキュメント Documentation/networking/ipvs-sysctl.txt を参照してくださ い。 ロードバランサとしての動作を確認できたら、下記の Pacemaker を導入して冗長化すれば UltraMonkey の完成です。 3. Pacmeaker これは Pacemaker + Heartbeat + etc... なのですが、詳細は http://linux-ha.sourceforge.jp/wp/ の「ダウンロード＆インス トール」などからたどれば構築方法(RHEL系向けのようです が・・・)もわかると思います。 ただ、openSUSE だと Heartbeat の RPM が提供されていません。 Corosync の RPM はあるので、SUSEの作法としてはクラスタ制御 部を Heartbeat ではなく Corosync で構築する必要があるのかも しれません。 以上、参考になれば幸いです。 -- TATEISHI Katsuyuki From hibari.michirou ＠ nttcom.co.jp Fri Dec 16 11:58:53 2011 From: hibari.michirou ＠ nttcom.co.jp (=?ISO-2022-JP?B?GyRCMUA/fSEhTylPLxsoQg==?=) Date: Fri, 16 Dec 2011 11:58:53 +0900 Subject: [Ultramonkey-l7-users 488] =?iso-2022-jp?b?VWx0cmFNb25rZXktTDcgdjMuMC4yIBskQjh4MytEZDtfGyhC?= =?iso-2022-jp?b?GyRCJE4kKkNOJGkkOxsoQg==?= Message-ID: <4EEAB3ED.5030506@nttcom.co.jp> UltraMonkey-L7コミュニティの皆様 2011年12月9日にリリースされたUltraMonkey-L7 v3.0.2について パケットデータが破損する問題が発生しております。 転送パケットデータが壊れてしまうという重大な問題であるため、 v3.0.2の公開を停止いたします。 なお、v3.0.1において上記事象は発生しませんので、v3.0.2を インストールされた方はv3.0.1に切り戻してご利用ください。 既にv3.0.2をご利用の皆様には、ご迷惑をおかけし 誠に申し訳ありません。 本問題を修正したバージョンアップのリリースが決定し次第、 改めてご連絡いたします。 -- ============================================== ＮＴＴコムウェア株式会社 品質生産性技術本部　技術SE部　基盤ソフトSE・OSS部門 雲雀　路朗（ひばり　みちろう） E-Mail:hibari.michirou ＠ nttcom.co.jp TEL:043-211-2452 ============================================== From se-harada ＠ e.sgu.ac.jp Fri Dec 16 12:15:02 2011 From: se-harada ＠ e.sgu.ac.jp (SGU HARADA) Date: Fri, 16 Dec 2011 12:15:02 +0900 Subject: [Ultramonkey-l7-users 489] Re: =?iso-2022-jp?b?My4wLjIbJEIkTjVzRjAkSyREJCQkRhsoQg==?= In-Reply-To: <4EEA959A.4080008@nttcom.co.jp> References: <4EE80171.1090009@nttcom.co.jp> <4EE853C4.7040408@nttcom.co.jp> <20111214.180802.1744153312891964048.tateishi.katsuyuki@oss.ntt.co.jp>, <4EE95607.4020402@nttcom.co.jp> , <4EEA959A.4080008@nttcom.co.jp> Message-ID: 原田です。 v3.0.2の公開停止のアナウンス、ありがとうございました。 もう1点気になっていたことがあり検証してみましたのでご報告します。 今回、事象が発生したのはSMTPの通信を振り分ける環境なのですが HTTPではどうなのか、点についてです。 リアルサーバ側にCGIでアップローダを構築して、クライアントから Ultramonkey-L7 3.0.2経由でリアルサーバにデータをアップロードして みましたが　（データの流れの向きがSMTPの場合と同様になるように） ユーザーデータが一部重複する、という事象は見受けられませんでした。 たまたまなのかもしれませんが、解析に役立つかもしれないと思い ご報告させて頂きます。 よろしくお願いいたします。 From nakano.hiroaki ＠ nttcom.co.jp Fri Dec 16 13:44:57 2011 From: nakano.hiroaki ＠ nttcom.co.jp (=?ISO-2022-JP?B?GyRCQ2ZMbiEhOShPLxsoQg==?=) Date: Fri, 16 Dec 2011 13:44:57 +0900 Subject: [Ultramonkey-l7-users 490] Re: =?iso-2022-jp?b?My4wLjIbJEIkTjVzRjAkSyREJCQkRhsoQg==?= In-Reply-To: References: <4EE80171.1090009@nttcom.co.jp> <4EE853C4.7040408@nttcom.co.jp> <20111214.180802.1744153312891964048.tateishi.katsuyuki@oss.ntt.co.jp>, <4EE95607.4020402@nttcom.co.jp> , <4EEA959A.4080008@nttcom.co.jp> Message-ID: <4EEACCC9.8010303@nttcom.co.jp> 中野です。 (2011/12/16 12:15), SGU HARADA wrote: > > 原田です。 > v3.0.2の公開停止のアナウンス、ありがとうございました。 > > もう1点気になっていたことがあり検証してみましたのでご報告します。 > 今回、事象が発生したのはSMTPの通信を振り分ける環境なのですが > HTTPではどうなのか、点についてです。 > > リアルサーバ側にCGIでアップローダを構築して、クライアントから > Ultramonkey-L7 3.0.2経由でリアルサーバにデータをアップロードして > みましたが　（データの流れの向きがSMTPの場合と同様になるように） > ユーザーデータが一部重複する、という事象は見受けられませんでした。 ありがとうございます。 sessionlessでも、HTTP決め打ちでヘッダ解析していたところが あったような、なかったような・・・ # でも、v3.0.1も同じだったような・・・＾＾； そのあたりも見てみます。 > たまたまなのかもしれませんが、解析に役立つかもしれないと思い > ご報告させて頂きます。 > よろしくお願いいたします。 > > > > > _______________________________________________ > Ultramonkey-l7-users mailing list > Ultramonkey-l7-users ＠ lists.sourceforge.jp > http://lists.sourceforge.jp/mailman/listinfo/ultramonkey-l7-users > > > -- 中野 宏朗 (NAKANO Hiroaki) NTTコムウェア 品質生産性技術本部 技術SE部 基盤ソフトSE・OSS部門 OSS適用推進担当 Tel: 043-211-2452 (Ext: 特番+26-8341), Fax: 043-211-5086 Zip/Address: 261-0023 千葉県千葉市美浜区中瀬1-6 NTT幕張ビル21F-En From mii.kazuyoshi ＠ oss.ntt.co.jp Fri Dec 16 15:07:06 2011 From: mii.kazuyoshi ＠ oss.ntt.co.jp (Kazuyoshi Mii) Date: Fri, 16 Dec 2011 15:07:06 +0900 Subject: [Ultramonkey-l7-users 491] Re: =?utf-8?b?VWx0cmFNb25rZXnjga5TdXNl44Gn44Gu5Yip55So44Gr6Zai?= =?utf-8?b?44GX44G+44GX44Gm?= In-Reply-To: <20111216.095553.1905898252926396527.tateishi.katsuyuki@oss.ntt.co.jp> References: <4EE9EC3C.4080608@sei.co.jp> <20111216.095553.1905898252926396527.tateishi.katsuyuki@oss.ntt.co.jp> Message-ID: <20111216060706.GV16881@oss.ntt.co.jp> こんにちは、園田さん、 みいです。 SLESであれば、Novellの公開しているドキュメントが参考になるかもしれませ ん。 http://www.novell.com/documentation/sle_ha/book_sleha/?page=/documentation/sle_ha/book_sleha/data/sec_ha_lvs_ldirectord.html On Fri, Dec 16, 2011 at 09:55:53AM +0900, TATEISHI Katsuyuki wrote: > 立石です。 > > On Thu, 15 Dec 2011 21:46:52 +0900, > 園田 雅樹 wrote: > > UltraMonkey-L7 の導入を検討しており、 > > UltraMonkey-L7 および UltraMonkey(無印)双方で動作検証を行っております。 > > 導入予定のサーバOSはSuse Linuxです。 > > (SLES11SP1 x86_64 2.6.32.27-0.2-default) > > > > L7に関しては、インストール用のソースファイルおよび、インストールマニュア > > ルが充実しており、導入することができましたが、 > > 無印に関しては、RHEL用のRPMしか提供されておらず、導入に難儀しております。 > > UltraMonkey無印に関しまして、Suse系での導入実績等ご存知ないでしょうか。 > > SLES は使ったことがなくて、ほとんど勘が働かないのですが、参考まで・・・ > > UltraMonkeyは実際のところ > 1. LVS > 2. ldirectord > 3. Pacemaker > から構成されています。また、冗長構成を取らないのであれば1, 2 > だけでロードバランサとして動かすことも可能です。 > > 1. LVS > > これは kernel 内の ip_vs モジュールとユーザランドの > ipvsadm があれば使えます。 > * kernel の ip_vs モジュール > * ivsadm コマンド > があれば使用可能です、それぞれ確認してインストールしてみて > ください。 > > openSUSE であれば ipvsadm の RPM がありました。kernel のほ > うは確認していませんが、ipvsadmがあるということはまず間違い > なくip_vsモジュールも含まれているはずです。 > > 2. ldirectord > > これは Linux-HA の一部 resource-agents に含まれています。お > そらくRPMでは分離されて作成されるので、 ldirectord という名 > 前の PRM が存在していないか確認してみてください。 > > たぶん RPM があると思いますが、なければ resource-agents の > ソースコードから引っ張ってくるとかするといいと思います。 > > openSUSE であれば、 こちらも ldirectord の RPM がありました。 > > 以上、1, 2が UltraMonkey としてのロードバランサ部分ですので、 > まずはこれらのみを構築し、ロードバランサとしての動作を確認す > るのがよいと思います。 > > 設定等についてですが、1,2 の動作はほぼ ldirectord.cf の設定で > 決まります(※)。この記述については、ldirectord(8)をご覧いただ > くか、ネット上の ldirectord の構築方法のどれもが参考になるは > ずです(昔からそれほど大きな変更がないので)。 > > ※ ip_vsの挙動はkernelパラメータで設定する個所がありますが、 > そちらはkernelのドキュメント > Documentation/networking/ipvs-sysctl.txt を参照してくださ > い。 > > ロードバランサとしての動作を確認できたら、下記の Pacemaker > を導入して冗長化すれば UltraMonkey の完成です。 > > 3. Pacmeaker > > これは Pacemaker + Heartbeat + etc... なのですが、詳細は > http://linux-ha.sourceforge.jp/wp/ の「ダウンロード＆インス > トール」などからたどれば構築方法(RHEL系向けのようです > が・・・)もわかると思います。 > > ただ、openSUSE だと Heartbeat の RPM が提供されていません。 > Corosync の RPM はあるので、SUSEの作法としてはクラスタ制御 > 部を Heartbeat ではなく Corosync で構築する必要があるのかも > しれません。 > > 以上、参考になれば幸いです。 > > -- > TATEISHI Katsuyuki > > _______________________________________________ > Ultramonkey-l7-users mailing list > Ultramonkey-l7-users ＠ lists.sourceforge.jp > http://lists.sourceforge.jp/mailman/listinfo/ultramonkey-l7-users > -- 三井一能 Linux-HA Japan http://linux-ha.sourceforge.jp/ E-mail: kmii (at) users.sourceforge.jp