From toshinobu.kobayashi @ jig-saw.com Fri Aug 7 10:41:32 2015 From: toshinobu.kobayashi @ jig-saw.com (=?UTF-8?B?5bCP5p6XIOW5tOS8uA==?=) Date: Fri, 7 Aug 2015 10:41:32 +0900 Subject: [Ultramonkey-l7-users 599] Re: =?utf-8?b?VWx0cmFNb25rZXktTDcgdjPns7vjgavjgYrjgYTjgabjga50?= =?utf-8?b?aW1lb3V044Gr44Gk44GE44Gm?= In-Reply-To: References: <55C1AC53.8040109@jig-saw.com> <7ad2380ffa7c44c1bd2fa834dc1d261d@MP-MSGSS-MBX018.msg.nttdata.co.jp> <55C3134C.7060100@jig-saw.com> Message-ID: <55C40CCC.2000007@jig-saw.com> ひばり様 jig-saw 小林です。 ご回答ありがとうございます。 いただいた内容を基に 調べなおしてみます。 どうぞよろしくお願いします。 On 2015/08/06 18:13, Michiro Hibari wrote: > > 小林様 > > ひばりです。 > > v2とv3は完全に実装が異なります。 > > v2はC言語で実装されており、v3はC++で > boostライブラリを活用し実装されています。 > (v3についてはSocketもboostにラップされています。) > > ただ、コネクションの話となると、どちらもglibcの > socketの動作に落ちてくる話なので上記が > v2とv3で > 残存するコネクション量に差があることに影響して > いるかは不明です。 > > 以上、宜しくお願い致します。 > > 2015/08/06 16:58 "小林 年伸" >: > > 田沼様 ひばり様 > > jig-saw 小林です。 > > ご回答ありがとうございます。 > > すべてのコネクションがハーフコネクションとして残るわけでは無いので > 頂きました通りtcpdump等で追ってみます。 > > もう一点よろしければ教えていただきたいのですが > 同環境でCentOS5 ultramonkey-l7-2.1.3が動いていおります。 > > そちらはハーフコネクションがあることはあるのですが > ver3のものよりはハーフコネクションになっているものが > 少ないです。 > 2と3でその部分について違いというのはありますでしょうか。 > > 度々お手数ですが、ご教授いただけますと幸いです。 > > > On 2015/08/06 16:13, tanumak @ nttdata.co.jp > wrote: > > 小林様 > > > > 田沼と申します。 > > > > 残ったコネクションを強制的に切るよりも > > コネクションが残らないようにするアプローチの方がよいかと思います。 > > (※最近のUltraMonkey-L7の仕様を把握していませんが、 > >   たぶん環境の問題だと思います) > > > > Apache側(及びクライアント)にはESTABLISHEDで残っていないという > ことは、 > > Apacheでは切断処理を行っているということで、 > > その際に対向のUltraMonkey-L7に対して、FINまたはRSTのパケットを > > 送っているはずです。 > > それにもかかわらず、UltraMonkey-L7にESTABLISHEDで残るということは、 > > Apacheから送信したFINやRSTがUltraMonkey-L7に届かなかったと > > いうことになります。 > > > > どういう場合にパケットが届かなくなるかというと、 > > ケーブルが抜けたとか、NWが輻輳してパケットロストしたとか、 > > 様々なケースが考えられますが、最もありがちなのが、 > > ファイアウォールやNATルータが間にあって、セッションタイムアウトで > > パケットを破棄しているパターンです。 > > > > ということで、UltraMonkey-L7の前後にファイアウォールやNATルータ等の > > 機器が存在していないでしょうか。 > > 存在する場合は、ApacheのKeepAliveTimeoutやTimeout設定よりも > > 機器のセッションタイムアウト設定が長くなっているかどうかを > > 確認してみてください。 > > > > そのような機器が無い場合は、UltraMonkey-L7とApacheの両方で > > tcpdump等でパケットキャプチャを行って解析することが > > 解決への近道かと思います。 > > > > 以上、よろしくお願いします。 > > > > > > From: ultramonkey-l7-users-bounces @ lists.osdn.me > > [mailto:ultramonkey-l7-users-bounces @ lists.osdn.me > ] On Behalf Of > Michiro Hibari > > Sent: Thursday, August 06, 2015 2:07 PM > > To: 小林 年伸 > > > Cc: ultramonkey-l7-users @ lists.osdn.me > > > Subject: [Ultramonkey-l7-users 594] Re: UltraMonkey-L7 v3系にお > いてのtimeoutについて > > > > 小林さま > > > > ひばり と申します。 > > > > ハーフコネクションが残ってしまった場合、 > > 現状 有効なタイムアウト設定はなさそうです。 > > > > socket optionでtcpkeepaliveが有効にできれば > > 良いのですが、無効でハードコーディングされてしまって > > いるので設定で有効にはできません。 > > > > ちなみにserver_connect_timeoutは振り分け先との > > コネクションが確立するまでのタイムアウトなので、 > > ESTABLISHEDとなったコネクションに対して有効なものでは > > ございません。 > > > > netstat等で観察しつつ、あまりにも多くハーフコネクションが > > 残るようなら再起動するしかないと思います。 > > > > 以上、宜しくお願い致します。 > > > > 2015/08/05 18:42 "小林 年伸" >: > > 開発者の皆様 > > > > jig-sawの小林と申します。 > > > > UltraMonkey-L7 v3系においてのtimeout値について > > ご質問させて頂いてよろしいでしょうか > > > > 現在UltraMonkey-L7 3.1.1を使用させて頂いていますが > > 運用中にhttpの接続が切れないで > > ESTABLISHED 状態のまま残り続けるものが溜まっていくという > > 事象がありました。 > > > > アクセスの傾向としては07:00?22:00以外はグッと下がる傾向にあるの > ですが > > /usr/sbin/l7vsadm -l -n > > で確認すると ActiveConn が落ちること無く日増しに増えていってい > ました。 > > > > l7vs.cf に 「server_connect_timeout」を設定して > みましたが > > 効果が見られなかったです。 > > クライアント(GIP)、リアルサーバー(LIP)共にESTABLISHED 状態のまま > 残り続け > > ていました。 > > 只、リアルサーバー側ではLBのIPとESTABLISHED になっているものは無 > い状況で > > した。 > > > > 他に強制的にタイムアウトをさせるような設定はあるかどうか > > ご教授いただけますでしょうか。 > > > > 以下環境を記載させていただきます。 > > 足りないものがありましたらお手数ですがご教授ください。 > > > > 【環境】 > > <ロードバランサー> > > OS:CentOS 6.6 64bit > > Kernel:2.6.32-504.12.2.el6 > > UltraMonkey-l7バージョン:3.1.1 > > > > > > OS:CentOS 5.5 64bit > > Apache:2.2.21 > > > > > > > ----------------------------------------------------------- > > # > > # l7vsadm setting > > # > > [l7vsadm] > > cmd_interval = 1 > > cmd_count = 10 > > con_interval = 1 > > con_count = 1 > > > > # > > # l7vsd setting > > # > > [l7vsd] > > maxfileno = 65535 > > > > # > > # virtualservice setting > > # > > [virtualservice] > > session_thread_pool_size = 32 > > throughput_calc_interval = 500 > > > > # > > # Session Settings > > # > > [session] > > #upstream_buffer_size = 8192 > > #downstream_buffer_size = 8192 > > server_connect_timeout = 61 > > > > # > > # l7vsd replication setting > > # > > [replication] > > #ip_addr = "192.168.0.254" > > #service_name = "40000" > > #recv_ip_addr = "192.168.0.253" > > #interval = 1000 > > #compulsorily_interval = 40 > > > > #cmponent_id_00 = "virtualservice" > > #cmponent_size_00 = 64 > > #cmponent_id_01 = "chash" > > #cmponent_size_01 = 1 > > #cmponent_id_02 = "sslid" > > #cmponent_size_02 = 222 > > > > # > > # snmpagent settings > > # > > [snmpagent] > > enable = "false" > > cache_update_interval = 1 > > logtrap = "false" > > logtrap_level = "warn" > > qos_up_alert_on = 85 > > qos_up_alert_off = 50 > > qos_down_alert_on = 85 > > qos_down_alert_off = 50 > > sessionpool_alert_on = 5 > > sessionpool_alert_off = 8 > > trap_queue_polling_interval = 100000000 > > trap_queue_max_size = 1000 > > ----------------------------------------------------------- > > ※[logger]セクションは省略しております。 > > > > > > > ----------------------------------------------------------- > > # - Monitor Settings > > checktimeout = 5 > > negotiatetimeout = 5 > > checkinterval = 10 > > retryinterval = 5 > > checkcount = 3 > > quiescent = yes > > configinterval = 10 > > autoreload = yes > > > > virtual = {service_IP}:80 > > real = {realserver01_IP}:80 masq 10 > > real = {realserver02_IP}:80 masq 10 > > real = {realserver03_IP}:80 masq 10 > > sorryserver = {sorryserver_IP}:8085 > > module = sessionless --forwarded-for > > scheduler = lc > > qosup = 125M > > qosdown = 125M > > checktype = connect > > service = http > > quiescent = no > > checkcount = 2 > > session_thread_pool_size = 2000 > > maxconn = 10000 > > ----------------------------------------------------------- > > > > > > お手数ですが、何卒よろしくお願いいたします。 > > > > -- > > -------------------------------------------- > > ジグソー株式会社 > > 小林 年伸 > > E-mail:toshinobu.kobayashi @ jig-saw.com > > > Tel:011-737-0240 Fax:011-737-0241 > > 〒060-0808 > > 北海道札幌市北区北8条西3丁目32番 > > > > _______________________________________________ > > Ultramonkey-l7-users mailing list > > Ultramonkey-l7-users @ lists.osdn.me > > > http://lists.osdn.me/mailman/listinfo/ultramonkey-l7-users > > > -- > -------------------------------------------- > ジグソー株式会社 > 小林 年伸 > E-mail:toshinobu.kobayashi @ jig-saw.com > > Tel:011-737-0240 Fax:011-737-0241 > 〒060-0808 > 北海道札幌市北区北8条西3丁目32番 > > _______________________________________________ > Ultramonkey-l7-users mailing list > Ultramonkey-l7-users @ lists.osdn.me > > http://lists.osdn.me/mailman/listinfo/ultramonkey-l7-users > -- -------------------------------------------- ジグソー株式会社 小林 年伸 E-mail:toshinobu.kobayashi @ jig-saw.com Tel:011-737-0240 Fax:011-737-0241 〒060-0808 北海道札幌市北区北8条西3丁目32番 -------------- next part -------------- HTML$B$NE:IU%U%!%$%k$rJ]4I$7$^$7$?(B... URL: http://lists.osdn.me/mailman/archives/ultramonkey-l7-users/attachments/20150807/63782269/attachment-0001.htm