yosuke takadate
taten****@gmail*****
2011年 2月 22日 (火) 08:37:47 JST
UltraMonkey-L7
Fork竹林様
高舘です。
ご対応頂き、ありがとうございます。
解析の状況はいかがでしょうか？
追加情報ですが、こちらの環境ではapache-log4cxxを
標準ディレクトリ以外にインストールしており、この点が
インストールマニュアルと異なる点です。
リンク情報は下記のようになります。
# ldd /usr/sbin/l7vsd
libgobject-2.0.so.0 => /lib64/libgobject-2.0.so.0 (0x00002b7c9c9c7000)
libglib-2.0.so.0 => /lib64/libglib-2.0.so.0 (0x00002b7c9cc07000)
librt.so.1 => /lib64/librt.so.1 (0x00002b7c9cea5000)
liblog4cxx.so.10 =>
/usr/local/apache-log4cxx/lib/liblog4cxx.so.10 (0x00002b7c9d0af000)
libaprutil-1.so.0 => /usr/lib64/libaprutil-1.so.0 (0x00002b7c9d4a5000)
libcrypt.so.1 => /lib64/libcrypt.so.1 (0x00002b7c9d6bf000)
libdb-4.3.so => /lib64/libdb-4.3.so (0x00002b7c9d8f8000)
libldap-2.3.so.0 => /usr/lib64/libldap-2.3.so.0 (0x00002b7c9dbee000)
liblber-2.3.so.0 => /usr/lib64/liblber-2.3.so.0 (0x00002b7c9de28000)
libexpat.so.0 => /lib64/libexpat.so.0 (0x00002b7c9e037000)
libapr-1.so.0 => /usr/lib64/libapr-1.so.0 (0x00002b7c9e259000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00002b7c9e480000)
libboost_regex.so.2 => /usr/lib64/libboost_regex.so.2
(0x00002b7c9e69c000)
libdl.so.2 => /lib64/libdl.so.2 (0x00002b7c9e947000)
libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x00002b7c9eb4b000)
libm.so.6 => /lib64/libm.so.6 (0x00002b7c9ee4c000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00002b7c9f0cf000)
libc.so.6 => /lib64/libc.so.6 (0x00002b7c9f2dd000)
/lib64/ld-linux-x86-64.so.2 (0x00002b7c9c7aa000)
libuuid.so.1 => /lib64/libuuid.so.1 (0x00002b7c9f635000)
libresolv.so.2 => /lib64/libresolv.so.2 (0x00002b7c9f839000)
libsasl2.so.2 => /usr/lib64/libsasl2.so.2 (0x00002b7c9fa4e000)
libssl.so.6 => /lib64/libssl.so.6 (0x00002b7c9fc68000)
libcrypto.so.6 => /lib64/libcrypto.so.6 (0x00002b7c9feb4000)
libicui18n.so.36 => /usr/lib64/libicui18n.so.36 (0x00002b7ca0205000)
libicuuc.so.36 => /usr/lib64/libicuuc.so.36 (0x00002b7ca054a000)
libgssapi_krb5.so.2 => /usr/lib64/libgssapi_krb5.so.2
(0x00002b7ca087f000)
libkrb5.so.3 => /usr/lib64/libkrb5.so.3 (0x00002b7ca0aae000)
libcom_err.so.2 => /lib64/libcom_err.so.2 (0x00002b7ca0d43000)
libk5crypto.so.3 => /usr/lib64/libk5crypto.so.3 (0x00002b7ca0f45000)
libz.so.1 => /usr/lib64/libz.so.1 (0x00002b7ca116b000)
libicudata.so.36 => /usr/lib64/libicudata.so.36 (0x00002b7ca137f000)
libkrb5support.so.0 => /usr/lib64/libkrb5support.so.0
(0x00002b7ca1f2f000)
libkeyutils.so.1 => /lib64/libkeyutils.so.1 (0x00002b7ca2137000)
libselinux.so.1 => /lib64/libselinux.so.1 (0x00002b7ca233a000)
libsepol.so.1 => /lib64/libsepol.so.1 (0x00002b7ca2552000)
--
問題の解決の為、UltraMonkey-L7のバージョン3への移行も
視野に入れております。マルチスレッド化などl7vsdに大きく手が入った
バージョン3への移行メリットはやはりございますでしょうか？
(同じような問題が内在している可能性はあるでしょうか？)
2011年2月15日21:44 Shinya TAKEBAYASHI <takeb****@oss*****>:
> 高舘さま
>
>
> 竹林です．
> 返信が遅くなり，すみません．
>
> 下記，解析してみます．
> 少し時間をいただけますか．
>
> yosuke takadate <taten****@gmail*****> wrote in message <AANLkTimjYVO9+
> z74Rf****@mail*****>
> *** Subject: [Ultramonkey-l7-users 374] Re: l7vsdプロセスが落ちる問題
> *** Date: 2011/02/14 19:29:23
>> 高舘と申します。
>>
>> 表題の件、coreファイルを解析しましたので
>> 追加でご報告します。
>>
>>
>> (1)ログレベルdebugで落ちる場合
>> 下記のパッチは適用済みです。
>> http://sourceforge.jp/projects/ultramonkey-l7/lists/archive/develop/20100802/000627.html
>>
>> Program terminated with signal 6, Aborted.
>> #0 0x00002b4625f54265 in raise () from /lib64/libc.so.6
>> #1 0x00002b4625f55d10 in abort () from /lib64/libc.so.6
>> #2 0x00002b4625f8e84b in __libc_message () from /lib64/libc.so.6
>> #3 0x00002b462600d10f in __stack_chk_fail () from /lib64/libc.so.6
>> #4 0x000000000041e92a in l7vs_service_remove_conn
>> (srv=0x6f632a206e6e6f63, conn=0x5f7376376c207463) at service.c:1410
>> #5 0x0000000000424db3 in l7vs_conn_destroy (conn=0x5de2bd0) at conn.c:549
>> #6 0x000000000040c999 in l7vs_iomux_poll (timo=<value optimized
>> out>, blocking=-1) at iomux.c:752
>> #7 0x000000000040bd04 in main (argc=2, argv=0x7fff4aabbde8) at l7vsd.c:
> 429
>>
>> バッファオーバーフローを検知してのAbortでしょうか？
>> こちらは更に調査しておりますが、解決は厳しい状況です。
>>
>>
>>
>> (2)ログレベルwarnで落ちる場合
>>
>> Program terminated with signal 6, Aborted.
>> #0 0x00002b30736de265 in raise () from /lib64/libc.so.6
>> #1 0x00002b30736dfd10 in abort () from /lib64/libc.so.6
>> #2 0x00002b307371884b in __libc_message () from /lib64/libc.so.6
>> #3 0x00002b307372030f in _int_free () from /lib64/libc.so.6
>> #4 0x00002b307372076b in free () from /lib64/libc.so.6
>> #5 0x000000000042dc82 in l7vs_conn_send (iom=0x1130e980,
>> dest_fd=<value optimized out>) at conn.c:2923
>> #6 0x000000000042e78f in l7vs_conn_sending (iom=0x1130e980,
>> another_iom=0x1130e960) at conn.c:1690
>> #7 0x000000000042f55f in l7vs_conn_rs_callback (iom=0x1130e980)
>> at conn.c:2014
>> #8 0x000000000040c8f8 in l7vs_iomux_poll (timo=<value optimized
>> out>, blocking=-1) at iomux.c:773
>> #9 0x000000000040bd04 in main (argc=2, argv=0x7fff6800c0f8) at l7vsd.c:
> 429
>>
>> 2重freeでしょうか？
>> if文をはさめば解決するかもしれません。
>>
>>
>> 似たような問題が発生した方、回避方法など知見をお持ちの方がいましたら
>> ご教示頂けたらと思います。
>>
>> よろしくお願い致します。
>>
>> On Wed, 9 Feb 2011 16:25:44 +0900
>> yosuke takadate <taten****@gmail*****> wrote:
>>
>> > 高舘と申します。
>> > l7vsdプロセスが落ちるという問題が発生しており
>> > 原因を調査中です。
>> >
>> >
>> > 環境
>> > CentOS5.5 (2.6.18-194.32.1.el5xen x86_64)
>> > UltraMonkey-l7 2.1.3
>> > 起動モード: non-blocking
>> > heartbeatによるHA構成
>> > -l7vsdはクローンで正副2台で稼働
>> > -レプリケーションは有効
>> >
>> > 設定
>> > ※設定ファイルを別途添付させて頂きます
>> >
>> > 発生頻度
>> > ほぼ1日に1回のペース
>> > アクセスがあまりない時期に落ちることはありませんでしたが
>> > 定量的なアクセスの増加時に発生するようになりました
>> >
>> > ログ
>> > ログレベルはすべて"warn"レベルにしておりましたが、
>> > 停止前にログは出力されておりませんでした。
>> > 一度"debug"レベルに変更してみたのですが、別の問題（恐らく下記URLが原因↓）
> で
>> > l7vsdプロセスが停止してしまう状況となりログからの調査が難しくなっております
>> > http://sourceforge.jp/projects/ultramonkey-l7/lists/archive/develop/20100802/000627.html
>> >
>> >
>> >
>> > 現在、起動モードをブロッキングモードに変更し、CoreDump設定を
>> > 投入して静観中です。
>> >
>> > 似たような問題が発生した方、回避方法など知見をお持ちの方がいましたら
>> > ご教示頂けたらと思い、ご連絡させて頂きました。
>> >
>> > よろしくお願い致します。
>>
>> _______________________________________________
>> Ultramonkey-l7-users mailing list
>> Ultra****@lists*****
>> http://lists.sourceforge.jp/mailman/listinfo/ultramonkey-l7-users
>
>
> -----------------------------------------------------------
> Shinya TAKEBAYASHI
>
> E-mail: takeb****@oss*****
> GPG ID: 395EFCE8
> GPG FP: 58B2 B5D0 A692 1BD8 328B E31E E027 AC35 395E FCE8
> -----------------------------------------------------------
>