小林 年伸
toshi****@jig-s*****
2015年 12月 25日 (金) 15:38:04 JST
UltraMonkey-L7
Forkコミュニティの皆様
お世話になっております。
ジグソーの小林と申します。
掲題の件についてご質問させていただいてよろしいでしょうか。
■事象
ロードアベレージが突然 200/1分 近くになりl7vsdのプロセスがダウン
発生時のCPU使用率は2～3%ほどだったが
Diskの書き込み待ちが発生していたよう
これまでも突然ロードアベレージが高くなる(30/1分程度)時間があり
その時もやはりDiskの書き込み待ちが発生していた。
クラスタ構成となっていて、待機・停止している側では
書き込み待ちは発生していないのでl7vsdが原因と考えております。
既出のもので上のような症状はありましたでしょうか。
又、l7vsdのプロセスでDiskへの書き込みが発生する部分として
何が考えられますでしょうか。例えば一時ファイルなど
もし分かればその部分をtmpfsとしてメモリ空間に持っていくことも
検討しております。
停止時にcore_dumpも出力するようにしていたのですが
如何せんサイズが重いので必要でしたら特定の部分のみを
取り出して添付するように致します。
お手数ではございますが、何卒ご確認よろしくお願いいたします。
■以下は設定構成となります。
・UML7ver. ultramonkeyl7-3.1.2-1
・OS CentOS6.6 (Xen仮想マシン)
・CPU 8
・MEM 16GB
・構成
HTTPをUltraMonkeyでバックエンド3台にlcで振り分け
backendはapache2.2
・l7vsd設定
---------------------------------------------
[logger]
l7vsd_log_filename = "/var/log/l7vs/l7vsd.log"
l7vsd_rotation = "size"
l7vsd_max_backup_index = "10"
l7vsd_max_filesize = "2048M"
l7vsd_accesslog_rotate_type = "size"
l7vsd_accesslog_rotate_max_backup_index = "10"
l7vsd_accesslog_rotate_max_filesize = "2048M"
l7vsd_network = "warn"
l7vsd_network_qos = "warn"
l7vsd_network_bandwidth = "warn"
l7vsd_network_num_connection = "warn"
l7vsd_network_access = "warn"
l7vsd_mainthread = "warn"
l7vsd_virtualservice = "warn"
l7vsd_virtualservice_thread = "warn"
l7vsd_session = "warn"
l7vsd_session_thread = "warn"
l7vsd_realserver = "warn"
l7vsd_sorryserver = "warn"
l7vsd_module = "warn"
l7vsd_replication = "warn"
l7vsd_replication_sendthread = "warn"
l7vsd_parameter = "warn"
l7vsd_logger = "warn"
l7vsd_command = "warn"
l7vsd_start_stop = "warn"
l7vsd_system = "warn"
l7vsd_system_memory = "warn"
l7vsd_system_endpoint = "warn"
l7vsd_system_signal = "warn"
l7vsd_system_environment = "warn"
l7vsd_snmpagent = "warn"
l7vsd_protocol = "warn"
l7vsd_schedule = "warn"
l7vsadm_log_filename = "/var/log/l7vs/l7vsadm.log"
l7vsadm_rotation = "size"
l7vsadm_max_filesize = "2048M"
l7vsadm_max_backup_index = "10"
l7vsadm_parse = "warn"
l7vsadm_operate = "warn"
l7vsadm_config_result = "warn"
l7vsadm_common = "warn"
l7vsadm_logger = "warn"
l7vsadm_parameter = "warn"
l7vsadm_module = "warn"
l7vsadm_protocol = "warn"
l7vsadm_schedule = "warn"
[l7vsadm]
cmd_interval = 1
cmd_count = 10
con_interval = 1
con_count = 1
[l7vsd]
maxfileno = 65535
[virtualservice]
session_thread_pool_size = 32
throughput_calc_interval = 500
[session]
server_connect_timeout = 61
---------------------------------------------
・l7directord設定
---------------------------------------------
virtual = 10.83.13.46:80
real = 〓バックエンド01〓:80 masq 10
real = 〓バックエンド02〓:80 masq 10
real = 〓バックエンド03〓:80 masq 10
module = sessionless --forwarded-for
scheduler = lc
qosup = 125M
qosdown = 125M
checktype = connect
service = http
quiescent = no
checkcount = 2
session_thread_pool_size = 1800
maxconn = 0
---------------------------------------------
スレッドのプール数を稼ぐためにスタックトレースのサイズを
l7vsdのプロセスのみデフォルトの10MBから3MBに変更しています。
--
--------------------------------------------
ジグソー株式会社
小林 年伸
E-mail：toshi****@jig-s*****
Tel：011-737-0240 Fax：011-737-0241
〒060-0808
北海道札幌市北区北8条西3丁目32番