renay****@ybb*****
renay****@ybb*****
2016年 10月 29日 (土) 07:50:33 JST
秋葉さん おはようございます。山内です。 その後ですが、最終的に、RHL7.2も同様の事象と判断して動作を流すのは停止しました。 (CentOS7.2の方は、来週頭まで流すつもりです。） 簡易に現象を確認する方法を見つけたので、私の方で、RHのBugzillaに登録してみるつもりです。 １点、Pacemaker側の対処ではありませんが、systemctlのコマンド実行で、systemdを再実行させることでRESを戻すことは出来そうです。 #systemctl daemon-reexec 上記を実行することで、systemdが再実行されてRESが戻ります。 ですが、再実行後も結局、systemed(pid=1)のRESの増加は始まりますので、cronなどで定期的に実行する必要がありそうです。 手元の環境(pgsqlのストリーミング構成）では上記コマンドの実行で、クラスタリソースには影響はありませんでしたが、念のため、仮想ゲストなどで影響がないことを１度確認された方がよいかと思います。 #申し訳ありませんが、systemctl daemon-reexecの有効性について、ちゃんと確認が取れていない為です。 また、動きがありましたら、御連絡いたします。 以上です。 ----- Original Message ----- >From: "renay****@ybb*****" <renay****@ybb*****> >To: "linux****@lists*****" <linux****@lists*****> >Date: 2016/10/26, Wed 17:42 >Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動かした際の空きメモリ減少について > >秋葉さん > >今晩は、山内です。 > >>PostgreSQLのストリーミングの簡易構成での再現試験で >>類似事象が発生したとのこと、ご連絡ありがとうございます。 > >RHEL7.2も実行中ですが、傾向を見ると同様のようです。 >こちらは、もう少し流してみます。 > >>> * https://github.com/systemd/systemd/issues/2614 >> >>情報ありがとうございます。 >>こちらでも類似の情報を見たことがありました。 >>(タイトルはよく似ていますが全く同じではないようですね) >>http://serverfault.com/questions/755818/systemd-using-4gb-ram-after-18-days-of-uptime > >拝見しました。 >おっしゃる通り、似ていますが、全く同じではないようですね。 > >>これらの事象は必ず発生するものではないとすると、何らかの >>条件があるのだと思ってはいますが、それが分からないのが >>苦しいところです。 > >>ちなみに、ダメ元でお伺いしますが、 >>pacemakerでPostgreSQLをストリーミング構成で >>動かすにあたって、pacemakerの定義(たとえばヘルスチェックの >>仕方など)で改善できる要素などはあるのでしょうか？ > >こちらについては、もう少々お待ちください。 >何が原因なりそうか、これから調査する所です。 >それがわかれば、Pacemaker側での回避設定・修正も可能かも知れません。 > >また、コミュニティのメンバーとも昨日少し話をしましたが、もう少し事象を限定的な簡易な方法（Pacemaker無のコマンドの繰り返し実行など) >で再現できるかどうかを確認してRHの方へBugzillaへ報告してみる予定です。 > >>ACT+SBY構成ならば起きないが、HotStandby(ストリーム >>レプリケーション)構成だと発生する、ということなのか、 >>それに付随した原因が考えられるのか、といったところです。 > >もしかすると、ACT+SBYでもDummyではなくpgsqlのRAを使った場合に起きるかも知れません。 >#こちらは確認してみる予定です。 > > >>> 回答的には、systemd2.1.9よりも新しいバージョンを >>> 利用するようにとのことで、Closeしていますが・・ >>この点ですが、RHEL／CentOSでyumでインストールできるものは >>2.1.9 (219-19.el7_x.xx) と見え、systemdの GitHubでは >>既に2.3.1(v231)がリリースされています。 > >はい。私も確認しています。 > >>RedHatは、2.1.9をベースにアップデートを重ねているようですが、 >>これと、GitHub(本家)のバージョンやBugFixとの関連はどのように >>取れるものなのでしょうか？ >>(このMLで質問することではないかもしれませんが…) > >RHは、RHで採用するパッケージは決定しているので、本家とは直接関係していないと思います。 >また、RHは本家の採用バージョンに対して必要に応じて、パッチを適用して利用しています。 >ですので、RHが本家のBugfixを必要と判断すれば採用するというというスタンスではないでしょうか？ >#CentOSも同じパッケージとなると思いますので、RHの判断に追従していると思います。 > >以上です。 > > > >----- Original Message ----- >> From: AKIBA Makoto <akiba****@acroq*****> >> To: linux****@lists***** >> Cc: >> Date: 2016/10/25, Tue 20:05 >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動かした際の空きメモリ減少について >> >>T o: 山内さん >> >> 秋葉です。 >> いつもお世話になっております。 >> >> PostgreSQLのストリーミングの簡易構成での再現試験で >> 類似事象が発生したとのこと、ご連絡ありがとうございます。 >> >>> * https://github.com/systemd/systemd/issues/2614 >> >> 情報ありがとうございます。 >> こちらでも類似の情報を見たことがありました。 >> (タイトルはよく似ていますが全く同じではないようですね) >> http://serverfault.com/questions/755818/systemd-using-4gb-ram-after-18-days-of-uptime >> >> >> これらの事象は必ず発生するものではないとすると、何らかの >> 条件があるのだと思ってはいますが、それが分からないのが >> 苦しいところです。 >> >> ちなみに、ダメ元でお伺いしますが、 >> pacemakerでPostgreSQLをストリーミング構成で >> 動かすにあたって、pacemakerの定義(たとえばヘルスチェックの >> 仕方など)で改善できる要素などはあるのでしょうか？ >> >> ACT+SBY構成ならば起きないが、HotStandby(ストリーム >> レプリケーション)構成だと発生する、ということなのか、 >> それに付随した原因が考えられるのか、といったところです。 >> >> >>> 回答的には、systemd2.1.9よりも新しいバージョンを >>> 利用するようにとのことで、Closeしていますが・・ >> >> この点ですが、RHEL／CentOSでyumでインストールできるものは >> 2.1.9 (219-19.el7_x.xx) と見え、systemdの GitHubでは >> 既に2.3.1(v231)がリリースされています。 >> >> RedHatは、2.1.9をベースにアップデートを重ねているようですが、 >> これと、GitHub(本家)のバージョンやBugFixとの関連はどのように >> 取れるものなのでしょうか？ >> (このMLで質問することではないかもしれませんが…) >> >> >> 以上、よろしくお願い致します。 >> >>> -----Original Message----- >>> From: linux****@lists***** >>> [mailto:linux****@lists*****] On Behalf Of >>> renay****@ybb***** >>> Sent: Monday, October 24, 2016 7:25 PM >>> To: linux****@lists***** >>> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動か >>> した際の空きメモリ減少について >>> >>> 秋葉さん >>> >>> こんばんは、山内です。 >>> >>> PostgreSQLのストリーミングの簡易構成でCentOS7.2で週末(3日間程度）に流 >>> してみました。 >>> >>> どうやら、明らかに先にDummy構成などで確認した増加量を大幅に超えて、秋 >>> 葉さんのおっしゃるようにsystemd(pid=1)で増加がみられるようです。 >>> >>> ------ >>> [root ＠ c7-01 ~]# crm_mon -1 -Af >>> Last updated: Mon Oct 24 16:27:24 2016 >>> Last change: Thu Oct 20 20:40:40 2016 by root via crm_attribute on c7-01 >>> Stack: corosync >>> Current DC: c7-01 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with >>> quorum >>> 2 nodes and 5 resources configured >>> >>> Online: [ c7-01 c7-02 ] >>> >>> vipCheckMaster (ocf::heartbeat:VIPcheck): Started c7-01 >>> Resource Group: master-group >>> vip-master (ocf::heartbeat:IPaddr2): Started c7-01 >>> vip-rep (ocf::heartbeat:IPaddr2): Started c7-01 >>> Master/Slave Set: msPostgresql [pgsql] >>> Masters: [ c7-01 ] >>> Slaves: [ c7-02 ] >>> >>> Node Attributes: >>> * Node c7-01: >>> + master-pgsql : 1000 >>> + pgsql-data-status : LATEST >>> + pgsql-master-baseline : 0000000008000060 >>> + pgsql-status : PRI >>> * Node c7-02: >>> + master-pgsql : 100 >>> + pgsql-data-status : STREAMING|SYNC >>> + pgsql-status : HS:sync >>> >>> Migration Summary: >>> * Node c7-01: >>> * Node c7-02: >>> ------ >>> >>> 1)Master側 >>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ >>> COMMAND >>> 1 root 20 0 44040 6720 3908 S 0.0 0.3 0:03.98 >>> systemd >>> 1 root 20 0 44040 6720 3908 S 0.3 0.3 0:04.16 >>> systemd >>> 1 root 20 0 44040 6720 3908 S 0.3 0.3 0:04.35 >>> systemd >>> (snip) >>> 1 root 20 0 116216 78852 3908 S 0.3 3.8 18:08.67 >>> systemd >>> 1 root 20 0 116216 78868 3908 S 0.3 3.8 18:08.86 >>> systemd >>> 1 root 20 0 116216 78892 3908 S 0.4 3.8 18:09.08 >>> systemd >>> >>> 2)Slave側 >>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ >>> COMMAND >>> 1 root 20 0 44172 6796 3908 S 5.6 0.3 0:03.33 >>> systemd >>> 1 root 20 0 44172 6796 3908 S 0.2 0.3 0:03.46 >>> systemd >>> 1 root 20 0 44172 6796 3908 S 0.2 0.3 0:03.60 >>> systemd >>> (snip) >>> 1 root 20 0 95368 57944 3468 S 0.3 2.8 12:42.27 >>> systemd >>> 1 root 20 0 95368 57944 3468 S 0.2 2.8 12:42.40 >>> systemd >>> 1 root 20 0 95368 57948 3468 S 0.2 2.8 12:42.54 >>> systemd >>> >>> こちらは、もう少し流してみる予定です。 >>> >>> さらに、私の方で利用しているのは、主にRHELになりますので、RHEL7.2でも >>> 流してみようと思っています。 >>> >>> １点..systemdのgithubのissueで同様の現象が報告されているのを見つけま >>> した。 >>> 回答的には、systemd2.1.9よりも新しいバージョンを利用するようにとのこと >>> で、Closeしていますが・・ >>> * https://github.com/systemd/systemd/issues/2614 >>> >>> RHEL7.2も2.1.9が入っているので事象が起きるかも知れません。 >>> #CentOS7.2と、全く同一のものが入っている模様。 >>> >>> また、御連絡しますが、何らかのsystemdに関連した不具合の可能性が高いと >>> 思っています。 >>> >>> #ちなみに、PostgreSQLのストリーミング構成を行わずに、PacemakerをDummy >>> リソースでACT/STB構成で、 >>> #pcsdを起動した構成では、極端なメモリ増加は見られていませんでした。 >>> >>> 以上です。 >>> >>> >>> >>> >>> ----- Original Message ----- >>> > From: "renay****@ybb*****" >> <renay****@ybb*****> >>> > To: "linux****@lists*****" >> <linux****@lists*****> >>> > Cc: >>> > Date: 2016/10/18, Tue 23:43 >>> > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動 >>> かした際の空きメモリ減少について >>> > >>> > 秋葉さん >>> > >>> > こんばんは、山内です。 >>> > >>> > すいません・・見間違えていました。 >>> > >>> > PostgreSQLのバージョン、了解いたしました。 >>> > >>> > また、結果が出ましたら、ご連絡します。 >>> > >>> > 以上です。 >>> > >>> > >>> > >>> > ----- Original Message ----- >>> >> From: AKIBA Makoto <akiba****@acroq*****> >>> >> To: linux****@lists***** >>> >> Cc: >>> >> Date: 2016/10/18, Tue 19:20 >>> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL >>> > を動かした際の空きメモリ減少について >>> >> >>> >> T o: 山内さん >>> >> >>> >> 秋葉です。 >>> >> いつもお世話になっております。 >>> >> >>> >>> 9日でかなり大きいですね・・・ >>> >> >>> >> いえ、１カ月と９日（３９日）です・・・ >>> >> >>> >> >>> >>> こちらでも、今週末からPGREX(レプリケーション）構成で来週頭まで >>> >>> 流してみるつもりです。 >>> >> >>> >> ありがとうございます。 >>> >> >>> >> >>> >>> ちなみに、postgreSQLのバージョンはいくつをお使いでしょうか？ >>> >>> 同じバージョンで流して試してみるつもりです。 >>> >> >>> >> インストールしているパッケージは以下になります。 >>> >> >>> >> # rpm -qa | grep postgres >>> >> postgresql94-libs-9.4.8-1PGDG.rhel7.x86_64 >>> >> postgresql94-server-9.4.8-1PGDG.rhel7.x86_64 >>> >> postgresql94-9.4.8-1PGDG.rhel7.x86_64 >>> >> postgresql94-contrib-9.4.8-1PGDG.rhel7.x86_64 >>> >> >>> >> よろしくお願い致します。 >>> >> >>> >> >>> >> 以上 >>> >> >>> >>> -----Original Message----- >>> >>> From: linux****@lists***** >>> >>> [mailto:linux****@lists*****] On Behalf Of >>> >>> renay****@ybb***** >>> >>> Sent: Tuesday, October 18, 2016 7:06 PM >>> >>> To: linux****@lists***** >>> >>> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で >> PostgreSQL を >>> 動か >>> >>> した際の空きメモリ減少について >>> >>> >>> >>> 秋葉さん >>> >>> >>> >>> こんばんは、山内です。 >>> >>> >>> >>> > 確認しましたが、pcsdは常時起動してはいませんでした。 >>> >>> > (pacemakerd ではないのですよね？) >>> >>> >>> >>> >>> >>> そうでしたか・・・pcsdは利用していませんでしたか・・・ >>> >>> 利用されていたと思い、今日の昼頃からpcsdも起動して流していました >>> が、意 >>> >>> 味がないようですので、そちらは止めておきます。 >>> >>> >>> >>> >>> >>> > 現在（上記1 months 9 day）の状態で、psを見た時のsystemdの >>> >>> > VSZとRSSは以下のようになっています。 >>> >>> > >> ------------------------------------------------------------ >>> >>> > # ps -eo pid,vsz,rss,comm | grep systemd >>> >>> > 1 2229064 2188992 systemd >>> >>> >>> >>> >>> >>> 9日でかなり大きいですね・・・ >>> >>> >>> >>> こちらでも、今週末からPGREX(レプリケーション）構成で来週頭まで流 >>> してみ >>> >>> るつもりです。 >>> >>> >>> >>> >>> >>> ちなみに、postgreSQLのバージョンはいくつをお使いでしょうか？ >>> >>> 同じバージョンで流して試してみるつもりです。 >>> >>> >>> >>> 以上です。 >>> >>> >>> >>> >>> >>> ----- Original Message ----- >>> >>> > From: AKIBA Makoto <akiba****@acroq*****> >>> >>> > To: linux****@lists***** >>> >>> > Cc: >>> >>> > Date: 2016/10/18, Tue 14:14 >>> >>> > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で >> PostgreSQL >>> を動 >>> >>> かした際の空きメモリ減少について >>> >>> > >>> >>> >T o: 山内さん >>> >>> > >>> >>> > 秋葉です。 >>> >>> > いつもお世話になっております。 >>> >>> > >>> >>> > 回答ありがとうございます。 >>> >>> > >>> >>> >> １点だけ、気になる点がありますが・・ >>> >>> >> 秋葉さんの環境はpcsを利用してクラスタのスクリプトを流し込ん >>> でいる >>> >>> いる >>> >>> >> と思いますが、pcsdはsystemdで常時起動されている状態でしょう >>> か？ >>> >>> >> もし、起動されているのであれば、こちらも、pcsd利用に変えて確 >>> 認して >>> >>> みた >>> >>> >> いと思います。 >>> >>> > >>> >>> > 確認しましたが、pcsdは常時起動してはいませんでした。 >>> >>> > (pacemakerd ではないのですよね？) >>> >>> > >>> >>> > >> ------------------------------------------------------------ >>> >>> > # ps -ef | grep pcsd >>> >>> > root 23447 838 0 14:13 pts/0 00:00:00 grep >> --color=auto >>> > pcsd >>> >>> > >> ------------------------------------------------------------ >>> >>> > # systemctl status pacemaker.service >>> >>> > ● pacemaker.service - Pacemaker High Availability >> Cluster >>> Manager >>> >>> > Loaded: loaded >> (/usr/lib/systemd/system/pacemaker.service; >>> >>> disabled; vendor >>> >>> > preset: disabled) >>> >>> > Active: active (running) since 木 2016-09-08 20:59:18 >> JST; 1 >>> > months >>> >>> 9 days ago >>> >>> > Main PID: 2533 (pacemakerd) >>> >>> > CGroup: /system.slice/pacemaker.service >>> >>> > +- 2533 /usr/sbin/pacemakerd -f >>> >>> > +- 2534 /usr/libexec/pacemaker/cib >>> >>> > +- 2535 /usr/libexec/pacemaker/stonithd >>> >>> > +- 2536 /usr/libexec/pacemaker/lrmd >>> >>> > +- 2537 /usr/libexec/pacemaker/attrd >>> >>> > +- 2538 /usr/libexec/pacemaker/pengine >>> >>> > +- 2539 /usr/libexec/pacemaker/crmd >>> >>> > >>> >>> > >>> >>> > 現在（上記1 months 9 day）の状態で、psを見た時のsystemdの >>> >>> > VSZとRSSは以下のようになっています。 >>> >>> > >> ------------------------------------------------------------ >>> >>> > # ps -eo pid,vsz,rss,comm | grep systemd >>> >>> > 1 2229064 2188992 systemd >>> >>> > >>> >>> > >>> >>> > 蛇足ですが、corosyncは以下のようになっています。 >>> >>> > >> ------------------------------------------------------------ >>> >>> > # systemctl status corosync.service >>> >>> > ● corosync.service - Corosync Cluster Engine >>> >>> > Loaded: loaded >> (/usr/lib/systemd/system/corosync.service; >>> > disabled; >>> >>> vendor >>> >>> > preset: disabled) >>> >>> > Active: active (running) since 木 2016-09-08 20:59:01 >> JST; 1 >>> > months >>> >>> 9 days ago >>> >>> > Process: 2509 ExecStart=/usr/share/corosync/corosync >> start >>> >>> (code=exited, >>> >>> > status=0/SUCCESS) >>> >>> > Main PID: 2516 (corosync) >>> >>> > CGroup: /system.slice/corosync.service >>> >>> > +- 2516 corosync >>> >>> > >>> >>> > >>> >>> > 以上、よろしくお願い致します。 >>> >>> > >>> >>> >> -----Original Message----- >>> >>> >> From: linux****@lists***** >>> >>> >> [mailto:linux****@lists*****] On >> Behalf Of >>> >>> >> renay****@ybb***** >>> >>> >> Sent: Monday, October 17, 2016 11:09 PM >>> >>> >> To: linux****@lists***** >>> >>> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で >>> > PostgreSQL を >>> >>> 動か >>> >>> >> した際の空きメモリ減少について >>> >>> >> >>> >>> >> 秋葉さん >>> >>> >> >>> >>> >> こんばんは、山内です。 >>> >>> >> >>> >>> >> > 返事が遅くなりました。 >>> >>> >> > いろいろ再現調査していただいてありがとうございます。 >>> >>> >> > >>> >>> >> > 再現調査をした環境は pacemaker + corosync のみ（と >>> >>> >> > ダミープロセス？）で動かした状態と考えてよろしい >>> >>> >> > でしょうか？ >>> >>> >> >>> >>> >> はい。 >>> >>> >> 問題を切り分けするのが簡単ですし、pacemaker+corosyncのみ >>> (Dummyの >>> >>> み)で >>> >>> >> す。 >>> >>> >> >>> >>> >> > こちらでも長期動作させて観察しているのですが、 >>> >>> >> > pacemaker + corosync で冗長化させているサーバが >>> >>> >> > もう１種類あり、PostgreSQLではなくJavaAPが動いて >>> >>> >> > います。 >>> >>> >> > こちらのJavaAPが動いている方はACT+STBで常に片方のみ >>> >>> >> > プロセスが起動しています。 >>> >>> >> > (PostgreSQLのサーバは両系でプロセスが起動しています) >>> >>> >> > >>> >>> >> > この２つの冗長化サーバで、 >>> >>> >> > JavaAPの方はsystemdのメモリ増加が起きていないことが >>> >>> >> > わかっています。 >>> >>> >> > >>> >>> >> > もはやpacemaker+corosyncの問題というよりsystemdの >>> >>> >> > 問題という気もしておりますが、念のため、PostgreSQLが >>> >>> >> > (両系ホットスタンバイで)動くかどうかは、メモリ使用量の >>> >>> >> > 増加有無に影響するのでしょうか？ >>> >>> >> >>> >>> >> >>> >>> >> PostgreSQL,OS側に精通しているわけではないので、有識者の方のコ >>> メント >>> >>> があ >>> >>> >> ると良いのですが・・・ >>> >>> >> Pacemakerの構成で指定したリソースエージェントのRAの >>> PostgreSQLは、 >>> >>> 基本 >>> >>> >> 的には、systemdプロセスへの影響はないと思っています。 >>> >>> >> ＃systemdでPostgreSQLを起動して、それをPacemakerでsystemd >>> リソー >>> >>> スで >>> >>> >> 管理しているのであれば影響はある可能性もあるとは思います >>> が・・・ >>> >>> >> >>> >>> >> 秋葉さんの環境では、PostgreSQLのレプリケーション構成だと思い >>> ますの >>> >>> で、 >>> >>> >> 両系でPostgreSQLが動いていますのでメモリ使用料に変化はある >>> と思い >>> >>> ます >>> >>> >> が、 >>> >>> >> それが、systemdのメモリ増加へは影響しないと思っています。 >>> >>> >> >>> >>> >> >>> >>> >> １点だけ、気になる点がありますが・・ >>> >>> >> 秋葉さんの環境はpcsを利用してクラスタのスクリプトを流し込ん >>> でいる >>> >>> いる >>> >>> >> と思いますが、pcsdはsystemdで常時起動されている状態でしょう >>> か？ >>> >>> >> もし、起動されているのであれば、こちらも、pcsd利用に変えて確 >>> 認して >>> >>> みた >>> >>> >> いと思います。 >>> >>> >> >>> >>> >> >>> >>> >> 以上です。 >>> >>> >> >>> >>> >> >>> >>> >> >>> >>> >> >>> >>> >> ----- Original Message ----- >>> >>> >> > From: AKIBA Makoto >> <akiba****@acroq*****> >>> >>> >> > To: linux****@lists***** >>> >>> >> > Cc: >>> >>> >> > Date: 2016/10/17, Mon 19:53 >>> >>> >> > Subject: Re: [Linux-ha-jp] pacemaker + >> corosync 上で >>> >> PostgreSQL を >>> >>> 動 >>> >>> >> かした際の空きメモリ減少について >>> >>> >> > >>> >>> >> >T o: 山内さん >>> >>> >> > >>> >>> >> > 秋葉です。 >>> >>> >> > >>> >>> >> > 返事が遅くなりました。 >>> >>> >> > いろいろ再現調査していただいてありがとうございます。 >>> >>> >> > >>> >>> >> > 再現調査をした環境は pacemaker + corosync のみ（と >>> >>> >> > ダミープロセス？）で動かした状態と考えてよろしい >>> >>> >> > でしょうか？ >>> >>> >> > >>> >>> >> > こちらでも長期動作させて観察しているのですが、 >>> >>> >> > pacemaker + corosync で冗長化させているサーバが >>> >>> >> > もう１種類あり、PostgreSQLではなくJavaAPが動いて >>> >>> >> > います。 >>> >>> >> > こちらのJavaAPが動いている方はACT+STBで常に片方のみ >>> >>> >> > プロセスが起動しています。 >>> >>> >> > (PostgreSQLのサーバは両系でプロセスが起動しています) >>> >>> >> > >>> >>> >> > この２つの冗長化サーバで、 >>> >>> >> > JavaAPの方はsystemdのメモリ増加が起きていないことが >>> >>> >> > わかっています。 >>> >>> >> > >>> >>> >> > もはやpacemaker+corosyncの問題というよりsystemdの >>> >>> >> > 問題という気もしておりますが、念のため、PostgreSQLが >>> >>> >> > (両系ホットスタンバイで)動くかどうかは、メモリ使用量の >>> >>> >> > 増加有無に影響するのでしょうか？ >>> >>> >> > >>> >>> >> > >>> >>> >> > 以上 >>> >>> >> > >>> >>> >> >> -----Original Message----- >>> >>> >> >> From: >> linux****@lists***** >>> >>> >> >> >> [mailto:linux****@lists*****] On >>> > Behalf >>> >> Of >>> >>> >> >> renay****@ybb***** >>> >>> >> >> Sent: Monday, October 17, 2016 7:16 PM >>> >>> >> >> To: linux****@lists***** >>> >>> >> >> Subject: Re: [Linux-ha-jp] pacemaker + >> corosync 上で >>> > >>> >> PostgreSQL >>> >>> を >>> >>> >> 動か >>> >>> >> >> した際の空きメモリ減少について >>> >>> >> >> >>> >>> >> >> 秋葉さん >>> >>> >> >> >>> >>> >> >> こんばんは、山内です。 >>> >>> >> >> >>> >>> >> >> 遅くなりました・・続けて先週末の時点のCentOS7.2に最新の >>> アップ >>> >>> デー >>> >>> >> トを >>> >>> >> >> 適用して、２日半程度流してみみました。 >>> >>> >> >> ゲストの構成や、リソースは前回と同じのままです。 >>> >>> >> >> >>> >>> >> >> ---------- >>> >>> >> >> Linux c7-01 3.10.0-327.36.2.el7.x86_64 >> #1 SMP Mon >>> > Oct >>> >> 10 23:08:37 >>> >>> > UTC >>> >>> >> 2016 >>> >>> >> >> x86_64 x86_64 x86_64 GNU/Linux >>> >>> >> >> systemd-219-19.el7_2.13.x86_64 >>> >>> >> >> glibc-2.17-106.el7_2.8.x86_64 >>> >>> >> >> pacemaker-1.1.13-10.el7.x86_64 >>> >>> >> >> corosync-2.3.4-7.el7.x86_64 >>> >>> >> >> ---------- >>> >>> >> >> >>> >>> >> >> 以下が結果となりました。 >>> >>> >> >> >>> >>> >> >> ●ACTノードのpid=1のsystemdのtopデータ >>> >>> >> >> PID USER PR NI VIRT RES >> SHR >>> >>> S %CPU %MEM TIME+ >>> >>> >> >> COMMAND >>> >>> >> >> 1 root 20 0 44172 6796 >> 3904 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:02.66 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44172 6796 >> 3904 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:02.66 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44172 6796 >> 3904 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:02.67 >>> >>> >> >> systemd >>> >>> >> >> (snip) >>> >>> >> >> 1 root 20 0 44172 6808 >> 3908 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:16.86 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44172 6808 >> 3908 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:16.87 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44172 6808 >> 3908 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:16.87 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44172 6808 >> 3908 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:16.88 >>> >>> >> >> systemd >>> >>> >> >> >>> >>> >> >> ●STBノードのpid=1のsystemdのtopデータ >>> >>> >> >> 1 root 20 0 44040 6640 >> 3900 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:02.73 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44040 6640 >> 3900 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:02.73 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44040 6640 >> 3900 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:02.74 >>> >>> >> >> systemd >>> >>> >> >> (snip) >>> >>> >> >> 1 root 20 0 44172 6808 >> 3908 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:16.67 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44172 6808 >> 3908 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:16.68 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44172 6808 >> 3908 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:16.68 >>> >>> >> >> systemd >>> >>> >> >> 1 root 20 0 44172 6808 >> 3908 S >>> > 0.0 >>> >> 0.3 >>> >>> > 0:16.70 >>> >>> >> >> systemd >>> >>> >> >> >>> >>> >> >> やはり、前回と同様に、systemd(pid=1)に増加は見られますが、 >>> 秋葉 >>> >>> さん >>> >>> >> の最 >>> >>> >> >> 初にご報告頂いたような増加は起きていないようです。 >>> >>> >> >> #ただ・・この結果だけで判断出来ないとは思いますが、前回の >>> 計測よ >>> >>> りは >>> >>> >> 増加 >>> >>> >> >> 量が減ってように見えるので、systemd関連で何らかのメモリ関 >>> 連の修 >>> >>> 正が >>> >>> >> 入っ >>> >>> >> >> ている可能性はあると思います。 >>> >>> >> >> >>> >>> >> >> 以上です。 >>> >>> >> >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> >> >>> >>> >> >> ----- Original Message ----- >>> >>> >> >> > From: >> "renay****@ybb*****" >>> >>> >> > <renay****@ybb*****> >>> >>> >> >> > To: >> "linux****@lists*****" >>> >>> >> > <linux****@lists*****> >>> >>> >> >> > Cc: >>> >>> >> >> > Date: 2016/10/3, Mon 22:37 >>> >>> >> >> > Subject: Re: [Linux-ha-jp] >> pacemaker + >>> > corosync 上で >>> >>> > PostgreSQL を >>> >>> >> 動 >>> >>> >> >> かした際の空きメモリ減少について >>> >>> >> >> > >>> >>> >> >> > 秋葉さん >>> >>> >> >> > >>> >>> >> >> > こんばんは、山内です。 >>> >>> >> >> > >>> >>> >> >> > 週末から、私の環境でも、２日半程度流してみみました。 >>> >>> >> >> > >>> >>> >> >> > >>> > vSphere上のCentOS7.2のゲスト２台で、CentOS7.2(1511)のISOイ >>> >>> メー >>> >>> >> ジそ >>> >>> >> >> のままで構成してみました。 >>> >>> >> >> > >>> >>> >> >> > ---------- >>> >>> >> >> > CentOS Linux release 7.2.1511 >> (Core) >>> >>> >> >> > Linux c7-01 3.10.0-327.el7.x86_64 >> #1 SMP Thu >>> > Nov >>> >> 19 22:10:57 >>> >>> > UTC 2015 >>> >>> >> >> x86_64 >>> >>> >> >> > x86_64 x86_64 GNU/Linux >>> >>> >> >> > systemd-219-19.el7.x86_64 >>> >>> >> >> > glibc-2.17-105.el7.x86_64 >>> >>> >> >> > pacemaker-1.1.13-10.el7.x86_64 >>> >>> >> >> > corosync-2.3.4-7.el7.x86_64 >>> >>> >> >> > ---------- >>> >>> >> >> > >>> >>> >> >> > リソースは簡易のDummyリソースのみですが、以下のように >>> してい >>> >>> ます。 >>> >>> >> >> > ---------- >>> >>> >> >> > ●設定ファイル(crm形式です） >>> >>> >> >> > ### Cluster Option ### >>> >>> >> >> > property >> no-quorum-policy="ignore" >>> > \ >>> >>> >> >> > stonith-enabled="false" >> \ >>> >>> >> >> > startup-fencing="false" >>> >>> >> >> > >>> >>> >> >> > ### Resource Defaults ### >>> >>> >> >> > rsc_defaults >>> >> resource-stickiness="INFINITY" \ >>> >>> >> >> > migration-threshold="1" >>> >>> >> >> > >>> >>> >> >> > ### Group Configuration ### >>> >>> >> >> > group grpDummy \ >>> >>> >> >> > prmDummy1 \ >>> >>> >> >> > prmDummy2 \ >>> >>> >> >> > prmDummy3 \ >>> >>> >> >> > prmDummy4 \ >>> >>> >> >> > prmDummy5 \ >>> >>> >> >> > >>> >>> >> >> > ### Primitive Configuration ### >>> >>> >> >> > primitive prmDummy1 >> ocf:pacemaker:Dummy \ >>> >>> >> >> > op start interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op monitor interval="10s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op stop interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="block" >>> >>> >> >> > >>> >>> >> >> > primitive prmDummy2 >> ocf:pacemaker:Dummy \ >>> >>> >> >> > op start interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op monitor interval="10s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op stop interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="block" >>> >>> >> >> > >>> >>> >> >> > primitive prmDummy3 >> ocf:pacemaker:Dummy \ >>> >>> >> >> > op start interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op monitor interval="10s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op stop interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="block" >>> >>> >> >> > >>> >>> >> >> > primitive prmDummy4 >> ocf:pacemaker:Dummy \ >>> >>> >> >> > op start interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op monitor interval="10s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op stop interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="block" >>> >>> >> >> > >>> >>> >> >> > primitive prmDummy5 >> ocf:pacemaker:Dummy \ >>> >>> >> >> > op start interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op monitor interval="10s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="restart" \ >>> >>> >> >> > op stop interval="0s" >>> >> timeout="60s" >>> >>> >> >> > on-fail="block" >>> >>> >> >> > >>> >>> >> >> > ### Resource Location ### >>> >>> >> >> > location rsc_location-msDrbd-1 >> grpDummy \ >>> >>> >> >> > rule 200: #uname eq c7-01 \ >>> >>> >> >> > rule 100: #uname eq c7-02 >>> >>> >> >> > ---------- >>> >>> >> >> > ●crm_monの様子 >>> >>> >> >> > [root ＠ c7-01 ~]# crm_mon -1 >>> >>> >> >> > Last updated: Mon Oct 3 16:35:29 >> 2016 >>> > >>> >> Last change: >>> >>> > Fri Sep >>> >>> >> > 30 >>> >>> >> >> 00:28:56 >>> >>> >> >> > 2016 by root via cibadmin on c7-01 >>> >>> >> >> > Stack: corosync >>> >>> >> >> > Current DC: c7-01 (version >>> > 1.1.13-10.el7-44eb2dd) >>> >> - >>> >>> > partition with >>> >>> >> > quorum >>> >>> >> >> > 2 nodes and 5 resources configured >>> >>> >> >> > >>> >>> >> >> > Online: [ c7-01 c7-02 ] >>> >>> >> >> > >>> >>> >> >> > Resource Group: grpDummy >>> >>> >> >> > prmDummy1 (ocf::pacemaker:Dummy): >> Started >>> > c7-01 >>> >>> >> >> > prmDummy2 (ocf::pacemaker:Dummy): >> Started >>> > c7-01 >>> >>> >> >> > prmDummy3 (ocf::pacemaker:Dummy): >> Started >>> > c7-01 >>> >>> >> >> > prmDummy4 (ocf::pacemaker:Dummy): >> Started >>> > c7-01 >>> >>> >> >> > prmDummy5 (ocf::pacemaker:Dummy): >> Started >>> > c7-01 >>> >>> >> >> > ---------- >>> >>> >> >> > >>> >>> >> >> > >>> >>> >> >> > 以下が結果となりました。 >>> >>> >> >> > >>> >>> >> >> > ●ACTノードのpid=1のsysttemdのtopデータ >>> >>> >> >> > PID USER PR NI VIRT >> RES SHR S >>> > %CPU >>> >> %MEM >>> >>> > TIME+ >>> >>> >> >> COMMAND >>> >>> >> >> > 1 root 20 0 44644 7280 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.18 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44644 7296 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.20 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44644 7296 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.21 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44644 7296 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.21 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44644 7296 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.21 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44644 7296 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.21 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44644 7296 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.21 >>> >>> >> >> systemd >>> >>> >> >> > (snip) >>> >>> >> >> > 1 root 20 0 45064 7720 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.91 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45064 7720 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.91 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45064 7720 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.91 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45064 7720 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.91 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45064 7720 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.91 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45064 7720 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.93 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45064 7720 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.95 >>> >>> >> >> systemd >>> >>> >> >> > >>> >>> >> >> > ●ACTノードのpid=1のsysttemdのtopデータ >>> >>> >> >> > PID USER PR NI VIRT >> RES SHR S >>> > %CPU >>> >> %MEM >>> >>> > TIME+ >>> >>> >> >> COMMAND >>> >>> >> >> > 1 root 20 0 44652 7288 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.23 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44652 7288 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.25 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44652 7288 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.26 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44652 7288 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.26 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44652 7288 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.26 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 44652 7288 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:03.26 >>> >>> >> >> systemd >>> >>> >> >> > (snip) >>> >>> >> >> > 1 root 20 0 45088 7712 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.00 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45088 7712 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.00 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45088 7712 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.00 >>> >>> >> >> systemd >>> >>> >> >> > 1 root 20 0 45088 7716 >> 2600 S >>> > 0.0 >>> >> 0.4 >>> >>> > 0:21.03 >>> >>> >> >> systemd >>> >>> >> >> > >>> >>> >> >> > systemd(pid=1)に増加は見られますが、秋葉さんの最初にご >>> 報告頂 >>> >>> いた >>> >>> >> よう >>> >>> >> >> な増加は起きていないようです。 >>> >>> >> >> > #この増加がsystemdの正しい動作の範疇なのかどうかは別物 >>> です >>> >>> が。。。。 >>> >>> >> >> > >>> >>> >> >> > こちらも、systemdのバージョンなどをアップしても確認して >>> みたい >>> >>> と思 >>> >>> >> いま >>> >>> >> >> す。 >>> >>> >> >> > >>> >>> >> >> > 以上です。 >>> >>> >> >> > >>> >>> >> >> > >>> >>> >> >> > >>> >>> >> >> > ----- Original Message ----- >>> >>> >> >> >> From: >>> > "renay****@ybb*****" >>> >>> >> >> > <renay****@ybb*****> >>> >>> >> >> >> To: >>> > "linux****@lists*****" >>> >>> >> >> > >> <linux****@lists*****> >>> >>> >> >> >> Cc: >>> >>> >> >> >> Date: 2016/9/30, Fri 04:56 >>> >>> >> >> >> Subject: Re: [Linux-ha-jp] >> pacemaker + >>> >> corosync 上で >>> >>> > PostgreSQL >>> >>> >> >> > を動かした際の空きメモリ減少について >>> >>> >> >> >> >>> >>> >> >> >> 秋葉さん >>> >>> >> >> >> >>> >>> >> >> >> こんばんは、山内です。 >>> >>> >> >> >> >>> >>> >> >> >> >>> >>> >> >> >> こちらでも、準備が出来ましたので、週末に流してみる予 >>> 定です。 >>> >>> >> >> >> >>> >>> >> >> >> また、結果がわかりましたら、ご連絡します。 >>> >>> >> >> >> >>> >>> >> >> >> 以上です。 >>> >>> >> >> >> >>> >>> >> >> >> >>> >>> >> >> >> ----- Original Message ----- >>> >>> >> >> >>> From: >>> >> "renay****@ybb*****" >>> >>> >> >> >> >> <renay****@ybb*****> >>> >>> >> >> >>> To: >>> >> "linux****@lists*****" >>> >>> >> >> >> >> <linux****@lists*****> >>> >>> >> >> >>> Cc: >>> >>> >> >> >>> Date: 2016/9/28, Wed >> 18:56 >>> >>> >> >> >>> Subject: Re: >> [Linux-ha-jp] >>> > pacemaker + >>> >> corosync 上で >>> >>> >> > PostgreSQL >>> >>> >> >> >> を動かした際の空きメモリ減少について >>> >>> >> >> >>> >>> >>> >> >> >>> 秋葉さん >>> >>> >> >> >>> >>> >>> >> >> >>> こんばんは、山内です。 >>> >>> >> >> >>> >>> >>> >> >> >>> 了解いたしました。 >>> >>> >> >> >>> >>> >>> >> >> >>> ご連絡ありがとうございました。 >>> >>> >> >> >>> >>> >>> >> >> >>> 以上です。 >>> >>> >> >> >>> >>> >>> >> >> >>> >>> >>> >> >> >>> >>> >>> >> >> >>> ----- Original Message >> ----- >>> >>> >> >> >>>> From: AKIBA Makoto >>> >>> > <akiba****@acroq*****> >>> >>> >> >> >>>> To: >>> > linux****@lists***** >>> >>> >> >> >>>> Cc: >>> >>> >> >> >>>> Date: 2016/9/28, Wed >> 18:30 >>> >>> >> >> >>>> Subject: Re: >> [Linux-ha-jp] >>> >> pacemaker + >>> >>> > corosync 上で >>> >>> >> > PostgreSQL >>> >>> >> >> >>> を動かした際の空きメモリ減少について >>> >>> >> >> >>>> >>> >>> >> >> >>>> 山内さん >>> >>> >> >> >>>> >>> >>> >> >> >>>> 秋葉です。 >>> >>> >> >> >>>> >>> >>> >> >> >>>> >> 設定ファイルの確認ありがとうございました。 >>> >>> >> >> >>>> >>> >>> >> >> >>>>> >>> > ちなみに、systemdのメモリ増加の確認ですが、どのような >>> >>> コマ >>> >>> >> ンド >>> >>> >> >> で実行され >>> >>> >> >> >>>>> ましたか？ >>> >>> >> >> >>>>> >>> > 念の為、同じ確認を実施したいので、お手数ですが、ご連 >>> >>> 絡く >>> >>> >> ださ >>> >>> >> >> い。 >>> >>> >> >> >>>> >>> >>> >> >> >>>> こちら、取り急ぎ返信致しますと、 >>> >>> >> >> >>>> >>> > systemdプロセスのメモリ使用量についてはtopコマンドを >>> >>> 使っ >>> >>> >> て、 >>> >>> >> >> >>>> >> VIRT(VSZ)とRSSを見ております。 >>> >>> >> >> >>>> >>> >>> >> >> >>>> >> 特にRSSの方が細かく増え続ける状態になっていまし >>> た。 >>> >>> >> >> >>>> >>> >>> >> >> >>>> >> お手数をおかけしますが、よろしくお願い致します。 >>> >>> >> >> >>>> >>> >>> >> >> >>>> 以上 >>> >>> >> >> >>>> >>> >>> >> >> >>>>> -----Original >>> > Message----- >>> >>> >> >> >>>>> From: >>> >>> > linux****@lists***** >>> >>> >> >> >>>>> >>> >>> > [mailto:linux****@lists*****] On >>> >>> >> > Behalf Of >>> >>> >> >> >>>>> >> renay****@ybb***** >>> >>> >> >> >>>>> Sent: >> Wednesday, >>> > September 28, >>> >> 2016 6:08 >>> >>> > PM >>> >>> >> >> >>>>> To: >>> >> linux****@lists***** >>> >>> >> >> >>>>> Subject: Re: >>> > [Linux-ha-jp] >>> >> pacemaker + >>> >>> > corosync 上で >>> >>> >> >> > PostgreSQL を動か >>> >>> >> >> >>>>> した際の空きメモリ減少について >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> 秋葉さん >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> こんばんは、山内です。 >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> >>> > (MLへの送信に失敗しているように思えるので、再送します） >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> >>> > 頂いた設定について拝見しましたが、特にPacemaker的に >>> >>> は問 >>> >>> >> 題な >>> >>> >> >> いと思いま >>> >>> >> >> >>>>> す。 >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> >>> >> CentOS7でのsystemdの様子については、これからVM構成 >>> >>> です >>> >>> >> が、 >>> >>> >> >> 確認してみ >>> >>> >> >> >>>>> るつもりです。 >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> >>> > ちなみに、systemdのメモリ増加の確認ですが、どのような >>> >>> コマ >>> >>> >> ンド >>> >>> >> >> で実行され >>> >>> >> >> >>>>> ましたか？ >>> >>> >> >> >>>>> >>> > 念の為、同じ確認を実施したいので、お手数ですが、ご連 >>> >>> 絡く >>> >>> >> ださ >>> >>> >> >> い。 >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> 以上です。 >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> ----- Original >> Message >>> > ----- >>> >>> >> >> >>>>> > From: >> AKIBA Makoto >>> >>> >> > <akiba****@acroq*****> >>> >>> >> >> >>>>> > To: >>> >> linux****@lists***** >>> >>> >> >> >>>>> > Cc: >>> >>> >> >> >>>>> > Date: >> 2016/9/28, Wed >>> > >>> >> 16:21 >>> >>> >> >> >>>>> > Subject: >> Re: >>> >> [Linux-ha-jp] >>> >>> > pacemaker + >>> >>> >> > corosync 上で >>> >>> >> >> >> PostgreSQL を動 >>> >>> >> >> >>>>> >> かした際の空きメモリ減少について >>> >>> >> >> >>>>> > >>> >>> >> >> >>>>> > 山内さん >>> >>> >> >> >>>>> > >>> >>> >> >> >>>>> > 秋葉です。 >>> >>> >> >> >>>>> > >>> >>> >> >> >>>>> > >>> > systemdについての情報ありがとうございます。 >>> >>> >> >> >>>>> > >> 確認させていただきます。 >>> >>> >> >> >>>>> > >>> >>> >> >> >>>>> > >>> >>> >> >> >>>>> > 以上 >>> >>> >> >> >>>>> > >>> >>> >> >> >>>>> >> >> -----Original >>> >> Message----- >>> >>> >> >> >>>>> >> From: >>> >>> >> > linux****@lists***** >>> >>> >> >> >>>>> >> >>> >>> >> > [mailto:linux****@lists*****] >> On >>> >>> >> >> > Behalf >>> >>> >> >> >> Of >>> >>> >> >> >>>>> >> >>> >> renay****@ybb***** >>> >>> >> >> >>>>> >> Sent: >> Monday, >>> >> September 26, >>> >>> > 2016 6:22 PM >>> >>> >> >> >>>>> >> To: >>> >>> > linux****@lists***** >>> >>> >> >> >>>>> >> >> Subject: Re: >>> >> [Linux-ha-jp] >>> >>> > pacemaker + >>> >>> >> > corosync 上で >>> >>> >> >> > >>> >>> >> >> >>> PostgreSQL を >>> >>> >> >> >>>>> 動か >>> >>> >> >> >>>>> >> >> した際の空きメモリ減少について >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> 秋葉さん >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >> こんばんは、山内です。 >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >> 了解しました。 >>> >>> >> >> >>>>> >> >>> >> こちれでも、時間をみて、頂いた設定をベースに試し >>> >>> てみ >>> >>> >> たい >>> >>> >> >> と思います。 >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >> systemd関連も不具合などもあるようですので、そちら >>> >>> を探 >>> >>> >> して >>> >>> >> >> みるのも良 >>> >>> >> >> >>>>> いか >>> >>> >> >> >>>>> >> >> もしれません。 >>> >>> >> >> >>>>> >> >>> >> ちょっと探してみても、以下などもありました。 >>> >>> >> >> >>>>> >> >>> > 直接関係があるかは別ですが・・・ >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> * >>> >>> >> >> > >>> >> https://bugzilla.redhat.com/show_bug.cgi?id=1361120 >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >> 設定などで質問があれば、またご連絡させてください。 >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> 以上です。 >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> ----- >> Original >>> >> Message ----- >>> >>> >> >> >>>>> >> > >> From: >>> > AKIBA >>> >> Makoto >>> >>> >> >> > <akiba****@acroq*****> >>> >>> >> >> >>>>> >> > >> To: >>> >>> > linux****@lists***** >>> >>> >> >> >>>>> >> > >> Cc: >>> >>> >> >> >>>>> >> > >> Date: >>> >> 2016/9/26, Mon >>> >>> > 16:18 >>> >>> >> >> >>>>> >> > >> Subject: >>> > Re: >>> >>> > [Linux-ha-jp] >>> >>> >> > pacemaker + >>> >>> >> >> > corosync 上で >>> >>> >> >> >> >>> >>> >> >> >>>> PostgreSQL を >>> >>> >> >> >>>>> 動 >>> >>> >> >> >>>>> >> >>> > かした際の空きメモリ減少について >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >> 山内さん >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >> 秋葉です。 >>> >>> >> >> >>>>> >> > >>> >> ご回答・解説ありがとうございます。 >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >>> >>> > 実際に当方の環境でpacemakerのプロセスメモリサイズ >>> >>> >> を >>> >>> >> >> >>>>> >> > >>> >>> > 見てみたところ、～8MB程度になっており、頂いた情報の >>> >>> >> 通り >>> >>> >> >> >>>>> >> > >>> > 大きくはなっていませんでした。 >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >>> >>> > 一方で、systemd(pid=1)については1GB程度まで大きく >>> >>> >> なっ >>> >>> >> >> て >>> >>> >> >> >>>>> >> > >>> >>> > おり、pmapで参照すると[heap]とマッピングされた領域 >>> >>> >> が >>> >>> >> >> >>>>> >> > >>> >> ほとんどを占めているように見えました。 >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >>> >> なので、これ以上の問い合わせは見当違いの可能性 >>> >>> もあ >>> >>> >> りま >>> >>> >> >> すが、 >>> >>> >> >> >>>>> >> > >>> >> 念の為、当方で使用している設定ファイルを添付致 >>> >>> しま >>> >>> >> す。 >>> >>> >> >> >>>>> >> > >>> >> (固有情報はマスキングしてあります) >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >>> >> これで何か情報が得られましたら教えていただけま >>> >>> すで >>> >>> >> しょ >>> >>> >> >> うか。 >>> >>> >> >> >>>>> >> > >>> >>> > また、不足している情報がありましたらご指摘ください。 >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >>> >> お手数をおかけ致しますがよろしくお願い致します。 >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >> 以上 >>> >>> >> >> >>>>> >> > >>> >> ---------------- >>> >>> >> >> >>>>> >> > >> AKIBA >>> > Makoto >>> >>> >> >> >>>>> >> > >>> >> akiba****@acroq***** >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> >>>> >>> >> -----Original >>> >>> > Message----- >>> >>> >> >> >>>>> >> >>>> From: >>> >>> >> >> > >> linux****@lists***** >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> > >> [mailto:linux****@lists*****] >>> >>> >> >> >> On >>> >>> >> >> >>> Behalf >>> >>> >> >> >>>> Of >>> >>> >> >> >>>>> >> >>>> >>> >>> > renay****@ybb***** >>> >>> >> >> >>>>> >> >>>> Sent: >>> > >>> >> Friday, >>> >>> > September 23, >>> >>> >> > 2016 6:04 PM >>> >>> >> >> >>>>> >> >>>> To: >>> >>> >> > linux****@lists***** >>> >>> >> >> >>>>> >> >>>> >>> > Subject: >>> >> Re: >>> >>> > [Linux-ha-jp] >>> >>> >> > pacemaker + >>> >>> >> >> >> corosync 上で >>> >>> >> >> >>> >>> >>> >> >> >>>> PostgreSQL >>> >>> >> >> >>>>> を >>> >>> >> >> >>>>> >> 動か >>> >>> >> >> >>>>> >> >>>> >>> >> した際の空きメモリ減少について >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> 秋葉さん >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> >>> >> こんばんは、山内です。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >> > pacemakerのプロセスがIPC通信の為にマップしているメ >>> >>> >> >> モリは >>> >>> >> >> >>>>> 5Mbyteま >>> >>> >> >> >>>>> >> でで >>> >>> >> >> >>>>> >> >>>> す。 >>> >>> >> >> >>>>> >> >>>> >>> >>> > よって、最大、5Mbyteまでプロセスのメモリサイズは >>> >>> >> 上が >>> >>> >> >> る可能性が >>> >>> >> >> >>>>> あり >>> >>> >> >> >>>>> >> ます >>> >>> >> >> >>>>> >> >>>> が、 >>> >>> >> >> >>>>> >> >>>> >>> >>> > 先のメールの通りで5Mbyteを超えるあたりで再利用 >>> >>> >> する >>> >>> >> >> 為、それ以上 >>> >>> >> >> >>>>> は増 >>> >>> >> >> >>>>> >> えま >>> >>> >> >> >>>>> >> >>>> せん。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >> >> このサイズですが、/etc/sysconfig/pacemakerの >>> >>> PCMK_ipc_bufferで >>> >>> >> >> >>>>> 大き >>> >>> >> >> >>>>> >> くは >>> >>> >> >> >>>>> >> >>>> >>> > 出来ますが、 >>> >>> >> >> >>>>> >> >>>> >>> >> 小さくすることは出来ません。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> >>> >>> > ＃これらのメモリマップの様子は、pmapコマンドで確 >>> >>> >> 認す >>> >>> >> >> ることが可 >>> >>> >> >> >>>>> 能で >>> >>> >> >> >>>>> >> す。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> 以上です。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> ----- >>> > >>> >> Original >>> >>> > Message ----- >>> >>> >> >> >>>>> >> >>>> > >>> > From: >>> >>> >> >> >> >> "renay****@ybb*****" >>> >>> >> >> >>>>> >> > >>> >>> > <renay****@ybb*****> >>> >>> >> >> >>>>> >> >>>> > >>> > To: >>> >>> >> >> >> >> "linux****@lists*****" >>> >>> >> >> >>>>> >> > >>> >>> >> > <linux****@lists*****> >>> >>> >> >> >>>>> >> >>>> > >>> > Cc: >>> >>> >> >> >>>>> >> >>>> > >>> > Date: >>> >>> > 2016/9/22, Thu >>> >>> >> > 10:20 >>> >>> >> >> >>>>> >> >>>> > >>> >> Subject: Re: >>> >>> >> > [Linux-ha-jp] >>> >>> >> >> > pacemaker + >>> >>> >> >> >>> corosync 上で >>> >>> >> >> >>>>> > PostgreSQL >> を >>> >>> >> >> >>>>> >> 動 >>> >>> >> >> >>>>> >> >>>> >>> >> かした際の空きメモリ減少について >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> > 秋葉さん >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> >> こんにちは、山内です。 >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> >>> > systemdプロセスではありませんが、 >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> > pacemakerとcorosyncを組み合わせてクラスタを構成した場 >>> 合、 >>> >>> >> >> >>>>> >> >>>> >>> >>> >> > pacemaker/corosyncプロセスのメモリの使用量が一定期間、 >>> >>> >> >> 増加して >>> >>> >> >> >>>>> いく >>> >>> >> >> >>>>> >> 動作 >>> >>> >> >> >>>>> >> >>>> >>> > となります。 >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> > 詳細な動作は、失念していますが、pacmakerのプロセス >>> >>> >> >> がメモリマ >>> >>> >> >> >>>>> ップ >>> >>> >> >> >>>>> >> して >>> >>> >> >> >>>>> >> >>>> >>> >>> > いる（？？MByteまでだったはず）エリア >>> >>> >> >> >>>>> >> >>>> > >>> >>> > を利用して通信などを行う為、クラスタ構成後、マ >>> >>> >> ップ >>> >>> >> >> した一定量 >>> >>> >> >> >>>>> まで >>> >>> >> >> >>>>> >> 増加 >>> >>> >> >> >>>>> >> >>>> >>> > が続きます。 >>> >>> >> >> >>>>> >> >>>> > >>> >>> > ですが、一定量までで、それ以降は、マップしたエ >>> >>> >> リア >>> >>> >> >> を古い方か >>> >>> >> >> >>>>> ら再 >>> >>> >> >> >>>>> >> 利用 >>> >>> >> >> >>>>> >> >>>> >>> >> する為、増加は止まります。 >>> >>> >> >> >>>>> >> >>>> > >>> >>> > （上記のマップしているサイズについては、確認し >>> >>> >> て、 >>> >>> >> >> 再度、ご連 >>> >>> >> >> >>>>> 絡し >>> >>> >> >> >>>>> >> ます） >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> > (1)(4)あたりは上記で説明が付くかと思いますが。。。(2)(3) >>> の原因 >>> >>> >> >> >>>>> には >>> >>> >> >> >>>>> >> 直接 >>> >>> >> >> >>>>> >> >>>> >>> >> 影響しないかと思います。 >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> > 実際に増加しているのがsystemdプロセスとのことです >>> >>> >> >> が、 >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> > pacemaker+corosyncのクラスタ構成で、リソースなどは >>> systemdを >>> >>> 経 >>> >>> >> >> >>>>> 由し >>> >>> >> >> >>>>> >> て >>> >>> >> >> >>>>> >> >>>> > >>> >> 実行・監視しているでしょうか？ >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >> >>> > ＃pacemakerのprimitiveリソースとしてsystemdリソースを利用 >>> >>> し >>> >>> >> >> >>>>> てい >>> >>> >> >> >>>>> >> るか >>> >>> >> >> >>>>> >> >>>> >>> >> どうか？ということです。 >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> > pacemakerの構成ファイルなど開示して頂ければ、私の方 >>> >>> >> >> でも確認可 >>> >>> >> >> >>>>> 能か >>> >>> >> >> >>>>> >> も知 >>> >>> >> >> >>>>> >> >>>> れません。 >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> > ＃本当にリークしているのがsystemdプロセスである可 >>> >>> >> >> 能性もある >>> >>> >> >> >>>>> とは >>> >>> >> >> >>>>> >> 思い >>> >>> >> >> >>>>> >> >>>> >>> > ますが・・・・ >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> > 以上です。 >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > 現在、pacemaker + >>> >>> >> > corosync >>> >>> >> >> > のクラスタ上で >>> >>> >> >> >>> PostgreSQL を >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > 動作させているデータベースサーバがあるのですが、 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > 稼働中にOSのメモリ使用量が増加し続ける問題が起 >>> >>> >> >> きています。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > 原因を把握したいのですが、何か該当する現象や確認 >>> >>> >> >> ポイント >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > などありますでしょうか？ >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > 環境は以下のようになっております。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> OS: CentOS >>> >>> > Linux >>> >>> >> > release >>> >>> >> >> > 7.2.1511 >>> >>> >> >> >> (Core) >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> kernel >>> >>> > - >>> >>> >> >> > 3.10.0-327.18.2.el7 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> glibc >>> >>> > - >>> >>> >> > 2.17-106.el7_2.6 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> Systemd: >>> >>> >> > 219-19.el7_2.9 / >>> >>> >> >> >>> 219-19.el7_2.12 (※) >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> Pacemaker: >>> >>> >> > 1.1.13-10.el7_2.2 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> Corosync: >>> >>> >> > 2.3.4-7.el7_2.1 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > PostgreSQL: >>> >>> >> > 9.4.8-1PGDG.rhel7 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > (※)systemdのバージョンはどちらでも発生しました >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >> >> 2台のサーバでHotStandby構成にしてPostgreSQLを運用し >>> ていま >>> >>> >> >> >>>>> す。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >> >> (両サーバでPostgreSQLが起動し、hot-standby構成にして >>> いる) >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> > Active側にVIPを割り当てるようにして、アプリケーション >>> から >>> >>> >> >> >>>>> は >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > VIPに接続するようにしています。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > これまでに観察して見えているのは以下の事象になり >>> >>> >> >> ます。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> (1) >>> >>> >> > OS起動しクラスタ状態を正常にした状態で、少し >>> >>> >> >> ずつ >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >> >> OSの空きメモリ量(free+buffer+cache)が減少し続け >>> る。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > →１日あたり30～100MB程度ずつ減少する >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > ※DBサーバ自体は4GBメモリを搭載 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > ※VIPがある／なしに関わらず減少傾向にある。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> (2) >>> >>> >> >> > メモリ使用量が大きいプロセスを確認すると、PID=1の >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> systemd >>> >>> >> >> > プロセスで、数十秒ごとに4～8KB程度増加する。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> (3) >>> >>> >> >> > 契機は不明だが、時折数十～数百MB程度空き容量が増える >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > (回復する)ことがある。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > (長期的に見てトータルでは減少し続ける) >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> (4) >>> >>> > pacemaker + >>> >>> >> >> >>> corosyncを使わず、1台のみで動作させている >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > 開発サーバでは(1)～(2)のようなメモリ使用量の >>> >>> >> >> 増減が >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > 発生していないように見える。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > →この点があり、何か手がかりが無いかと考え、 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > こちらのMLに質問をポストさせていただきま >>> >>> >> >> した。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > 長文にて恐縮ですが、情報等いただけましたら幸いで >>> >>> >> >> す。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > よろしくお願い致します。 >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > ---------------- >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >> AKIBA >>> >>> > Makoto >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > akiba****@acroq***** >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>> >>> >>> > _______________________________________________ >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> > Linux-ha-japan >>> >>> >> > mailing list >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> > Linux****@lists***** >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>> >>> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>>>> >> >>>> >>> >>> >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>> >>> >> _______________________________________________ >>> >>> >> >> >>>>> >> >>>> > >>> >> Linux-ha-japan >>> >>> > mailing >>> >>> >> > list >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> > Linux****@lists***** >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>> >>> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>>>> >> >>>> > >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >> >>> >> _______________________________________________ >>> >>> >> >> >>>>> >> >>>> >>> >> Linux-ha-japan >>> >>> > mailing list >>> >>> >> >> >>>>> >> >>>> >>> >>> > Linux****@lists***** >>> >>> >> >> >>>>> >> >>>> >>> >>> >> >> >>> >>> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> > >>> >>> >> >> > >>> > _______________________________________________ >>> >>> >> >> >>>>> >> > >>> > Linux-ha-japan >>> >> mailing >>> >>> > list >>> >>> >> >> >>>>> >> > >>> >>> > Linux****@lists***** >>> >>> >> >> >>>>> >> > >>> >>> >> >> >> >>> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>>>> >> > >>> >>> >> >> >>>>> >> >>> >>> >> >> >>>>> >> >>> >>> >> > >> _______________________________________________ >>> >>> >> >> >>>>> >> >> Linux-ha-japan >>> >> mailing list >>> >>> >> >> >>>>> >> >>> >> Linux****@lists***** >>> >>> >> >> >>>>> >> >>> >>> >> >> > >>> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>>>> > >>> >>> >> > >> _______________________________________________ >>> >>> >> >> >>>>> > >> Linux-ha-japan >>> > mailing >>> >> list >>> >>> >> >> >>>>> > >>> >> Linux****@lists***** >>> >>> >> >> >>>>> > >>> >>> >> > >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>>>> > >>> >>> >> >> >>>>> >>> >>> >> >> >>>>> >>> >>> > _______________________________________________ >>> >>> >> >> >>>>> Linux-ha-japan >> mailing >>> > list >>> >>> >> >> >>>>> >>> > Linux****@lists***** >>> >>> >> >> >>>>> >>> >>> >> > >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>>> >>> >>> > _______________________________________________ >>> >>> >> >> >>>> Linux-ha-japan >> mailing list >>> >>> >> >> >>>> >> Linux****@lists***** >>> >>> >> >> >>>> >>> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>>> >>> >>> >> >> >>> >>> >>> >> >> >>> >>> >> _______________________________________________ >>> >>> >> >> >>> Linux-ha-japan mailing >> list >>> >>> >> >> >>> >> Linux****@lists***** >>> >>> >> >> >>> >>> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >>> >>> >>> >> >> >> >>> >>> >> >> >> >>> >> _______________________________________________ >>> >>> >> >> >> Linux-ha-japan mailing list >>> >>> >> >> >> Linux****@lists***** >>> >>> >> >> >> >>> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> >> >>> >>> >> >> > >>> >>> >> >> > >>> > _______________________________________________ >>> >>> >> >> > Linux-ha-japan mailing list >>> >>> >> >> > Linux****@lists***** >>> >>> >> >> > >>> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> >> > >>> >>> >> >> >>> >>> >> >> >> _______________________________________________ >>> >>> >> >> Linux-ha-japan mailing list >>> >>> >> >> Linux****@lists***** >>> >>> >> >> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> > >> _______________________________________________ >>> >>> >> > Linux-ha-japan mailing list >>> >>> >> > Linux****@lists***** >>> >>> >> > >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> >> > >>> >>> >> >>> >>> >> _______________________________________________ >>> >>> >> Linux-ha-japan mailing list >>> >>> >> Linux****@lists***** >>> >>> >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> > _______________________________________________ >>> >>> > Linux-ha-japan mailing list >>> >>> > Linux****@lists***** >>> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >>> > >>> >>> >>> >>> _______________________________________________ >>> >>> Linux-ha-japan mailing list >>> >>> Linux****@lists***** >>> >>> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >> _______________________________________________ >>> >> Linux-ha-japan mailing list >>> >> Linux****@lists***** >>> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> >> >>> > >>> > _______________________________________________ >>> > Linux-ha-japan mailing list >>> > Linux****@lists***** >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan >>> > >>> >>> _______________________________________________ >>> Linux-ha-japan mailing list >>> Linux****@lists***** >>> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> _______________________________________________ >> Linux-ha-japan mailing list >> Linux****@lists***** >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan >> > >_______________________________________________ >Linux-ha-japan mailing list >Linux****@lists***** >http://lists.osdn.me/mailman/listinfo/linux-ha-japan > > >
Fork