AKIBA Makoto
akiba****@acroq*****
2016年 11月 4日 (金) 10:40:39 JST
山内さん 秋葉です。 おはようございます。 RHで認識済みの事象だったのですね。 確認していただいて、ありがとうございます。 対応版のrpmが出てくるのを、教えていただいたメモリ解放の コマンドで、耐えながら(?)待つことにします。 これで解決するといいですね！ 以上、よろしくお願い致します。 ================================================================= ■GPTW「働きがいのある会社」ランキング 2年連続第1位を獲得！ http://www.acroquest.co.jp/gptw （従業員25～99人部門） ■当社の会社を元気にする仕組みが本になりました！ http://www.acroquest.co.jp/51systems ■第5回「日本でいちばん大切にしたい会社」大賞 審査委員会特別賞受賞 http://taisetu-taisyo.jimdo.com/第5回-受賞企業/ ----------------------------------------------------------------- 秋葉 誠 (AKIBA Makoto) Acroquest Technology Co., Ltd. phone1: 045-476-3171 / phone2: 050-3816-0897 fax : 045-476-4171 email : akiba****@acroq***** web : http://www.acroquest.co.jp/ ================================================================= > -----Original Message----- > From: linux****@lists***** > [mailto:linux****@lists*****] On Behalf Of > renay****@ybb***** > Sent: Friday, November 4, 2016 7:49 AM > To: linux****@lists***** > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動か > した際の空きメモリ減少について > > 秋葉さん > > おはようございます。山内です。 > > 私の方で、RHのBugzillaに登録した所、同事象は、すでにRHで認識済のsystemd > の不具合であることが確認出来ました。 > > 今週中あたりから、RHEL7.2上で対応版のsystemdで動作を確認中です。 > ＃確認を開始した時点では、RHEL7.2でも正式に対応版rpmは出ていませんでし > た。 > > 以下がBugzillaで回答のあった動作を確認中の対応rpmになります。 > ----- > systemd-219-30.el7.centos.3.x86_64 > systemd-python-219-30.el7.centos.3.x86_64 > systemd-libs-219-30.el7.centos.3.x86_64 > systemd-sysv-219-30.el7.centos.3.x86_64 > ----- > > また、今朝確認しましたが、RHの方は、最新のupdateを適用することで、私の > 方で確認している > systemdに更新されるようになったようです。 > ＃CentOS7.2の方では、まだのsystemdのupdateは出ていないようですが、近 > いうちに出るものと思われます。 > > 以下がRHの最新のupdate適用後に確認出来た更新されたsystemdのrpmになり > ます。 > ----- > > systemd-libs-219-30.el7_3.3.x86_64 > systemd-219-30.el7_3.3.x86_64 > systemd-python-219-30.el7_3.3.x86_64 > systemd-sysv-219-30.el7_3.3.x86_64 > ----- > > 現在は、簡易な再現方法で動作を確認中ですが、 > 来週中には、Pacemaker上でのpgsqlのストリーミング構成での動作まで確認し、 > ご連絡出来ると思います。 > > 以上です。 > > > > ----- Original Message ----- > > From: AKIBA Makoto <akiba****@acroq*****> > > To: linux****@lists***** > > Cc: > > Date: 2016/10/29, Sat 16:36 > > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動 > かした際の空きメモリ減少について > > > >T o: 山内さん > > > > 秋葉です。 > > いつもお世話になっております。 > > > >> 簡易に現象を確認する方法を見つけたので、私の方で、RHのBugzillaに登 > 録し > >> てみるつもりです。 > > > > ありがとうございます！ > > 再現方法まで確認していただいて助かります。 > > > > > >> １点、Pacemaker側の対処ではありませんが、systemctlのコマンド実行で、 > >> systemdを再実行させることでRESを戻すことは出来そうです。 > >> > >> #systemctl daemon-reexec > > > > こちらの環境(仮想マシンゲスト)で試してみました。 > > 本番機はすぐには出来ないので、ひとまず検証機(同様のクラスタ構成です) > で > > 実行したところ、確かにsystemdのメモリ使用量(VSZ、RSS共に)が > > ほぼ初期状態まで戻りました。 > > > > 実行中のシステムにも特に影響は見られないようです。 > > (再起動無しで手が打てるのはありがたいですね) > > > > 当方でも、もう少し経過を観察して、支障がないならば > > (systemdの問題が解決するまでの)当面は定期的に動かすなどの > > 回避策を取りたいと思います。 > > > > ------------------------------------------------------------ > > ■実行前 > > top - 13:21:00 up 4 days, 17:08, 2 users, load average: 0.10, 0.08, > 0.06 > > Tasks: 1 total, 0 running, 1 sleeping, 0 stopped, 0 zombie > > %Cpu(s): 0.5 us, 0.0 sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.0 > si, 0.0 st > > KiB Mem : 3882704 total, 114996 free, 335624 used, 3432084 > buff/cache > > KiB Swap: 2097148 total, 2097148 free, 0 used. 3026000 avail > Mem > > > > PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ > COMMAND > > 1 root 20 0 198408 160824 2388 S 0.0 4.1 16:38.06 > systemd > > > > ■実行後 > > top - 13:21:01 up 4 days, 17:08, 2 users, load average: 0.10, 0.08, > 0.06 > > Tasks: 1 total, 0 running, 1 sleeping, 0 stopped, 0 zombie > > %Cpu(s): 5.0 us, 5.5 sy, 0.0 ni, 80.1 id, 9.0 wa, 0.0 hi, 0.5 > si, 0.0 st > > KiB Mem : 3882704 total, 114996 free, 335624 used, 3432084 > buff/cache > > KiB Swap: 2097148 total, 2097148 free, 0 used. 3026000 avail > Mem > > > > PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ > COMMAND > > 1 root 20 0 41116 3196 2092 S 10.0 0.1 16:38.16 > systemd > > ------------------------------------------------------------ > > > > また何かわかりましたら、お願い致します。 > > > > > > 以上、よろしくお願い致します。 > > > >> -----Original Message----- > >> From: linux****@lists***** > >> [mailto:linux****@lists*****] On Behalf Of > >> renay****@ybb***** > >> Sent: Saturday, October 29, 2016 7:51 AM > >> To: linux****@lists***** > >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を > 動か > >> した際の空きメモリ減少について > >> > >> 秋葉さん > >> > >> > >> おはようございます。山内です。 > >> > >> その後ですが、最終的に、RHL7.2も同様の事象と判断して動作を流すのは > 停止 > >> しました。 > >> (CentOS7.2の方は、来週頭まで流すつもりです。） > >> > >> 簡易に現象を確認する方法を見つけたので、私の方で、RHのBugzillaに登 > 録し > >> てみるつもりです。 > >> > >> １点、Pacemaker側の対処ではありませんが、systemctlのコマンド実行で、 > >> systemdを再実行させることでRESを戻すことは出来そうです。 > >> > >> #systemctl daemon-reexec > >> > >> 上記を実行することで、systemdが再実行されてRESが戻ります。 > >> ですが、再実行後も結局、systemed(pid=1)のRESの増加は始まりますので、 > cron > >> などで定期的に実行する必要がありそうです。 > >> > >> 手元の環境(pgsqlのストリーミング構成）では上記コマンドの実行で、ク > ラス > >> タリソースには影響はありませんでしたが、念のため、仮想ゲストなどで > 影響 > >> がないことを１度確認された方がよいかと思います。 > >> #申し訳ありませんが、systemctl daemon-reexecの有効性について、ちゃ > んと > >> 確認が取れていない為です。 > >> > >> また、動きがありましたら、御連絡いたします。 > >> > >> 以上です。 > >> > >> ----- Original Message ----- > >> >From: "renay****@ybb*****" > > <renay****@ybb*****> > >> >To: "linux****@lists*****" > > <linux****@lists*****> > >> >Date: 2016/10/26, Wed 17:42 > >> >Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を > 動か > >> した際の空きメモリ減少について > >> > > >> >秋葉さん > >> > > >> >今晩は、山内です。 > >> > > >> >>PostgreSQLのストリーミングの簡易構成での再現試験で > >> >>類似事象が発生したとのこと、ご連絡ありがとうございます。 > >> > > >> >RHEL7.2も実行中ですが、傾向を見ると同様のようです。 > >> >こちらは、もう少し流してみます。 > >> > > >> >>> * https://github.com/systemd/systemd/issues/2614 > >> >> > >> >>情報ありがとうございます。 > >> >>こちらでも類似の情報を見たことがありました。 > >> >>(タイトルはよく似ていますが全く同じではないようですね) > >> > >>> > http://serverfault.com/questions/755818/systemd-using-4gb-ram-after- > >> 18-days-of-uptime > >> > > >> >拝見しました。 > >> >おっしゃる通り、似ていますが、全く同じではないようですね。 > >> > > >> >>これらの事象は必ず発生するものではないとすると、何らかの > >> >>条件があるのだと思ってはいますが、それが分からないのが > >> >>苦しいところです。 > >> > > >> >>ちなみに、ダメ元でお伺いしますが、 > >> >>pacemakerでPostgreSQLをストリーミング構成で > >> >>動かすにあたって、pacemakerの定義(たとえばヘルスチェックの > >> >>仕方など)で改善できる要素などはあるのでしょうか？ > >> > > >> >こちらについては、もう少々お待ちください。 > >> >何が原因なりそうか、これから調査する所です。 > >> >それがわかれば、Pacemaker側での回避設定・修正も可能かも知れません。 > >> > > >> >また、コミュニティのメンバーとも昨日少し話をしましたが、もう少し事 > 象を > >> 限定的な簡易な方法（Pacemaker無のコマンドの繰り返し実行など) > >> >で再現できるかどうかを確認してRHの方へBugzillaへ報告してみる予定 > です。 > >> > > >> >>ACT+SBY構成ならば起きないが、HotStandby(ストリーム > >> >>レプリケーション)構成だと発生する、ということなのか、 > >> >>それに付随した原因が考えられるのか、といったところです。 > >> > > >> >もしかすると、ACT+SBYでもDummyではなくpgsqlのRAを使った場合に起 > きる > >> かも知れません。 > >> >#こちらは確認してみる予定です。 > >> > > >> > > >> >>> 回答的には、systemd2.1.9よりも新しいバージョンを > >> >>> 利用するようにとのことで、Closeしていますが・・ > >> >>この点ですが、RHEL／CentOSでyumでインストールできるものは > >> >>2.1.9 (219-19.el7_x.xx) と見え、systemdの GitHubでは > >> >>既に2.3.1(v231)がリリースされています。 > >> > > >> >はい。私も確認しています。 > >> > > >> >>RedHatは、2.1.9をベースにアップデートを重ねているようですが、 > >> >>これと、GitHub(本家)のバージョンやBugFixとの関連はどのように > >> >>取れるものなのでしょうか？ > >> >>(このMLで質問することではないかもしれませんが…) > >> > > >> >RHは、RHで採用するパッケージは決定しているので、本家とは直接関係 > して > >> いないと思います。 > >> >また、RHは本家の採用バージョンに対して必要に応じて、パッチを適用し > て利 > >> 用しています。 > >> >ですので、RHが本家のBugfixを必要と判断すれば採用するというという > スタ > >> ンスではないでしょうか？ > >> >#CentOSも同じパッケージとなると思いますので、RHの判断に追従してい > ると > >> 思います。 > >> > > >> >以上です。 > >> > > >> > > >> > > >> >----- Original Message ----- > >> >> From: AKIBA Makoto <akiba****@acroq*****> > >> >> To: linux****@lists***** > >> >> Cc: > >> >> Date: 2016/10/25, Tue 20:05 > >> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を > 動 > >> かした際の空きメモリ減少について > >> >> > >> >>T o: 山内さん > >> >> > >> >> 秋葉です。 > >> >> いつもお世話になっております。 > >> >> > >> >> PostgreSQLのストリーミングの簡易構成での再現試験で > >> >> 類似事象が発生したとのこと、ご連絡ありがとうございます。 > >> >> > >> >>> * https://github.com/systemd/systemd/issues/2614 > >> >> > >> >> 情報ありがとうございます。 > >> >> こちらでも類似の情報を見たことがありました。 > >> >> (タイトルはよく似ていますが全く同じではないようですね) > >> >> > >> http://serverfault.com/questions/755818/systemd-using-4gb-ram-afte > r-18 > >> -days-of-uptime > >> >> > >> >> > >> >> これらの事象は必ず発生するものではないとすると、何らかの > >> >> 条件があるのだと思ってはいますが、それが分からないのが > >> >> 苦しいところです。 > >> >> > >> >> ちなみに、ダメ元でお伺いしますが、 > >> >> pacemakerでPostgreSQLをストリーミング構成で > >> >> 動かすにあたって、pacemakerの定義(たとえばヘルスチェックの > >> >> 仕方など)で改善できる要素などはあるのでしょうか？ > >> >> > >> >> ACT+SBY構成ならば起きないが、HotStandby(ストリーム > >> >> レプリケーション)構成だと発生する、ということなのか、 > >> >> それに付随した原因が考えられるのか、といったところです。 > >> >> > >> >> > >> >>> 回答的には、systemd2.1.9よりも新しいバージョンを > >> >>> 利用するようにとのことで、Closeしていますが・・ > >> >> > >> >> この点ですが、RHEL／CentOSでyumでインストールできるものは > >> >> 2.1.9 (219-19.el7_x.xx) と見え、systemdの GitHubでは > >> >> 既に2.3.1(v231)がリリースされています。 > >> >> > >> >> RedHatは、2.1.9をベースにアップデートを重ねているようですが、 > >> >> これと、GitHub(本家)のバージョンやBugFixとの関連はどのように > >> >> 取れるものなのでしょうか？ > >> >> (このMLで質問することではないかもしれませんが…) > >> >> > >> >> > >> >> 以上、よろしくお願い致します。 > >> >> > >> >>> -----Original Message----- > >> >>> From: linux****@lists***** > >> >>> [mailto:linux****@lists*****] On Behalf Of > >> >>> renay****@ybb***** > >> >>> Sent: Monday, October 24, 2016 7:25 PM > >> >>> To: linux****@lists***** > >> >>> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL > > を > >> 動か > >> >>> した際の空きメモリ減少について > >> >>> > >> >>> 秋葉さん > >> >>> > >> >>> こんばんは、山内です。 > >> >>> > >> >>> PostgreSQLのストリーミングの簡易構成でCentOS7.2で週末(3日間 > 程度） > >> に流 > >> >>> してみました。 > >> >>> > >> >>> どうやら、明らかに先にDummy構成などで確認した増加量を大幅に超 > えて、 > >> 秋 > >> >>> 葉さんのおっしゃるようにsystemd(pid=1)で増加がみられるようで > す。 > >> >>> > >> >>> ------ > >> >>> [root ＠ c7-01 ~]# crm_mon -1 -Af > >> >>> Last updated: Mon Oct 24 16:27:24 2016 > >> >>> Last change: Thu Oct 20 20:40:40 2016 by root via > > crm_attribute on > >> c7-01 > >> >>> Stack: corosync > >> >>> Current DC: c7-01 (version 1.1.13-10.el7_2.4-44eb2dd) - > > partition > >> with > >> >>> quorum > >> >>> 2 nodes and 5 resources configured > >> >>> > >> >>> Online: [ c7-01 c7-02 ] > >> >>> > >> >>> vipCheckMaster (ocf::heartbeat:VIPcheck): Started c7-01 > >> >>> Resource Group: master-group > >> >>> vip-master (ocf::heartbeat:IPaddr2): Started c7-01 > >> >>> vip-rep (ocf::heartbeat:IPaddr2): Started c7-01 > >> >>> Master/Slave Set: msPostgresql [pgsql] > >> >>> Masters: [ c7-01 ] > >> >>> Slaves: [ c7-02 ] > >> >>> > >> >>> Node Attributes: > >> >>> * Node c7-01: > >> >>> + master-pgsql : 1000 > >> >>> + pgsql-data-status : LATEST > >> >>> + pgsql-master-baseline : 0000000008000060 > >> >>> + pgsql-status : PRI > >> >>> * Node c7-02: > >> >>> + master-pgsql : 100 > >> >>> + pgsql-data-status : STREAMING|SYNC > >> >>> + pgsql-status : HS:sync > >> >>> > >> >>> Migration Summary: > >> >>> * Node c7-01: > >> >>> * Node c7-02: > >> >>> ------ > >> >>> > >> >>> 1)Master側 > >> >>> PID USER PR NI VIRT RES SHR S %CPU %MEM > > TIME+ > >> >>> COMMAND > >> >>> 1 root 20 0 44040 6720 3908 > >> S 0.0 0.3 0:03.98 > >> >>> systemd > >> >>> 1 root 20 0 44040 6720 3908 > >> S 0.3 0.3 0:04.16 > >> >>> systemd > >> >>> 1 root 20 0 44040 6720 3908 > >> S 0.3 0.3 0:04.35 > >> >>> systemd > >> >>> (snip) > >> >>> 1 root 20 0 116216 78852 3908 > >> S 0.3 3.8 18:08.67 > >> >>> systemd > >> >>> 1 root 20 0 116216 78868 3908 > >> S 0.3 3.8 18:08.86 > >> >>> systemd > >> >>> 1 root 20 0 116216 78892 3908 > >> S 0.4 3.8 18:09.08 > >> >>> systemd > >> >>> > >> >>> 2)Slave側 > >> >>> PID USER PR NI VIRT RES SHR S %CPU %MEM > > TIME+ > >> >>> COMMAND > >> >>> 1 root 20 0 44172 6796 3908 > >> S 5.6 0.3 0:03.33 > >> >>> systemd > >> >>> 1 root 20 0 44172 6796 3908 > >> S 0.2 0.3 0:03.46 > >> >>> systemd > >> >>> 1 root 20 0 44172 6796 3908 > >> S 0.2 0.3 0:03.60 > >> >>> systemd > >> >>> (snip) > >> >>> 1 root 20 0 95368 57944 3468 > >> S 0.3 2.8 12:42.27 > >> >>> systemd > >> >>> 1 root 20 0 95368 57944 3468 > >> S 0.2 2.8 12:42.40 > >> >>> systemd > >> >>> 1 root 20 0 95368 57948 3468 > >> S 0.2 2.8 12:42.54 > >> >>> systemd > >> >>> > >> >>> こちらは、もう少し流してみる予定です。 > >> >>> > >> >>> さらに、私の方で利用しているのは、主にRHELになりますので、 > RHEL7.2 > >> でも > >> >>> 流してみようと思っています。 > >> >>> > >> >>> １点..systemdのgithubのissueで同様の現象が報告されているのを > 見つ > >> けま > >> >>> した。 > >> >>> 回答的には、systemd2.1.9よりも新しいバージョンを利用するように > との > >> こと > >> >>> で、Closeしていますが・・ > >> >>> * https://github.com/systemd/systemd/issues/2614 > >> >>> > >> >>> RHEL7.2も2.1.9が入っているので事象が起きるかも知れません。 > >> >>> #CentOS7.2と、全く同一のものが入っている模様。 > >> >>> > >> >>> また、御連絡しますが、何らかのsystemdに関連した不具合の可能性 > が高 > >> いと > >> >>> 思っています。 > >> >>> > >> >>> #ちなみに、PostgreSQLのストリーミング構成を行わずに、Pacemaker > を > >> Dummy > >> >>> リソースでACT/STB構成で、 > >> >>> #pcsdを起動した構成では、極端なメモリ増加は見られていませんで > した。 > >> >>> > >> >>> 以上です。 > >> >>> > >> >>> > >> >>> > >> >>> > >> >>> ----- Original Message ----- > >> >>> > From: "renay****@ybb*****" > >> >> <renay****@ybb*****> > >> >>> > To: "linux****@lists*****" > >> >> <linux****@lists*****> > >> >>> > Cc: > >> >>> > Date: 2016/10/18, Tue 23:43 > >> >>> > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > > PostgreSQL を > >> 動 > >> >>> かした際の空きメモリ減少について > >> >>> > > >> >>> > 秋葉さん > >> >>> > > >> >>> > こんばんは、山内です。 > >> >>> > > >> >>> > すいません・・見間違えていました。 > >> >>> > > >> >>> > PostgreSQLのバージョン、了解いたしました。 > >> >>> > > >> >>> > また、結果が出ましたら、ご連絡します。 > >> >>> > > >> >>> > 以上です。 > >> >>> > > >> >>> > > >> >>> > > >> >>> > ----- Original Message ----- > >> >>> >> From: AKIBA Makoto <akiba****@acroq*****> > >> >>> >> To: linux****@lists***** > >> >>> >> Cc: > >> >>> >> Date: 2016/10/18, Tue 19:20 > >> >>> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > > PostgreSQL > >> >>> > を動かした際の空きメモリ減少について > >> >>> >> > >> >>> >> T o: 山内さん > >> >>> >> > >> >>> >> 秋葉です。 > >> >>> >> いつもお世話になっております。 > >> >>> >> > >> >>> >>> 9日でかなり大きいですね・・・ > >> >>> >> > >> >>> >> いえ、１カ月と９日（３９日）です・・・ > >> >>> >> > >> >>> >> > >> >>> >>> こちらでも、今週末からPGREX(レプリケーション）構成で来週 > 頭ま > >> で > >> >>> >>> 流してみるつもりです。 > >> >>> >> > >> >>> >> ありがとうございます。 > >> >>> >> > >> >>> >> > >> >>> >>> ちなみに、postgreSQLのバージョンはいくつをお使いでしょう > か？ > >> >>> >>> 同じバージョンで流して試してみるつもりです。 > >> >>> >> > >> >>> >> インストールしているパッケージは以下になります。 > >> >>> >> > >> >>> >> # rpm -qa | grep postgres > >> >>> >> postgresql94-libs-9.4.8-1PGDG.rhel7.x86_64 > >> >>> >> postgresql94-server-9.4.8-1PGDG.rhel7.x86_64 > >> >>> >> postgresql94-9.4.8-1PGDG.rhel7.x86_64 > >> >>> >> postgresql94-contrib-9.4.8-1PGDG.rhel7.x86_64 > >> >>> >> > >> >>> >> よろしくお願い致します。 > >> >>> >> > >> >>> >> > >> >>> >> 以上 > >> >>> >> > >> >>> >>> -----Original Message----- > >> >>> >>> From: linux****@lists***** > >> >>> >>> [mailto:linux****@lists*****] > > On Behalf Of > >> >>> >>> renay****@ybb***** > >> >>> >>> Sent: Tuesday, October 18, 2016 7:06 PM > >> >>> >>> To: linux****@lists***** > >> >>> >>> Subject: Re: [Linux-ha-jp] pacemaker + > > corosync 上で > >> >> PostgreSQL を > >> >>> 動か > >> >>> >>> した際の空きメモリ減少について > >> >>> >>> > >> >>> >>> 秋葉さん > >> >>> >>> > >> >>> >>> こんばんは、山内です。 > >> >>> >>> > >> >>> >>> > 確認しましたが、pcsdは常時起動してはいませんでした。 > >> >>> >>> > (pacemakerd ではないのですよね？) > >> >>> >>> > >> >>> >>> > >> >>> >>> そうでしたか・・・pcsdは利用していませんでしたか・・・ > >> >>> >>> 利用されていたと思い、今日の昼頃からpcsdも起動して流し > てい > >> ました > >> >>> が、意 > >> >>> >>> 味がないようですので、そちらは止めておきます。 > >> >>> >>> > >> >>> >>> > >> >>> >>> > 現在（上記1 months 9 day）の状態で、psを見た時のsystemd > >> の > >> >>> >>> > VSZとRSSは以下のようになっています。 > >> >>> >>> > > >> >> ------------------------------------------------------------ > >> >>> >>> > # ps -eo pid,vsz,rss,comm | grep systemd > >> >>> >>> > 1 2229064 2188992 systemd > >> >>> >>> > >> >>> >>> > >> >>> >>> 9日でかなり大きいですね・・・ > >> >>> >>> > >> >>> >>> こちらでも、今週末からPGREX(レプリケーション）構成で来週 > 頭ま > >> で流 > >> >>> してみ > >> >>> >>> るつもりです。 > >> >>> >>> > >> >>> >>> > >> >>> >>> ちなみに、postgreSQLのバージョンはいくつをお使いでしょう > か？ > >> >>> >>> 同じバージョンで流して試してみるつもりです。 > >> >>> >>> > >> >>> >>> 以上です。 > >> >>> >>> > >> >>> >>> > >> >>> >>> ----- Original Message ----- > >> >>> >>> > From: AKIBA Makoto > > <akiba****@acroq*****> > >> >>> >>> > To: linux****@lists***** > >> >>> >>> > Cc: > >> >>> >>> > Date: 2016/10/18, Tue 14:14 > >> >>> >>> > Subject: Re: [Linux-ha-jp] pacemaker + > > corosync 上で > >> >> PostgreSQL > >> >>> を動 > >> >>> >>> かした際の空きメモリ減少について > >> >>> >>> > > >> >>> >>> >T o: 山内さん > >> >>> >>> > > >> >>> >>> > 秋葉です。 > >> >>> >>> > いつもお世話になっております。 > >> >>> >>> > > >> >>> >>> > 回答ありがとうございます。 > >> >>> >>> > > >> >>> >>> >> １点だけ、気になる点がありますが・・ > >> >>> >>> >> 秋葉さんの環境はpcsを利用してクラスタのスクリプト > を流 > >> し込ん > >> >>> でいる > >> >>> >>> いる > >> >>> >>> >> と思いますが、pcsdはsystemdで常時起動されている状態 > でし > >> ょう > >> >>> か？ > >> >>> >>> >> もし、起動されているのであれば、こちらも、pcsd利用に > 変え > >> て確 > >> >>> 認して > >> >>> >>> みた > >> >>> >>> >> いと思います。 > >> >>> >>> > > >> >>> >>> > 確認しましたが、pcsdは常時起動してはいませんでした。 > >> >>> >>> > (pacemakerd ではないのですよね？) > >> >>> >>> > > >> >>> >>> > > >> >> ------------------------------------------------------------ > >> >>> >>> > # ps -ef | grep pcsd > >> >>> >>> > root 23447 838 0 14:13 pts/0 > > 00:00:00 grep > >> >> --color=auto > >> >>> > pcsd > >> >>> >>> > > >> >> ------------------------------------------------------------ > >> >>> >>> > # systemctl status pacemaker.service > >> >>> >>> > ● pacemaker.service - Pacemaker High > > Availability > >> >> Cluster > >> >>> Manager > >> >>> >>> > Loaded: loaded > >> >> (/usr/lib/systemd/system/pacemaker.service; > >> >>> >>> disabled; vendor > >> >>> >>> > preset: disabled) > >> >>> >>> > Active: active (running) since 木 > > 2016-09-08 20:59:18 > >> >> JST; 1 > >> >>> > months > >> >>> >>> 9 days ago > >> >>> >>> > Main PID: 2533 (pacemakerd) > >> >>> >>> > CGroup: > > /system.slice/pacemaker.service > >> >>> >>> > +- 2533 /usr/sbin/pacemakerd > > -f > >> >>> >>> > +- 2534 > > /usr/libexec/pacemaker/cib > >> >>> >>> > +- 2535 > > /usr/libexec/pacemaker/stonithd > >> >>> >>> > +- 2536 > > /usr/libexec/pacemaker/lrmd > >> >>> >>> > +- 2537 > > /usr/libexec/pacemaker/attrd > >> >>> >>> > +- 2538 > > /usr/libexec/pacemaker/pengine > >> >>> >>> > +- 2539 > > /usr/libexec/pacemaker/crmd > >> >>> >>> > > >> >>> >>> > > >> >>> >>> > 現在（上記1 months 9 day）の状態で、psを見た時のsystemd > >> の > >> >>> >>> > VSZとRSSは以下のようになっています。 > >> >>> >>> > > >> >> ------------------------------------------------------------ > >> >>> >>> > # ps -eo pid,vsz,rss,comm | grep systemd > >> >>> >>> > 1 2229064 2188992 systemd > >> >>> >>> > > >> >>> >>> > > >> >>> >>> > 蛇足ですが、corosyncは以下のようになっています。 > >> >>> >>> > > >> >> ------------------------------------------------------------ > >> >>> >>> > # systemctl status corosync.service > >> >>> >>> > ● corosync.service - Corosync Cluster > > Engine > >> >>> >>> > Loaded: loaded > >> >> (/usr/lib/systemd/system/corosync.service; > >> >>> > disabled; > >> >>> >>> vendor > >> >>> >>> > preset: disabled) > >> >>> >>> > Active: active (running) since 木 > > 2016-09-08 20:59:01 > >> >> JST; 1 > >> >>> > months > >> >>> >>> 9 days ago > >> >>> >>> > Process: 2509 > > ExecStart=/usr/share/corosync/corosync > >> >> start > >> >>> >>> (code=exited, > >> >>> >>> > status=0/SUCCESS) > >> >>> >>> > Main PID: 2516 (corosync) > >> >>> >>> > CGroup: /system.slice/corosync.service > >> >>> >>> > +- 2516 corosync > >> >>> >>> > > >> >>> >>> > > >> >>> >>> > 以上、よろしくお願い致します。 > >> >>> >>> > > >> >>> >>> >> -----Original Message----- > >> >>> >>> >> From: > > linux****@lists***** > >> >>> >>> >> > > [mailto:linux****@lists*****] On > >> >> Behalf Of > >> >>> >>> >> renay****@ybb***** > >> >>> >>> >> Sent: Monday, October 17, 2016 11:09 > > PM > >> >>> >>> >> To: linux****@lists***** > >> >>> >>> >> Subject: Re: [Linux-ha-jp] pacemaker > > + corosync 上で > >> >>> > PostgreSQL を > >> >>> >>> 動か > >> >>> >>> >> した際の空きメモリ減少について > >> >>> >>> >> > >> >>> >>> >> 秋葉さん > >> >>> >>> >> > >> >>> >>> >> こんばんは、山内です。 > >> >>> >>> >> > >> >>> >>> >> > 返事が遅くなりました。 > >> >>> >>> >> > いろいろ再現調査していただいてありがとうございま > す。 > >> >>> >>> >> > > >> >>> >>> >> > 再現調査をした環境は pacemaker + corosync > > のみ（と > >> >>> >>> >> > ダミープロセス？）で動かした状態と考えてよろしい > >> >>> >>> >> > でしょうか？ > >> >>> >>> >> > >> >>> >>> >> はい。 > >> >>> >>> >> > > 問題を切り分けするのが簡単ですし、pacemaker+corosyncのみ > >> >>> (Dummyの > >> >>> >>> み)で > >> >>> >>> >> す。 > >> >>> >>> >> > >> >>> >>> >> > こちらでも長期動作させて観察しているのですが、 > >> >>> >>> >> > pacemaker + corosync > > で冗長化させているサーバが > >> >>> >>> >> > > > もう１種類あり、PostgreSQLではなくJavaAPが動いて > >> >>> >>> >> > います。 > >> >>> >>> >> > > > こちらのJavaAPが動いている方はACT+STBで常に片方のみ > >> >>> >>> >> > プロセスが起動しています。 > >> >>> >>> >> > > > (PostgreSQLのサーバは両系でプロセスが起動しています) > >> >>> >>> >> > > >> >>> >>> >> > この２つの冗長化サーバで、 > >> >>> >>> >> > > > JavaAPの方はsystemdのメモリ増加が起きていないことが > >> >>> >>> >> > わかっています。 > >> >>> >>> >> > > >> >>> >>> >> > > > もはやpacemaker+corosyncの問題というよりsystemdの > >> >>> >>> >> > 問題という気もしておりますが、念のため、PostgreSQL > が > >> >>> >>> >> > (両系ホットスタンバイで)動くかどうかは、メモリ使用 > 量の > >> >>> >>> >> > 増加有無に影響するのでしょうか？ > >> >>> >>> >> > >> >>> >>> >> > >> >>> >>> >> PostgreSQL,OS側に精通しているわけではないので、有識 > 者の > >> 方のコ > >> >>> メント > >> >>> >>> があ > >> >>> >>> >> ると良いのですが・・・ > >> >>> >>> >> Pacemakerの構成で指定したリソースエージェントのRA > の > >> >>> PostgreSQLは、 > >> >>> >>> 基本 > >> >>> >>> >> 的には、systemdプロセスへの影響はないと思っています。 > >> >>> >>> >> > > ＃systemdでPostgreSQLを起動して、それをPacemakerで > >> systemd > >> >>> リソー > >> >>> >>> スで > >> >>> >>> >> 管理しているのであれば影響はある可能性もあるとは思 > いま > >> す > >> >>> が・・・ > >> >>> >>> >> > >> >>> >>> >> 秋葉さんの環境では、PostgreSQLのレプリケーション構成 > だと > >> 思い > >> >>> ますの > >> >>> >>> で、 > >> >>> >>> >> 両系でPostgreSQLが動いていますのでメモリ使用料に変 > 化は > >> ある > >> >>> と思い > >> >>> >>> ます > >> >>> >>> >> が、 > >> >>> >>> >> それが、systemdのメモリ増加へは影響しないと思ってい > ます。 > >> >>> >>> >> > >> >>> >>> >> > >> >>> >>> >> １点だけ、気になる点がありますが・・ > >> >>> >>> >> 秋葉さんの環境はpcsを利用してクラスタのスクリプト > を流 > >> し込ん > >> >>> でいる > >> >>> >>> いる > >> >>> >>> >> と思いますが、pcsdはsystemdで常時起動されている状態 > でし > >> ょう > >> >>> か？ > >> >>> >>> >> もし、起動されているのであれば、こちらも、pcsd利用に > 変え > >> て確 > >> >>> 認して > >> >>> >>> みた > >> >>> >>> >> いと思います。 > >> >>> >>> >> > >> >>> >>> >> > >> >>> >>> >> 以上です。 > >> >>> >>> >> > >> >>> >>> >> > >> >>> >>> >> > >> >>> >>> >> > >> >>> >>> >> ----- Original Message ----- > >> >>> >>> >> > From: AKIBA Makoto > >> >> <akiba****@acroq*****> > >> >>> >>> >> > To: > > linux****@lists***** > >> >>> >>> >> > Cc: > >> >>> >>> >> > Date: 2016/10/17, Mon 19:53 > >> >>> >>> >> > Subject: Re: [Linux-ha-jp] > > pacemaker + > >> >> corosync 上で > >> >>> >> PostgreSQL を > >> >>> >>> 動 > >> >>> >>> >> かした際の空きメモリ減少について > >> >>> >>> >> > > >> >>> >>> >> >T o: 山内さん > >> >>> >>> >> > > >> >>> >>> >> > 秋葉です。 > >> >>> >>> >> > > >> >>> >>> >> > 返事が遅くなりました。 > >> >>> >>> >> > いろいろ再現調査していただいてありがとうございま > す。 > >> >>> >>> >> > > >> >>> >>> >> > 再現調査をした環境は pacemaker + corosync > > のみ（と > >> >>> >>> >> > ダミープロセス？）で動かした状態と考えてよろしい > >> >>> >>> >> > でしょうか？ > >> >>> >>> >> > > >> >>> >>> >> > こちらでも長期動作させて観察しているのですが、 > >> >>> >>> >> > pacemaker + corosync > > で冗長化させているサーバが > >> >>> >>> >> > > > もう１種類あり、PostgreSQLではなくJavaAPが動いて > >> >>> >>> >> > います。 > >> >>> >>> >> > > > こちらのJavaAPが動いている方はACT+STBで常に片方のみ > >> >>> >>> >> > プロセスが起動しています。 > >> >>> >>> >> > > > (PostgreSQLのサーバは両系でプロセスが起動しています) > >> >>> >>> >> > > >> >>> >>> >> > この２つの冗長化サーバで、 > >> >>> >>> >> > > > JavaAPの方はsystemdのメモリ増加が起きていないことが > >> >>> >>> >> > わかっています。 > >> >>> >>> >> > > >> >>> >>> >> > > > もはやpacemaker+corosyncの問題というよりsystemdの > >> >>> >>> >> > 問題という気もしておりますが、念のため、PostgreSQL > が > >> >>> >>> >> > (両系ホットスタンバイで)動くかどうかは、メモリ使用 > 量の > >> >>> >>> >> > 増加有無に影響するのでしょうか？ > >> >>> >>> >> > > >> >>> >>> >> > > >> >>> >>> >> > 以上 > >> >>> >>> >> > > >> >>> >>> >> >> -----Original Message----- > >> >>> >>> >> >> From: > >> >> linux****@lists***** > >> >>> >>> >> >> > >> >> [mailto:linux****@lists*****] On > >> >>> > Behalf > >> >>> >> Of > >> >>> >>> >> >> renay****@ybb***** > >> >>> >>> >> >> Sent: Monday, October 17, > > 2016 7:16 PM > >> >>> >>> >> >> To: > > linux****@lists***** > >> >>> >>> >> >> Subject: Re: [Linux-ha-jp] > > pacemaker + > >> >> corosync 上で > >> >>> > > >> >>> >> PostgreSQL > >> >>> >>> を > >> >>> >>> >> 動か > >> >>> >>> >> >> した際の空きメモリ減少について > >> >>> >>> >> >> > >> >>> >>> >> >> 秋葉さん > >> >>> >>> >> >> > >> >>> >>> >> >> こんばんは、山内です。 > >> >>> >>> >> >> > >> >>> >>> >> >> > > 遅くなりました・・続けて先週末の時点のCentOS7.2に最 > >> 新の > >> >>> アップ > >> >>> >>> デー > >> >>> >>> >> トを > >> >>> >>> >> >> 適用して、２日半程度流してみみました。 > >> >>> >>> >> >> ゲストの構成や、リソースは前回と同じのままです。 > >> >>> >>> >> >> > >> >>> >>> >> >> ---------- > >> >>> >>> >> >> Linux c7-01 > > 3.10.0-327.36.2.el7.x86_64 > >> >> #1 SMP Mon > >> >>> > Oct > >> >>> >> 10 23:08:37 > >> >>> >>> > UTC > >> >>> >>> >> 2016 > >> >>> >>> >> >> x86_64 x86_64 x86_64 > > GNU/Linux > >> >>> >>> >> >> > > systemd-219-19.el7_2.13.x86_64 > >> >>> >>> >> >> > > glibc-2.17-106.el7_2.8.x86_64 > >> >>> >>> >> >> > > pacemaker-1.1.13-10.el7.x86_64 > >> >>> >>> >> >> > > corosync-2.3.4-7.el7.x86_64 > >> >>> >>> >> >> ---------- > >> >>> >>> >> >> > >> >>> >>> >> >> 以下が結果となりました。 > >> >>> >>> >> >> > >> >>> >>> >> >> > > ●ACTノードのpid=1のsystemdのtopデータ > >> >>> >>> >> >> PID USER PR NI > > VIRT RES > >> >> SHR > >> >>> >>> S %CPU %MEM TIME+ > >> >>> >>> >> >> COMMAND > >> >>> >>> >> >> 1 root 20 0 > > 44172 6796 > >> >> 3904 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:02.66 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44172 6796 > >> >> 3904 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:02.66 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44172 6796 > >> >> 3904 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:02.67 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> (snip) > >> >>> >>> >> >> 1 root 20 0 > > 44172 6808 > >> >> 3908 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:16.86 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44172 6808 > >> >> 3908 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:16.87 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44172 6808 > >> >> 3908 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:16.87 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44172 6808 > >> >> 3908 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:16.88 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > >> >>> >>> >> >> > > ●STBノードのpid=1のsystemdのtopデータ > >> >>> >>> >> >> 1 root 20 0 > > 44040 6640 > >> >> 3900 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:02.73 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44040 6640 > >> >> 3900 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:02.73 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44040 6640 > >> >> 3900 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:02.74 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> (snip) > >> >>> >>> >> >> 1 root 20 0 > > 44172 6808 > >> >> 3908 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:16.67 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44172 6808 > >> >> 3908 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:16.68 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44172 6808 > >> >> 3908 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:16.68 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> 1 root 20 0 > > 44172 6808 > >> >> 3908 S > >> >>> > 0.0 > >> >>> >> 0.3 > >> >>> >>> > 0:16.70 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > >> >>> >>> >> >> > > やはり、前回と同様に、systemd(pid=1)に増加は見られま > >> すが、 > >> >>> 秋葉 > >> >>> >>> さん > >> >>> >>> >> の最 > >> >>> >>> >> >> 初にご報告頂いたような増加は起きていないようで > す。 > >> >>> >>> >> >> #ただ・・この結果だけで判断出来ないとは思います > が、 > >> 前回の > >> >>> 計測よ > >> >>> >>> りは > >> >>> >>> >> 増加 > >> >>> >>> >> >> > > 量が減ってように見えるので、systemd関連で何らかのメ > >> モリ関 > >> >>> 連の修 > >> >>> >>> 正が > >> >>> >>> >> 入っ > >> >>> >>> >> >> ている可能性はあると思います。 > >> >>> >>> >> >> > >> >>> >>> >> >> 以上です。 > >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> >>> >> >> > >> >>> >>> >> >> ----- Original Message > > ----- > >> >>> >>> >> >> > From: > >> >> "renay****@ybb*****" > >> >>> >>> >> > > > <renay****@ybb*****> > >> >>> >>> >> >> > To: > >> >> "linux****@lists*****" > >> >>> >>> >> > > > <linux****@lists*****> > >> >>> >>> >> >> > Cc: > >> >>> >>> >> >> > Date: 2016/10/3, Mon > > 22:37 > >> >>> >>> >> >> > Subject: Re: > > [Linux-ha-jp] > >> >> pacemaker + > >> >>> > corosync 上で > >> >>> >>> > PostgreSQL を > >> >>> >>> >> 動 > >> >>> >>> >> >> かした際の空きメモリ減少について > >> >>> >>> >> >> > > >> >>> >>> >> >> > 秋葉さん > >> >>> >>> >> >> > > >> >>> >>> >> >> > こんばんは、山内です。 > >> >>> >>> >> >> > > >> >>> >>> >> >> > > > 週末から、私の環境でも、２日半程度流してみみました。 > >> >>> >>> >> >> > > >> >>> >>> >> >> > > >> >>> > vSphere上のCentOS7.2のゲスト２台で、CentOS7.2(1511)のISOイ > >> >>> >>> メー > >> >>> >>> >> ジそ > >> >>> >>> >> >> のままで構成してみました。 > >> >>> >>> >> >> > > >> >>> >>> >> >> > ---------- > >> >>> >>> >> >> > CentOS Linux release > > 7.2.1511 > >> >> (Core) > >> >>> >>> >> >> > Linux c7-01 > > 3.10.0-327.el7.x86_64 > >> >> #1 SMP Thu > >> >>> > Nov > >> >>> >> 19 22:10:57 > >> >>> >>> > UTC 2015 > >> >>> >>> >> >> x86_64 > >> >>> >>> >> >> > x86_64 x86_64 > > GNU/Linux > >> >>> >>> >> >> > > > systemd-219-19.el7.x86_64 > >> >>> >>> >> >> > > > glibc-2.17-105.el7.x86_64 > >> >>> >>> >> >> > > > pacemaker-1.1.13-10.el7.x86_64 > >> >>> >>> >> >> > > > corosync-2.3.4-7.el7.x86_64 > >> >>> >>> >> >> > ---------- > >> >>> >>> >> >> > > >> >>> >>> >> >> > > > リソースは簡易のDummyリソースのみですが、以下のよ > >> うに > >> >>> してい > >> >>> >>> ます。 > >> >>> >>> >> >> > ---------- > >> >>> >>> >> >> > ●設定ファイル(crm形式です） > >> >>> >>> >> >> > ### Cluster Option > > ### > >> >>> >>> >> >> > property > >> >> no-quorum-policy="ignore" > >> >>> > \ > >> >>> >>> >> >> > > > stonith-enabled="false" > >> >> \ > >> >>> >>> >> >> > > > startup-fencing="false" > >> >>> >>> >> >> > > >> >>> >>> >> >> > ### Resource Defaults > > ### > >> >>> >>> >> >> > rsc_defaults > >> >>> >> resource-stickiness="INFINITY" \ > >> >>> >>> >> >> > > > migration-threshold="1" > >> >>> >>> >> >> > > >> >>> >>> >> >> > ### Group > > Configuration ### > >> >>> >>> >> >> > group grpDummy \ > >> >>> >>> >> >> > prmDummy1 \ > >> >>> >>> >> >> > prmDummy2 \ > >> >>> >>> >> >> > prmDummy3 \ > >> >>> >>> >> >> > prmDummy4 \ > >> >>> >>> >> >> > prmDummy5 \ > >> >>> >>> >> >> > > >> >>> >>> >> >> > ### Primitive > > Configuration ### > >> >>> >>> >> >> > primitive prmDummy1 > >> >> ocf:pacemaker:Dummy \ > >> >>> >>> >> >> > op start > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op monitor > > interval="10s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op stop > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="block" > >> >>> >>> >> >> > > >> >>> >>> >> >> > primitive prmDummy2 > >> >> ocf:pacemaker:Dummy \ > >> >>> >>> >> >> > op start > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op monitor > > interval="10s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op stop > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="block" > >> >>> >>> >> >> > > >> >>> >>> >> >> > primitive prmDummy3 > >> >> ocf:pacemaker:Dummy \ > >> >>> >>> >> >> > op start > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op monitor > > interval="10s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op stop > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="block" > >> >>> >>> >> >> > > >> >>> >>> >> >> > primitive prmDummy4 > >> >> ocf:pacemaker:Dummy \ > >> >>> >>> >> >> > op start > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op monitor > > interval="10s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op stop > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="block" > >> >>> >>> >> >> > > >> >>> >>> >> >> > primitive prmDummy5 > >> >> ocf:pacemaker:Dummy \ > >> >>> >>> >> >> > op start > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op monitor > > interval="10s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="restart" \ > >> >>> >>> >> >> > op stop > > interval="0s" > >> >>> >> timeout="60s" > >> >>> >>> >> >> > > > on-fail="block" > >> >>> >>> >> >> > > >> >>> >>> >> >> > ### Resource Location > > ### > >> >>> >>> >> >> > location > > rsc_location-msDrbd-1 > >> >> grpDummy \ > >> >>> >>> >> >> > rule 200: #uname eq > > c7-01 \ > >> >>> >>> >> >> > rule 100: #uname eq > > c7-02 > >> >>> >>> >> >> > ---------- > >> >>> >>> >> >> > ●crm_monの様子 > >> >>> >>> >> >> > [root ＠ c7-01 ~]# > > crm_mon -1 > >> >>> >>> >> >> > Last updated: Mon > > Oct 3 16:35:29 > >> >> 2016 > >> >>> > > >> >>> >> Last change: > >> >>> >>> > Fri Sep > >> >>> >>> >> > 30 > >> >>> >>> >> >> 00:28:56 > >> >>> >>> >> >> > 2016 by root via > > cibadmin on c7-01 > >> >>> >>> >> >> > Stack: corosync > >> >>> >>> >> >> > Current DC: c7-01 > > (version > >> >>> > 1.1.13-10.el7-44eb2dd) > >> >>> >> - > >> >>> >>> > partition with > >> >>> >>> >> > quorum > >> >>> >>> >> >> > 2 nodes and 5 > > resources configured > >> >>> >>> >> >> > > >> >>> >>> >> >> > Online: [ c7-01 c7-02 > > ] > >> >>> >>> >> >> > > >> >>> >>> >> >> > Resource Group: > > grpDummy > >> >>> >>> >> >> > prmDummy1 > > (ocf::pacemaker:Dummy): > >> >> Started > >> >>> > c7-01 > >> >>> >>> >> >> > prmDummy2 > > (ocf::pacemaker:Dummy): > >> >> Started > >> >>> > c7-01 > >> >>> >>> >> >> > prmDummy3 > > (ocf::pacemaker:Dummy): > >> >> Started > >> >>> > c7-01 > >> >>> >>> >> >> > prmDummy4 > > (ocf::pacemaker:Dummy): > >> >> Started > >> >>> > c7-01 > >> >>> >>> >> >> > prmDummy5 > > (ocf::pacemaker:Dummy): > >> >> Started > >> >>> > c7-01 > >> >>> >>> >> >> > ---------- > >> >>> >>> >> >> > > >> >>> >>> >> >> > > >> >>> >>> >> >> > 以下が結果となりました。 > >> >>> >>> >> >> > > >> >>> >>> >> >> > > > ●ACTノードのpid=1のsysttemdのtopデータ > >> >>> >>> >> >> > PID USER PR NI > > VIRT > >> >> RES SHR S > >> >>> > %CPU > >> >>> >> %MEM > >> >>> >>> > TIME+ > >> >>> >>> >> >> COMMAND > >> >>> >>> >> >> > 1 root 20 0 > > 44644 7280 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.18 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44644 7296 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.20 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44644 7296 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.21 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44644 7296 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.21 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44644 7296 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.21 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44644 7296 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.21 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44644 7296 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.21 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > (snip) > >> >>> >>> >> >> > 1 root 20 0 > > 45064 7720 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.91 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45064 7720 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.91 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45064 7720 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.91 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45064 7720 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.91 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45064 7720 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.91 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45064 7720 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.93 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45064 7720 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.95 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > > >> >>> >>> >> >> > > > ●ACTノードのpid=1のsysttemdのtopデータ > >> >>> >>> >> >> > PID USER PR NI > > VIRT > >> >> RES SHR S > >> >>> > %CPU > >> >>> >> %MEM > >> >>> >>> > TIME+ > >> >>> >>> >> >> COMMAND > >> >>> >>> >> >> > 1 root 20 0 > > 44652 7288 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.23 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44652 7288 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.25 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44652 7288 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.26 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44652 7288 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.26 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44652 7288 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.26 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 44652 7288 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:03.26 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > (snip) > >> >>> >>> >> >> > 1 root 20 0 > > 45088 7712 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.00 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45088 7712 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.00 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45088 7712 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.00 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > 1 root 20 0 > > 45088 7716 > >> >> 2600 S > >> >>> > 0.0 > >> >>> >> 0.4 > >> >>> >>> > 0:21.03 > >> >>> >>> >> >> systemd > >> >>> >>> >> >> > > >> >>> >>> >> >> > > > systemd(pid=1)に増加は見られますが、秋葉さんの最初 > >> にご > >> >>> 報告頂 > >> >>> >>> いた > >> >>> >>> >> よう > >> >>> >>> >> >> な増加は起きていないようです。 > >> >>> >>> >> >> > > > #この増加がsystemdの正しい動作の範疇なのかどうか > >> は別物 > >> >>> です > >> >>> >>> が。。。。 > >> >>> >>> >> >> > > >> >>> >>> >> >> > > > こちらも、systemdのバージョンなどをアップしても確 > >> 認して > >> >>> みたい > >> >>> >>> と思 > >> >>> >>> >> いま > >> >>> >>> >> >> す。 > >> >>> >>> >> >> > > >> >>> >>> >> >> > 以上です。 > >> >>> >>> >> >> > > >> >>> >>> >> >> > > >> >>> >>> >> >> > > >> >>> >>> >> >> > ----- Original > > Message ----- > >> >>> >>> >> >> >> From: > >> >>> > "renay****@ybb*****" > >> >>> >>> >> >> > > > <renay****@ybb*****> > >> >>> >>> >> >> >> To: > >> >>> > "linux****@lists*****" > >> >>> >>> >> >> > > >> >> <linux****@lists*****> > >> >>> >>> >> >> >> Cc: > >> >>> >>> >> >> >> Date: 2016/9/30, > > Fri 04:56 > >> >>> >>> >> >> >> Subject: Re: > > [Linux-ha-jp] > >> >> pacemaker + > >> >>> >> corosync 上で > >> >>> >>> > PostgreSQL > >> >>> >>> >> >> > を動かした際の空きメモリ減少について > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> 秋葉さん > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> こんばんは、山内です。 > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> > > こちらでも、準備が出来ましたので、週末に流してみ > >> る予 > >> >>> 定です。 > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> > > また、結果がわかりましたら、ご連絡します。 > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> 以上です。 > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> ----- Original > > Message ----- > >> >>> >>> >> >> >>> From: > >> >>> >> "renay****@ybb*****" > >> >>> >>> >> >> >> > >> >> <renay****@ybb*****> > >> >>> >>> >> >> >>> To: > >> >>> >> "linux****@lists*****" > >> >>> >>> >> >> >> > >> >> <linux****@lists*****> > >> >>> >>> >> >> >>> Cc: > >> >>> >>> >> >> >>> Date: > > 2016/9/28, Wed > >> >> 18:56 > >> >>> >>> >> >> >>> Subject: > > Re: > >> >> [Linux-ha-jp] > >> >>> > pacemaker + > >> >>> >> corosync 上で > >> >>> >>> >> > PostgreSQL > >> >>> >>> >> >> >> > > を動かした際の空きメモリ減少について > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> 秋葉さん > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> こんばんは、山内です。 > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> 了解いたしました。 > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> > > ご連絡ありがとうございました。 > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> 以上です。 > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> ----- > > Original Message > >> >> ----- > >> >>> >>> >> >> >>>> From: > > AKIBA Makoto > >> >>> >>> > <akiba****@acroq*****> > >> >>> >>> >> >> >>>> To: > >> >>> > linux****@lists***** > >> >>> >>> >> >> >>>> Cc: > >> >>> >>> >> >> >>>> Date: > > 2016/9/28, Wed > >> >> 18:30 > >> >>> >>> >> >> >>>> > > Subject: Re: > >> >> [Linux-ha-jp] > >> >>> >> pacemaker + > >> >>> >>> > corosync 上で > >> >>> >>> >> > PostgreSQL > >> >>> >>> >> >> >>> > > を動かした際の空きメモリ減少について > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>> 山内さん > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>> 秋葉です。 > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>> > >> >> 設定ファイルの確認ありがとうございました。 > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>>> > >> >>> > ちなみに、systemdのメモリ増加の確認ですが、どのような > >> >>> >>> コマ > >> >>> >>> >> ンド > >> >>> >>> >> >> で実行され > >> >>> >>> >> >> >>>>> > > ましたか？ > >> >>> >>> >> >> >>>>> > >> >>> > 念の為、同じ確認を実施したいので、お手数ですが、ご連 > >> >>> >>> 絡く > >> >>> >>> >> ださ > >> >>> >>> >> >> い。 > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>> > > こちら、取り急ぎ返信致しますと、 > >> >>> >>> >> >> >>>> > >> >>> > systemdプロセスのメモリ使用量についてはtopコマンドを > >> >>> >>> 使っ > >> >>> >>> >> て、 > >> >>> >>> >> >> >>>> > >> >> VIRT(VSZ)とRSSを見ております。 > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>> > >> >> 特にRSSの方が細かく増え続ける状態になっていまし > >> >>> た。 > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>> > >> >> お手数をおかけしますが、よろしくお願い致します。 > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>> 以上 > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>>>> > > -----Original > >> >>> > Message----- > >> >>> >>> >> >> >>>>> > > From: > >> >>> >>> > linux****@lists***** > >> >>> >>> >> >> >>>>> > >> >>> >>> > > > [mailto:linux****@lists*****] On > >> >>> >>> >> > Behalf Of > >> >>> >>> >> >> >>>>> > >> >> renay****@ybb***** > >> >>> >>> >> >> >>>>> > > Sent: > >> >> Wednesday, > >> >>> > September 28, > >> >>> >> 2016 6:08 > >> >>> >>> > PM > >> >>> >>> >> >> >>>>> > > To: > >> >>> >> linux****@lists***** > >> >>> >>> >> >> >>>>> > > Subject: Re: > >> >>> > [Linux-ha-jp] > >> >>> >> pacemaker + > >> >>> >>> > corosync 上で > >> >>> >>> >> >> > PostgreSQL を動か > >> >>> >>> >> >> >>>>> > > した際の空きメモリ減少について > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > > 秋葉さん > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > > こんばんは、山内です。 > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > >> >>> > (MLへの送信に失敗しているように思えるので、再送します） > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > >> >>> > 頂いた設定について拝見しましたが、特にPacemaker的に > >> >>> >>> は問 > >> >>> >>> >> 題な > >> >>> >>> >> >> いと思いま > >> >>> >>> >> >> >>>>> > > す。 > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > >> >>> >> CentOS7でのsystemdの様子については、これからVM構成 > >> >>> >>> です > >> >>> >>> >> が、 > >> >>> >>> >> >> 確認してみ > >> >>> >>> >> >> >>>>> > > るつもりです。 > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > >> >>> > ちなみに、systemdのメモリ増加の確認ですが、どのような > >> >>> >>> コマ > >> >>> >>> >> ンド > >> >>> >>> >> >> で実行され > >> >>> >>> >> >> >>>>> > > ましたか？ > >> >>> >>> >> >> >>>>> > >> >>> > 念の為、同じ確認を実施したいので、お手数ですが、ご連 > >> >>> >>> 絡く > >> >>> >>> >> ださ > >> >>> >>> >> >> い。 > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > > 以上です。 > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > > ----- Original > >> >> Message > >> >>> > ----- > >> >>> >>> >> >> >>>>> > >> From: > >> >> AKIBA Makoto > >> >>> >>> >> > <akiba****@acroq*****> > >> >>> >>> >> >> >>>>> > >> To: > >> >>> >> linux****@lists***** > >> >>> >>> >> >> >>>>> > >> Cc: > >> >>> >>> >> >> >>>>> > >> Date: > >> >> 2016/9/28, Wed > >> >>> > > >> >>> >> 16:21 > >> >>> >>> >> >> >>>>> > >> Subject: > >> >> Re: > >> >>> >> [Linux-ha-jp] > >> >>> >>> > pacemaker + > >> >>> >>> >> > corosync 上で > >> >>> >>> >> >> >> PostgreSQL を動 > >> >>> >>> >> >> >>>>> > >> >> かした際の空きメモリ減少について > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> >> >>>>> > >> 山内さん > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> >> >>>>> > >> 秋葉です。 > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> >> >>>>> > >> > >> >>> > systemdについての情報ありがとうございます。 > >> >>> >>> >> >> >>>>> > >> > >> >> 確認させていただきます。 > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> >> >>>>> > >> 以上 > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> >> >>>>> > >>> > >> >> -----Original > >> >>> >> Message----- > >> >>> >>> >> >> >>>>> > >>> From: > >> >>> >>> >> > > > linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> > > > [mailto:linux****@lists*****] > >> >> On > >> >>> >>> >> >> > Behalf > >> >>> >>> >> >> >> Of > >> >>> >>> >> >> >>>>> > >>> > >> >>> >> renay****@ybb***** > >> >>> >>> >> >> >>>>> > >>> Sent: > >> >> Monday, > >> >>> >> September 26, > >> >>> >>> > 2016 6:22 PM > >> >>> >>> >> >> >>>>> > >>> To: > >> >>> >>> > linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > >> >> Subject: Re: > >> >>> >> [Linux-ha-jp] > >> >>> >>> > pacemaker + > >> >>> >>> >> > corosync 上で > >> >>> >>> >> >> > > >> >>> >>> >> >> >>> PostgreSQL > > を > >> >>> >>> >> >> >>>>> > > 動か > >> >>> >>> >> >> >>>>> > >>> > >> >> した際の空きメモリ減少について > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> 秋葉さん > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> > >> >> こんばんは、山内です。 > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> > >> >> 了解しました。 > >> >>> >>> >> >> >>>>> > >>> > >> >>> >> こちれでも、時間をみて、頂いた設定をベースに試し > >> >>> >>> てみ > >> >>> >>> >> たい > >> >>> >>> >> >> と思います。 > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>> >> systemd関連も不具合などもあるようですので、そちら > >> >>> >>> を探 > >> >>> >>> >> して > >> >>> >>> >> >> みるのも良 > >> >>> >>> >> >> >>>>> > > いか > >> >>> >>> >> >> >>>>> > >>> > >> >> もしれません。 > >> >>> >>> >> >> >>>>> > >>> > >> >>> >> ちょっと探してみても、以下などもありました。 > >> >>> >>> >> >> >>>>> > >>> > >> >>> > 直接関係があるかは別ですが・・・ > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> * > >> >>> >>> >> >> > > >> >>> >> https://bugzilla.redhat.com/show_bug.cgi?id=1361120 > > > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>> >> 設定などで質問があれば、またご連絡させてください。 > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> 以上です。 > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> ----- > >> >> Original > >> >>> >> Message ----- > >> >>> >>> >> >> >>>>> > >>> > > >> >> From: > >> >>> > AKIBA > >> >>> >> Makoto > >> >>> >>> >> >> > > > <akiba****@acroq*****> > >> >>> >>> >> >> >>>>> > >>> > > >> >> To: > >> >>> >>> > linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > > >> >> Cc: > >> >>> >>> >> >> >>>>> > >>> > > >> >> Date: > >> >>> >> 2016/9/26, Mon > >> >>> >>> > 16:18 > >> >>> >>> >> >> >>>>> > >>> > > >> >> Subject: > >> >>> > Re: > >> >>> >>> > [Linux-ha-jp] > >> >>> >>> >> > pacemaker + > >> >>> >>> >> >> > corosync 上で > >> >>> >>> >> >> >> > >> >>> >>> >> >> >>>> > > PostgreSQL を > >> >>> >>> >> >> >>>>> 動 > >> >>> >>> >> >> >>>>> > >>> > >> >>> > かした際の空きメモリ減少について > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >> 山内さん > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >> 秋葉です。 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> ご回答・解説ありがとうございます。 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> > 実際に当方の環境でpacemakerのプロセスメモリサイズ > >> >>> >>> >> を > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> > 見てみたところ、～8MB程度になっており、頂いた情報の > >> >>> >>> >> 通り > >> >>> >>> >> >> >>>>> > >>> > > >> >>> > 大きくはなっていませんでした。 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> > 一方で、systemd(pid=1)については1GB程度まで大きく > >> >>> >>> >> なっ > >> >>> >>> >> >> て > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> > おり、pmapで参照すると[heap]とマッピングされた領域 > >> >>> >>> >> が > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> ほとんどを占めているように見えました。 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> なので、これ以上の問い合わせは見当違いの可能性 > >> >>> >>> もあ > >> >>> >>> >> りま > >> >>> >>> >> >> すが、 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> 念の為、当方で使用している設定ファイルを添付致 > >> >>> >>> しま > >> >>> >>> >> す。 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> (固有情報はマスキングしてあります) > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> これで何か情報が得られましたら教えていただけま > >> >>> >>> すで > >> >>> >>> >> しょ > >> >>> >>> >> >> うか。 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> > また、不足している情報がありましたらご指摘ください。 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> お手数をおかけ致しますがよろしくお願い致します。 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >> 以上 > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> ---------------- > >> >>> >>> >> >> >>>>> > >>> > > >> >> AKIBA > >> >>> > Makoto > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >> akiba****@acroq***** > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> -----Original > >> >>> >>> > Message----- > >> >>> >>> >> >> >>>>> > >>> > >> >>>> From: > >> >>> >>> >> >> > > >> >> linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> > > >> >> [mailto:linux****@lists*****] > >> >>> >>> >> >> >> On > >> >>> >>> >> >> >>> Behalf > >> >>> >>> >> >> >>>> Of > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > renay****@ybb***** > >> >>> >>> >> >> >>>>> > >>> > >> >>>> Sent: > >> >>> > > >> >>> >> Friday, > >> >>> >>> > September 23, > >> >>> >>> >> > 2016 6:04 PM > >> >>> >>> >> >> >>>>> > >>> > >> >>>> To: > >> >>> >>> >> > linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> > Subject: > >> >>> >> Re: > >> >>> >>> > [Linux-ha-jp] > >> >>> >>> >> > pacemaker + > >> >>> >>> >> >> >> corosync 上で > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>>> > > PostgreSQL > >> >>> >>> >> >> >>>>> を > >> >>> >>> >> >> >>>>> > >>> 動か > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> した際の空きメモリ減少について > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> 秋葉さん > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> こんばんは、山内です。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> > pacemakerのプロセスがIPC通信の為にマップしている > メ > >> >>> >>> >> >> モリは > >> >>> >>> >> >> >>>>> > > 5Mbyteま > >> >>> >>> >> >> >>>>> > >>> でで > >> >>> >>> >> >> >>>>> > >>> > >> >>>> す。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > よって、最大、5Mbyteまでプロセスのメモリサイズは > >> >>> >>> >> 上が > >> >>> >>> >> >> る可能性が > >> >>> >>> >> >> >>>>> > > あり > >> >>> >>> >> >> >>>>> > >>> ます > >> >>> >>> >> >> >>>>> > >>> > >> >>>> が、 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > 先のメールの通りで5Mbyteを超えるあたりで再利用 > >> >>> >>> >> する > >> >>> >>> >> >> 為、それ以上 > >> >>> >>> >> >> >>>>> > > は増 > >> >>> >>> >> >> >>>>> > >>> えま > >> >>> >>> >> >> >>>>> > >>> > >> >>>> せん。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >> > >> >> このサイズですが、/etc/sysconfig/pacemakerの > >> >>> >>> PCMK_ipc_bufferで > >> >>> >>> >> >> >>>>> > > 大き > >> >>> >>> >> >> >>>>> > >>> くは > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> > 出来ますが、 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> 小さくすることは出来ません。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > ＃これらのメモリマップの様子は、pmapコマンドで確 > >> >>> >>> >> 認す > >> >>> >>> >> >> ることが可 > >> >>> >>> >> >> >>>>> > > 能で > >> >>> >>> >> >> >>>>> > >>> す。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> 以上です。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> ----- > >> >>> > > >> >>> >> Original > >> >>> >>> > Message ----- > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> > From: > >> >>> >>> >> >> >> > >> >> "renay****@ybb*****" > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> > <renay****@ybb*****> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> > To: > >> >>> >>> >> >> >> > >> >> "linux****@lists*****" > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> > > > <linux****@lists*****> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> > Cc: > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> > Date: > >> >>> >>> > 2016/9/22, Thu > >> >>> >>> >> > 10:20 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >> Subject: Re: > >> >>> >>> >> > [Linux-ha-jp] > >> >>> >>> >> >> > pacemaker + > >> >>> >>> >> >> >>> corosync 上で > >> >>> >>> >> >> >>>>> > >> PostgreSQL > >> >> を > >> >>> >>> >> >> >>>>> > >>> 動 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> かした際の空きメモリ減少について > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> > 秋葉さん > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >> こんにちは、山内です。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> > systemdプロセスではありませんが、 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> > > > pacemakerとcorosyncを組み合わせてクラスタを構成し > >> た場 > >> >>> 合、 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> > > > pacemaker/corosyncプロセスのメモリの使用量が一定期間、 > >> >>> >>> >> >> 増加して > >> >>> >>> >> >> >>>>> > > いく > >> >>> >>> >> >> >>>>> > >>> 動作 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> > となります。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> > 詳細な動作は、失念していますが、pacmakerのプロセス > >> >>> >>> >> >> がメモリマ > >> >>> >>> >> >> >>>>> > > ップ > >> >>> >>> >> >> >>>>> > >>> して > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > いる（？？MByteまでだったはず）エリア > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> > を利用して通信などを行う為、クラスタ構成後、マ > >> >>> >>> >> ップ > >> >>> >>> >> >> した一定量 > >> >>> >>> >> >> >>>>> > > まで > >> >>> >>> >> >> >>>>> > >>> 増加 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> > が続きます。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> > ですが、一定量までで、それ以降は、マップしたエ > >> >>> >>> >> リア > >> >>> >>> >> >> を古い方か > >> >>> >>> >> >> >>>>> > > ら再 > >> >>> >>> >> >> >>>>> > >>> 利用 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> する為、増加は止まります。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> > （上記のマップしているサイズについては、確認し > >> >>> >>> >> て、 > >> >>> >>> >> >> 再度、ご連 > >> >>> >>> >> >> >>>>> > > 絡し > >> >>> >>> >> >> >>>>> > >>> ます） > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> > > > (1)(4)あたりは上記で説明が付くかと思いますが。。。 > >> (2)(3) > >> >>> の原因 > >> >>> >>> >> >> >>>>> > > には > >> >>> >>> >> >> >>>>> > >>> 直接 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> 影響しないかと思います。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> > 実際に増加しているのがsystemdプロセスとのことで > す > >> >>> >>> >> >> が、 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> > > > pacemaker+corosyncのクラスタ構成で、リソースなどは > >> >>> systemdを > >> >>> >>> 経 > >> >>> >>> >> >> >>>>> > > 由し > >> >>> >>> >> >> >>>>> > >>> て > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >> 実行・監視しているでしょうか？ > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >> > >> >>> > ＃pacemakerのprimitiveリソースとしてsystemdリソースを利用 > >> >>> >>> し > >> >>> >>> >> >> >>>>> > > てい > >> >>> >>> >> >> >>>>> > >>> るか > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> どうか？ということです。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> > pacemakerの構成ファイルなど開示して頂ければ、私の > 方 > >> >>> >>> >> >> でも確認可 > >> >>> >>> >> >> >>>>> > > 能か > >> >>> >>> >> >> >>>>> > >>> も知 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> れません。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> > ＃本当にリークしているのがsystemdプロセスである > 可 > >> >>> >>> >> >> 能性もある > >> >>> >>> >> >> >>>>> > > とは > >> >>> >>> >> >> >>>>> > >>> 思い > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> > ますが・・・・ > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> > 以上です。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > 現在、pacemaker + > >> >>> >>> >> > corosync > >> >>> >>> >> >> > のクラスタ上で > >> >>> >>> >> >> >>> PostgreSQL > > を > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > 動作させているデータベースサーバがあるのですが、 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > 稼働中にOSのメモリ使用量が増加し続ける問題が起 > >> >>> >>> >> >> きています。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > 原因を把握したいのですが、何か該当する現象や確認 > >> >>> >>> >> >> ポイント > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > などありますでしょうか？ > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > 環境は以下のようになっております。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> OS: CentOS > >> >>> >>> > Linux > >> >>> >>> >> > release > >> >>> >>> >> >> > 7.2.1511 > >> >>> >>> >> >> >> (Core) > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> kernel > >> >>> >>> > - > >> >>> >>> >> >> > 3.10.0-327.18.2.el7 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> glibc > >> >>> >>> > - > >> >>> >>> >> > 2.17-106.el7_2.6 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> Systemd: > >> >>> >>> >> > 219-19.el7_2.9 / > >> >>> >>> >> >> >>> > > 219-19.el7_2.12 (※) > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> Pacemaker: > >> >>> >>> >> > 1.1.13-10.el7_2.2 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> Corosync: > >> >>> >>> >> > 2.3.4-7.el7_2.1 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > PostgreSQL: > >> >>> >>> >> > 9.4.8-1PGDG.rhel7 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > (※)systemdのバージョンはどちらでも発生しました > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >> > >> >> 2台のサーバでHotStandby構成にしてPostgreSQLを運用し > >> >>> ていま > >> >>> >>> >> >> >>>>> > > す。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >> > >> >> (両サーバでPostgreSQLが起動し、hot-standby構成にして > >> >>> いる) > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> > > > Active側にVIPを割り当てるようにして、アプリケーシ > >> ョン > >> >>> から > >> >>> >>> >> >> >>>>> は > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > VIPに接続するようにしています。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > これまでに観察して見えているのは以下の事象になり > >> >>> >>> >> >> ます。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> (1) > >> >>> >>> >> > OS起動しクラスタ状態を正常にした状態で、少し > >> >>> >>> >> >> ずつ > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >> > >> >> OSの空きメモリ量(free+buffer+cache)が減少し続け > >> >>> る。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > →１日あたり30～100MB程度ずつ減少する > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > ※DBサーバ自体は4GBメモリを搭載 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > ※VIPがある／なしに関わらず減少傾向にある。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> (2) > >> >>> >>> >> >> > > > メモリ使用量が大きいプロセスを確認すると、PID=1の > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> systemd > >> >>> >>> >> >> > > > プロセスで、数十秒ごとに4～8KB程度増加する。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> (3) > >> >>> >>> >> >> > > > 契機は不明だが、時折数十～数百MB程度空き容量が増 > >> える > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > (回復する)ことがある。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > (長期的に見てトータルでは減少し続ける) > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> (4) > >> >>> >>> > pacemaker + > >> >>> >>> >> >> >>> > > corosyncを使わず、1台のみで動作させている > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > 開発サーバでは(1)～(2)のようなメモリ使用量の > >> >>> >>> >> >> 増減が > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > 発生していないように見える。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > →この点があり、何か手がかりが無いかと考え、 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > こちらのMLに質問をポストさせていただきま > >> >>> >>> >> >> した。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > 長文にて恐縮ですが、情報等いただけましたら幸いで > >> >>> >>> >> >> す。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > よろしくお願い致します。 > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > ---------------- > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >> AKIBA > >> >>> >>> > Makoto > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > akiba****@acroq***** > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>> > >> >>> >>> > > > _______________________________________________ > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> > Linux-ha-japan > >> >>> >>> >> > mailing list > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> > Linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>> > >> >>> >>> > > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>> > >> >>> >> _______________________________________________ > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >> Linux-ha-japan > >> >>> >>> > mailing > >> >>> >>> >> > list > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> > Linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>> > >> >>> >>> > > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >> > >> >>> >> _______________________________________________ > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >> Linux-ha-japan > >> >>> >>> > mailing list > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> > Linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > >> >>>> > >> >>> >>> >> >> >>> > >> >>> >>> > > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> > > >> >>> > _______________________________________________ > >> >>> >>> >> >> >>>>> > >>> > > >> >>> > Linux-ha-japan > >> >>> >> mailing > >> >>> >>> > list > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> > Linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >> > >> >>> >> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>>>> > >>> > > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> > > >> >> _______________________________________________ > >> >>> >>> >> >> >>>>> > >>> > >> >> Linux-ha-japan > >> >>> >> mailing list > >> >>> >>> >> >> >>>>> > >>> > >> >>> >> Linux****@lists***** > >> >>> >>> >> >> >>>>> > >>> > >> >>> >>> >> >> > > >> >>> >> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> > > >> >> _______________________________________________ > >> >>> >>> >> >> >>>>> > >> > >> >> Linux-ha-japan > >> >>> > mailing > >> >>> >> list > >> >>> >>> >> >> >>>>> > >> > >> >>> >> Linux****@lists***** > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> > > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>>>> > >> > >> >>> >>> >> >> >>>>> > >> >>> >>> >> >> >>>>> > >> >>> >>> > > > _______________________________________________ > >> >>> >>> >> >> >>>>> > > Linux-ha-japan > >> >> mailing > >> >>> > list > >> >>> >>> >> >> >>>>> > >> >>> > Linux****@lists***** > >> >>> >>> >> >> >>>>> > >> >>> >>> >> > > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>>> > >> >>> >>> > > > _______________________________________________ > >> >>> >>> >> >> >>>> > > Linux-ha-japan > >> >> mailing list > >> >>> >>> >> >> >>>> > >> >> Linux****@lists***** > >> >>> >>> >> >> >>>> > >> >>> >>> > > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>>> > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >>> > >> >>> >> _______________________________________________ > >> >>> >>> >> >> >>> > > Linux-ha-japan mailing > >> >> list > >> >>> >>> >> >> >>> > >> >> Linux****@lists***** > >> >>> >>> >> >> >>> > >> >>> >>> > > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >>> > >> >>> >>> >> >> >> > >> >>> >>> >> >> >> > >> >>> >> _______________________________________________ > >> >>> >>> >> >> >> Linux-ha-japan > > mailing list > >> >>> >>> >> >> >> > > Linux****@lists***** > >> >>> >>> >> >> >> > >> >>> >> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> >> > >> >>> >>> >> >> > > >> >>> >>> >> >> > > >> >>> > _______________________________________________ > >> >>> >>> >> >> > Linux-ha-japan > > mailing list > >> >>> >>> >> >> > > > Linux****@lists***** > >> >>> >>> >> >> > > >> >>> >> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> >> > > >> >>> >>> >> >> > >> >>> >>> >> >> > >> >> _______________________________________________ > >> >>> >>> >> >> Linux-ha-japan mailing > > list > >> >>> >>> >> >> > > Linux****@lists***** > >> >>> >>> >> >> > >> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> > > >> >> _______________________________________________ > >> >>> >>> >> > Linux-ha-japan mailing list > >> >>> >>> >> > Linux****@lists***** > >> >>> >>> >> > > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> >> > > >> >>> >>> >> > >> >>> >>> >> > > _______________________________________________ > >> >>> >>> >> Linux-ha-japan mailing list > >> >>> >>> >> Linux****@lists***** > >> >>> >>> >> > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> > > > _______________________________________________ > >> >>> >>> > Linux-ha-japan mailing list > >> >>> >>> > Linux****@lists***** > >> >>> >>> > > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >>> > > >> >>> >>> > >> >>> >>> > > _______________________________________________ > >> >>> >>> Linux-ha-japan mailing list > >> >>> >>> Linux****@lists***** > >> >>> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >> _______________________________________________ > >> >>> >> Linux-ha-japan mailing list > >> >>> >> Linux****@lists***** > >> >>> >> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> >> > >> >>> > > >> >>> > _______________________________________________ > >> >>> > Linux-ha-japan mailing list > >> >>> > Linux****@lists***** > >> >>> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >>> > > >> >>> > >> >>> _______________________________________________ > >> >>> Linux-ha-japan mailing list > >> >>> Linux****@lists***** > >> >>> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> _______________________________________________ > >> >> Linux-ha-japan mailing list > >> >> Linux****@lists***** > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> > >> > > >> >_______________________________________________ > >> >Linux-ha-japan mailing list > >> >Linux****@lists***** > >> >http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> > > >> > > >> > > >> > >> _______________________________________________ > >> Linux-ha-japan mailing list > >> Linux****@lists***** > >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > > _______________________________________________ > > Linux-ha-japan mailing list > > Linux****@lists***** > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > > > > > _______________________________________________ > Linux-ha-japan mailing list > Linux****@lists***** > http://lists.osdn.me/mailman/listinfo/linux-ha-japan
Fork