AKIBA Makoto
akiba****@acroq*****
2016年 10月 18日 (火) 19:20:04 JST
To: 山内さん 秋葉です。 いつもお世話になっております。 > 9日でかなり大きいですね・・・ いえ、１カ月と９日（３９日）です・・・ > こちらでも、今週末からPGREX(レプリケーション）構成で来週頭まで > 流してみるつもりです。 ありがとうございます。 > ちなみに、postgreSQLのバージョンはいくつをお使いでしょうか？ > 同じバージョンで流して試してみるつもりです。 インストールしているパッケージは以下になります。 # rpm -qa | grep postgres postgresql94-libs-9.4.8-1PGDG.rhel7.x86_64 postgresql94-server-9.4.8-1PGDG.rhel7.x86_64 postgresql94-9.4.8-1PGDG.rhel7.x86_64 postgresql94-contrib-9.4.8-1PGDG.rhel7.x86_64 よろしくお願い致します。 以上 > -----Original Message----- > From: linux****@lists***** > [mailto:linux****@lists*****] On Behalf Of > renay****@ybb***** > Sent: Tuesday, October 18, 2016 7:06 PM > To: linux****@lists***** > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動か > した際の空きメモリ減少について > > 秋葉さん > > こんばんは、山内です。 > > > 確認しましたが、pcsdは常時起動してはいませんでした。 > > (pacemakerd ではないのですよね？) > > > そうでしたか・・・pcsdは利用していませんでしたか・・・ > 利用されていたと思い、今日の昼頃からpcsdも起動して流していましたが、意 > 味がないようですので、そちらは止めておきます。 > > > > 現在（上記1 months 9 day）の状態で、psを見た時のsystemdの > > VSZとRSSは以下のようになっています。 > > ------------------------------------------------------------ > > # ps -eo pid,vsz,rss,comm | grep systemd > > 1 2229064 2188992 systemd > > > 9日でかなり大きいですね・・・ > > こちらでも、今週末からPGREX(レプリケーション）構成で来週頭まで流してみ > るつもりです。 > > > ちなみに、postgreSQLのバージョンはいくつをお使いでしょうか？ > 同じバージョンで流して試してみるつもりです。 > > 以上です。 > > > ----- Original Message ----- > > From: AKIBA Makoto <akiba****@acroq*****> > > To: linux****@lists***** > > Cc: > > Date: 2016/10/18, Tue 14:14 > > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を動 > かした際の空きメモリ減少について > > > >T o: 山内さん > > > > 秋葉です。 > > いつもお世話になっております。 > > > > 回答ありがとうございます。 > > > >> １点だけ、気になる点がありますが・・ > >> 秋葉さんの環境はpcsを利用してクラスタのスクリプトを流し込んでいる > いる > >> と思いますが、pcsdはsystemdで常時起動されている状態でしょうか？ > >> もし、起動されているのであれば、こちらも、pcsd利用に変えて確認して > みた > >> いと思います。 > > > > 確認しましたが、pcsdは常時起動してはいませんでした。 > > (pacemakerd ではないのですよね？) > > > > ------------------------------------------------------------ > > # ps -ef | grep pcsd > > root 23447 838 0 14:13 pts/0 00:00:00 grep --color=auto pcsd > > ------------------------------------------------------------ > > # systemctl status pacemaker.service > > ● pacemaker.service - Pacemaker High Availability Cluster Manager > > Loaded: loaded (/usr/lib/systemd/system/pacemaker.service; > disabled; vendor > > preset: disabled) > > Active: active (running) since 木 2016-09-08 20:59:18 JST; 1 months > 9 days ago > > Main PID: 2533 (pacemakerd) > > CGroup: /system.slice/pacemaker.service > > +- 2533 /usr/sbin/pacemakerd -f > > +- 2534 /usr/libexec/pacemaker/cib > > +- 2535 /usr/libexec/pacemaker/stonithd > > +- 2536 /usr/libexec/pacemaker/lrmd > > +- 2537 /usr/libexec/pacemaker/attrd > > +- 2538 /usr/libexec/pacemaker/pengine > > +- 2539 /usr/libexec/pacemaker/crmd > > > > > > 現在（上記1 months 9 day）の状態で、psを見た時のsystemdの > > VSZとRSSは以下のようになっています。 > > ------------------------------------------------------------ > > # ps -eo pid,vsz,rss,comm | grep systemd > > 1 2229064 2188992 systemd > > > > > > 蛇足ですが、corosyncは以下のようになっています。 > > ------------------------------------------------------------ > > # systemctl status corosync.service > > ● corosync.service - Corosync Cluster Engine > > Loaded: loaded (/usr/lib/systemd/system/corosync.service; disabled; > vendor > > preset: disabled) > > Active: active (running) since 木 2016-09-08 20:59:01 JST; 1 months > 9 days ago > > Process: 2509 ExecStart=/usr/share/corosync/corosync start > (code=exited, > > status=0/SUCCESS) > > Main PID: 2516 (corosync) > > CGroup: /system.slice/corosync.service > > +- 2516 corosync > > > > > > 以上、よろしくお願い致します。 > > > >> -----Original Message----- > >> From: linux****@lists***** > >> [mailto:linux****@lists*****] On Behalf Of > >> renay****@ybb***** > >> Sent: Monday, October 17, 2016 11:09 PM > >> To: linux****@lists***** > >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を > 動か > >> した際の空きメモリ減少について > >> > >> 秋葉さん > >> > >> こんばんは、山内です。 > >> > >> > 返事が遅くなりました。 > >> > いろいろ再現調査していただいてありがとうございます。 > >> > > >> > 再現調査をした環境は pacemaker + corosync のみ（と > >> > ダミープロセス？）で動かした状態と考えてよろしい > >> > でしょうか？ > >> > >> はい。 > >> 問題を切り分けするのが簡単ですし、pacemaker+corosyncのみ(Dummyの > み)で > >> す。 > >> > >> > こちらでも長期動作させて観察しているのですが、 > >> > pacemaker + corosync で冗長化させているサーバが > >> > もう１種類あり、PostgreSQLではなくJavaAPが動いて > >> > います。 > >> > こちらのJavaAPが動いている方はACT+STBで常に片方のみ > >> > プロセスが起動しています。 > >> > (PostgreSQLのサーバは両系でプロセスが起動しています) > >> > > >> > この２つの冗長化サーバで、 > >> > JavaAPの方はsystemdのメモリ増加が起きていないことが > >> > わかっています。 > >> > > >> > もはやpacemaker+corosyncの問題というよりsystemdの > >> > 問題という気もしておりますが、念のため、PostgreSQLが > >> > (両系ホットスタンバイで)動くかどうかは、メモリ使用量の > >> > 増加有無に影響するのでしょうか？ > >> > >> > >> PostgreSQL,OS側に精通しているわけではないので、有識者の方のコメント > があ > >> ると良いのですが・・・ > >> Pacemakerの構成で指定したリソースエージェントのRAのPostgreSQLは、 > 基本 > >> 的には、systemdプロセスへの影響はないと思っています。 > >> ＃systemdでPostgreSQLを起動して、それをPacemakerでsystemdリソー > スで > >> 管理しているのであれば影響はある可能性もあるとは思いますが・・・ > >> > >> 秋葉さんの環境では、PostgreSQLのレプリケーション構成だと思いますの > で、 > >> 両系でPostgreSQLが動いていますのでメモリ使用料に変化はあると思い > ます > >> が、 > >> それが、systemdのメモリ増加へは影響しないと思っています。 > >> > >> > >> １点だけ、気になる点がありますが・・ > >> 秋葉さんの環境はpcsを利用してクラスタのスクリプトを流し込んでいる > いる > >> と思いますが、pcsdはsystemdで常時起動されている状態でしょうか？ > >> もし、起動されているのであれば、こちらも、pcsd利用に変えて確認して > みた > >> いと思います。 > >> > >> > >> 以上です。 > >> > >> > >> > >> > >> ----- Original Message ----- > >> > From: AKIBA Makoto <akiba****@acroq*****> > >> > To: linux****@lists***** > >> > Cc: > >> > Date: 2016/10/17, Mon 19:53 > >> > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL を > 動 > >> かした際の空きメモリ減少について > >> > > >> >T o: 山内さん > >> > > >> > 秋葉です。 > >> > > >> > 返事が遅くなりました。 > >> > いろいろ再現調査していただいてありがとうございます。 > >> > > >> > 再現調査をした環境は pacemaker + corosync のみ（と > >> > ダミープロセス？）で動かした状態と考えてよろしい > >> > でしょうか？ > >> > > >> > こちらでも長期動作させて観察しているのですが、 > >> > pacemaker + corosync で冗長化させているサーバが > >> > もう１種類あり、PostgreSQLではなくJavaAPが動いて > >> > います。 > >> > こちらのJavaAPが動いている方はACT+STBで常に片方のみ > >> > プロセスが起動しています。 > >> > (PostgreSQLのサーバは両系でプロセスが起動しています) > >> > > >> > この２つの冗長化サーバで、 > >> > JavaAPの方はsystemdのメモリ増加が起きていないことが > >> > わかっています。 > >> > > >> > もはやpacemaker+corosyncの問題というよりsystemdの > >> > 問題という気もしておりますが、念のため、PostgreSQLが > >> > (両系ホットスタンバイで)動くかどうかは、メモリ使用量の > >> > 増加有無に影響するのでしょうか？ > >> > > >> > > >> > 以上 > >> > > >> >> -----Original Message----- > >> >> From: linux****@lists***** > >> >> [mailto:linux****@lists*****] On Behalf Of > >> >> renay****@ybb***** > >> >> Sent: Monday, October 17, 2016 7:16 PM > >> >> To: linux****@lists***** > >> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で PostgreSQL > を > >> 動か > >> >> した際の空きメモリ減少について > >> >> > >> >> 秋葉さん > >> >> > >> >> こんばんは、山内です。 > >> >> > >> >> 遅くなりました・・続けて先週末の時点のCentOS7.2に最新のアップ > デー > >> トを > >> >> 適用して、２日半程度流してみみました。 > >> >> ゲストの構成や、リソースは前回と同じのままです。 > >> >> > >> >> ---------- > >> >> Linux c7-01 3.10.0-327.36.2.el7.x86_64 #1 SMP Mon Oct 10 23:08:37 > > UTC > >> 2016 > >> >> x86_64 x86_64 x86_64 GNU/Linux > >> >> systemd-219-19.el7_2.13.x86_64 > >> >> glibc-2.17-106.el7_2.8.x86_64 > >> >> pacemaker-1.1.13-10.el7.x86_64 > >> >> corosync-2.3.4-7.el7.x86_64 > >> >> ---------- > >> >> > >> >> 以下が結果となりました。 > >> >> > >> >> ●ACTノードのpid=1のsystemdのtopデータ > >> >> PID USER PR NI VIRT RES SHR > S %CPU %MEM TIME+ > >> >> COMMAND > >> >> 1 root 20 0 44172 6796 3904 S 0.0 0.3 > > 0:02.66 > >> >> systemd > >> >> 1 root 20 0 44172 6796 3904 S 0.0 0.3 > > 0:02.66 > >> >> systemd > >> >> 1 root 20 0 44172 6796 3904 S 0.0 0.3 > > 0:02.67 > >> >> systemd > >> >> (snip) > >> >> 1 root 20 0 44172 6808 3908 S 0.0 0.3 > > 0:16.86 > >> >> systemd > >> >> 1 root 20 0 44172 6808 3908 S 0.0 0.3 > > 0:16.87 > >> >> systemd > >> >> 1 root 20 0 44172 6808 3908 S 0.0 0.3 > > 0:16.87 > >> >> systemd > >> >> 1 root 20 0 44172 6808 3908 S 0.0 0.3 > > 0:16.88 > >> >> systemd > >> >> > >> >> ●STBノードのpid=1のsystemdのtopデータ > >> >> 1 root 20 0 44040 6640 3900 S 0.0 0.3 > > 0:02.73 > >> >> systemd > >> >> 1 root 20 0 44040 6640 3900 S 0.0 0.3 > > 0:02.73 > >> >> systemd > >> >> 1 root 20 0 44040 6640 3900 S 0.0 0.3 > > 0:02.74 > >> >> systemd > >> >> (snip) > >> >> 1 root 20 0 44172 6808 3908 S 0.0 0.3 > > 0:16.67 > >> >> systemd > >> >> 1 root 20 0 44172 6808 3908 S 0.0 0.3 > > 0:16.68 > >> >> systemd > >> >> 1 root 20 0 44172 6808 3908 S 0.0 0.3 > > 0:16.68 > >> >> systemd > >> >> 1 root 20 0 44172 6808 3908 S 0.0 0.3 > > 0:16.70 > >> >> systemd > >> >> > >> >> やはり、前回と同様に、systemd(pid=1)に増加は見られますが、秋葉 > さん > >> の最 > >> >> 初にご報告頂いたような増加は起きていないようです。 > >> >> #ただ・・この結果だけで判断出来ないとは思いますが、前回の計測よ > りは > >> 増加 > >> >> 量が減ってように見えるので、systemd関連で何らかのメモリ関連の修 > 正が > >> 入っ > >> >> ている可能性はあると思います。 > >> >> > >> >> 以上です。 > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> > >> >> ----- Original Message ----- > >> >> > From: "renay****@ybb*****" > >> > <renay****@ybb*****> > >> >> > To: "linux****@lists*****" > >> > <linux****@lists*****> > >> >> > Cc: > >> >> > Date: 2016/10/3, Mon 22:37 > >> >> > Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > > PostgreSQL を > >> 動 > >> >> かした際の空きメモリ減少について > >> >> > > >> >> > 秋葉さん > >> >> > > >> >> > こんばんは、山内です。 > >> >> > > >> >> > 週末から、私の環境でも、２日半程度流してみみました。 > >> >> > > >> >> > vSphere上のCentOS7.2のゲスト２台で、CentOS7.2(1511)のISOイ > メー > >> ジそ > >> >> のままで構成してみました。 > >> >> > > >> >> > ---------- > >> >> > CentOS Linux release 7.2.1511 (Core) > >> >> > Linux c7-01 3.10.0-327.el7.x86_64 #1 SMP Thu Nov 19 22:10:57 > > UTC 2015 > >> >> x86_64 > >> >> > x86_64 x86_64 GNU/Linux > >> >> > systemd-219-19.el7.x86_64 > >> >> > glibc-2.17-105.el7.x86_64 > >> >> > pacemaker-1.1.13-10.el7.x86_64 > >> >> > corosync-2.3.4-7.el7.x86_64 > >> >> > ---------- > >> >> > > >> >> > リソースは簡易のDummyリソースのみですが、以下のようにしてい > ます。 > >> >> > ---------- > >> >> > ●設定ファイル(crm形式です） > >> >> > ### Cluster Option ### > >> >> > property no-quorum-policy="ignore" \ > >> >> > stonith-enabled="false" \ > >> >> > startup-fencing="false" > >> >> > > >> >> > ### Resource Defaults ### > >> >> > rsc_defaults resource-stickiness="INFINITY" \ > >> >> > migration-threshold="1" > >> >> > > >> >> > ### Group Configuration ### > >> >> > group grpDummy \ > >> >> > prmDummy1 \ > >> >> > prmDummy2 \ > >> >> > prmDummy3 \ > >> >> > prmDummy4 \ > >> >> > prmDummy5 \ > >> >> > > >> >> > ### Primitive Configuration ### > >> >> > primitive prmDummy1 ocf:pacemaker:Dummy \ > >> >> > op start interval="0s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op monitor interval="10s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op stop interval="0s" timeout="60s" > >> >> > on-fail="block" > >> >> > > >> >> > primitive prmDummy2 ocf:pacemaker:Dummy \ > >> >> > op start interval="0s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op monitor interval="10s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op stop interval="0s" timeout="60s" > >> >> > on-fail="block" > >> >> > > >> >> > primitive prmDummy3 ocf:pacemaker:Dummy \ > >> >> > op start interval="0s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op monitor interval="10s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op stop interval="0s" timeout="60s" > >> >> > on-fail="block" > >> >> > > >> >> > primitive prmDummy4 ocf:pacemaker:Dummy \ > >> >> > op start interval="0s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op monitor interval="10s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op stop interval="0s" timeout="60s" > >> >> > on-fail="block" > >> >> > > >> >> > primitive prmDummy5 ocf:pacemaker:Dummy \ > >> >> > op start interval="0s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op monitor interval="10s" timeout="60s" > >> >> > on-fail="restart" \ > >> >> > op stop interval="0s" timeout="60s" > >> >> > on-fail="block" > >> >> > > >> >> > ### Resource Location ### > >> >> > location rsc_location-msDrbd-1 grpDummy \ > >> >> > rule 200: #uname eq c7-01 \ > >> >> > rule 100: #uname eq c7-02 > >> >> > ---------- > >> >> > ●crm_monの様子 > >> >> > [root ＠ c7-01 ~]# crm_mon -1 > >> >> > Last updated: Mon Oct 3 16:35:29 2016 Last change: > > Fri Sep > >> > 30 > >> >> 00:28:56 > >> >> > 2016 by root via cibadmin on c7-01 > >> >> > Stack: corosync > >> >> > Current DC: c7-01 (version 1.1.13-10.el7-44eb2dd) - > > partition with > >> > quorum > >> >> > 2 nodes and 5 resources configured > >> >> > > >> >> > Online: [ c7-01 c7-02 ] > >> >> > > >> >> > Resource Group: grpDummy > >> >> > prmDummy1 (ocf::pacemaker:Dummy): Started c7-01 > >> >> > prmDummy2 (ocf::pacemaker:Dummy): Started c7-01 > >> >> > prmDummy3 (ocf::pacemaker:Dummy): Started c7-01 > >> >> > prmDummy4 (ocf::pacemaker:Dummy): Started c7-01 > >> >> > prmDummy5 (ocf::pacemaker:Dummy): Started c7-01 > >> >> > ---------- > >> >> > > >> >> > > >> >> > 以下が結果となりました。 > >> >> > > >> >> > ●ACTノードのpid=1のsysttemdのtopデータ > >> >> > PID USER PR NI VIRT RES SHR S %CPU %MEM > > TIME+ > >> >> COMMAND > >> >> > 1 root 20 0 44644 7280 2600 S 0.0 0.4 > > 0:03.18 > >> >> systemd > >> >> > 1 root 20 0 44644 7296 2600 S 0.0 0.4 > > 0:03.20 > >> >> systemd > >> >> > 1 root 20 0 44644 7296 2600 S 0.0 0.4 > > 0:03.21 > >> >> systemd > >> >> > 1 root 20 0 44644 7296 2600 S 0.0 0.4 > > 0:03.21 > >> >> systemd > >> >> > 1 root 20 0 44644 7296 2600 S 0.0 0.4 > > 0:03.21 > >> >> systemd > >> >> > 1 root 20 0 44644 7296 2600 S 0.0 0.4 > > 0:03.21 > >> >> systemd > >> >> > 1 root 20 0 44644 7296 2600 S 0.0 0.4 > > 0:03.21 > >> >> systemd > >> >> > (snip) > >> >> > 1 root 20 0 45064 7720 2600 S 0.0 0.4 > > 0:21.91 > >> >> systemd > >> >> > 1 root 20 0 45064 7720 2600 S 0.0 0.4 > > 0:21.91 > >> >> systemd > >> >> > 1 root 20 0 45064 7720 2600 S 0.0 0.4 > > 0:21.91 > >> >> systemd > >> >> > 1 root 20 0 45064 7720 2600 S 0.0 0.4 > > 0:21.91 > >> >> systemd > >> >> > 1 root 20 0 45064 7720 2600 S 0.0 0.4 > > 0:21.91 > >> >> systemd > >> >> > 1 root 20 0 45064 7720 2600 S 0.0 0.4 > > 0:21.93 > >> >> systemd > >> >> > 1 root 20 0 45064 7720 2600 S 0.0 0.4 > > 0:21.95 > >> >> systemd > >> >> > > >> >> > ●ACTノードのpid=1のsysttemdのtopデータ > >> >> > PID USER PR NI VIRT RES SHR S %CPU %MEM > > TIME+ > >> >> COMMAND > >> >> > 1 root 20 0 44652 7288 2600 S 0.0 0.4 > > 0:03.23 > >> >> systemd > >> >> > 1 root 20 0 44652 7288 2600 S 0.0 0.4 > > 0:03.25 > >> >> systemd > >> >> > 1 root 20 0 44652 7288 2600 S 0.0 0.4 > > 0:03.26 > >> >> systemd > >> >> > 1 root 20 0 44652 7288 2600 S 0.0 0.4 > > 0:03.26 > >> >> systemd > >> >> > 1 root 20 0 44652 7288 2600 S 0.0 0.4 > > 0:03.26 > >> >> systemd > >> >> > 1 root 20 0 44652 7288 2600 S 0.0 0.4 > > 0:03.26 > >> >> systemd > >> >> > (snip) > >> >> > 1 root 20 0 45088 7712 2600 S 0.0 0.4 > > 0:21.00 > >> >> systemd > >> >> > 1 root 20 0 45088 7712 2600 S 0.0 0.4 > > 0:21.00 > >> >> systemd > >> >> > 1 root 20 0 45088 7712 2600 S 0.0 0.4 > > 0:21.00 > >> >> systemd > >> >> > 1 root 20 0 45088 7716 2600 S 0.0 0.4 > > 0:21.03 > >> >> systemd > >> >> > > >> >> > systemd(pid=1)に増加は見られますが、秋葉さんの最初にご報告頂 > いた > >> よう > >> >> な増加は起きていないようです。 > >> >> > #この増加がsystemdの正しい動作の範疇なのかどうかは別物です > が。。。。 > >> >> > > >> >> > こちらも、systemdのバージョンなどをアップしても確認してみたい > と思 > >> いま > >> >> す。 > >> >> > > >> >> > 以上です。 > >> >> > > >> >> > > >> >> > > >> >> > ----- Original Message ----- > >> >> >> From: "renay****@ybb*****" > >> >> > <renay****@ybb*****> > >> >> >> To: "linux****@lists*****" > >> >> > <linux****@lists*****> > >> >> >> Cc: > >> >> >> Date: 2016/9/30, Fri 04:56 > >> >> >> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > > PostgreSQL > >> >> > を動かした際の空きメモリ減少について > >> >> >> > >> >> >> 秋葉さん > >> >> >> > >> >> >> こんばんは、山内です。 > >> >> >> > >> >> >> > >> >> >> こちらでも、準備が出来ましたので、週末に流してみる予定です。 > >> >> >> > >> >> >> また、結果がわかりましたら、ご連絡します。 > >> >> >> > >> >> >> 以上です。 > >> >> >> > >> >> >> > >> >> >> ----- Original Message ----- > >> >> >>> From: "renay****@ybb*****" > >> >> >> <renay****@ybb*****> > >> >> >>> To: "linux****@lists*****" > >> >> >> <linux****@lists*****> > >> >> >>> Cc: > >> >> >>> Date: 2016/9/28, Wed 18:56 > >> >> >>> Subject: Re: [Linux-ha-jp] pacemaker + corosync 上で > >> > PostgreSQL > >> >> >> を動かした際の空きメモリ減少について > >> >> >>> > >> >> >>> 秋葉さん > >> >> >>> > >> >> >>> こんばんは、山内です。 > >> >> >>> > >> >> >>> 了解いたしました。 > >> >> >>> > >> >> >>> ご連絡ありがとうございました。 > >> >> >>> > >> >> >>> 以上です。 > >> >> >>> > >> >> >>> > >> >> >>> > >> >> >>> ----- Original Message ----- > >> >> >>>> From: AKIBA Makoto > > <akiba****@acroq*****> > >> >> >>>> To: linux****@lists***** > >> >> >>>> Cc: > >> >> >>>> Date: 2016/9/28, Wed 18:30 > >> >> >>>> Subject: Re: [Linux-ha-jp] pacemaker + > > corosync 上で > >> > PostgreSQL > >> >> >>> を動かした際の空きメモリ減少について > >> >> >>>> > >> >> >>>> 山内さん > >> >> >>>> > >> >> >>>> 秋葉です。 > >> >> >>>> > >> >> >>>> 設定ファイルの確認ありがとうございました。 > >> >> >>>> > >> >> >>>>> ちなみに、systemdのメモリ増加の確認ですが、どのような > コマ > >> ンド > >> >> で実行され > >> >> >>>>> ましたか？ > >> >> >>>>> 念の為、同じ確認を実施したいので、お手数ですが、ご連 > 絡く > >> ださ > >> >> い。 > >> >> >>>> > >> >> >>>> こちら、取り急ぎ返信致しますと、 > >> >> >>>> systemdプロセスのメモリ使用量についてはtopコマンドを > 使っ > >> て、 > >> >> >>>> VIRT(VSZ)とRSSを見ております。 > >> >> >>>> > >> >> >>>> 特にRSSの方が細かく増え続ける状態になっていました。 > >> >> >>>> > >> >> >>>> お手数をおかけしますが、よろしくお願い致します。 > >> >> >>>> > >> >> >>>> 以上 > >> >> >>>> > >> >> >>>>> -----Original Message----- > >> >> >>>>> From: > > linux****@lists***** > >> >> >>>>> > > [mailto:linux****@lists*****] On > >> > Behalf Of > >> >> >>>>> renay****@ybb***** > >> >> >>>>> Sent: Wednesday, September 28, 2016 6:08 > > PM > >> >> >>>>> To: linux****@lists***** > >> >> >>>>> Subject: Re: [Linux-ha-jp] pacemaker + > > corosync 上で > >> >> > PostgreSQL を動か > >> >> >>>>> した際の空きメモリ減少について > >> >> >>>>> > >> >> >>>>> 秋葉さん > >> >> >>>>> > >> >> >>>>> こんばんは、山内です。 > >> >> >>>>> > >> >> >>>>> (MLへの送信に失敗しているように思えるので、再送します） > >> >> >>>>> > >> >> >>>>> 頂いた設定について拝見しましたが、特にPacemaker的に > は問 > >> 題な > >> >> いと思いま > >> >> >>>>> す。 > >> >> >>>>> > >> >> >>>>> CentOS7でのsystemdの様子については、これからVM構成 > です > >> が、 > >> >> 確認してみ > >> >> >>>>> るつもりです。 > >> >> >>>>> > >> >> >>>>> ちなみに、systemdのメモリ増加の確認ですが、どのような > コマ > >> ンド > >> >> で実行され > >> >> >>>>> ましたか？ > >> >> >>>>> 念の為、同じ確認を実施したいので、お手数ですが、ご連 > 絡く > >> ださ > >> >> い。 > >> >> >>>>> > >> >> >>>>> 以上です。 > >> >> >>>>> > >> >> >>>>> > >> >> >>>>> > >> >> >>>>> ----- Original Message ----- > >> >> >>>>> > From: AKIBA Makoto > >> > <akiba****@acroq*****> > >> >> >>>>> > To: linux****@lists***** > >> >> >>>>> > Cc: > >> >> >>>>> > Date: 2016/9/28, Wed 16:21 > >> >> >>>>> > Subject: Re: [Linux-ha-jp] > > pacemaker + > >> > corosync 上で > >> >> >> PostgreSQL を動 > >> >> >>>>> かした際の空きメモリ減少について > >> >> >>>>> > > >> >> >>>>> > 山内さん > >> >> >>>>> > > >> >> >>>>> > 秋葉です。 > >> >> >>>>> > > >> >> >>>>> > systemdについての情報ありがとうございます。 > >> >> >>>>> > 確認させていただきます。 > >> >> >>>>> > > >> >> >>>>> > > >> >> >>>>> > 以上 > >> >> >>>>> > > >> >> >>>>> >> -----Original Message----- > >> >> >>>>> >> From: > >> > linux****@lists***** > >> >> >>>>> >> > >> > [mailto:linux****@lists*****] On > >> >> > Behalf > >> >> >> Of > >> >> >>>>> >> renay****@ybb***** > >> >> >>>>> >> Sent: Monday, September 26, > > 2016 6:22 PM > >> >> >>>>> >> To: > > linux****@lists***** > >> >> >>>>> >> Subject: Re: [Linux-ha-jp] > > pacemaker + > >> > corosync 上で > >> >> > > >> >> >>> PostgreSQL を > >> >> >>>>> 動か > >> >> >>>>> >> した際の空きメモリ減少について > >> >> >>>>> >> > >> >> >>>>> >> 秋葉さん > >> >> >>>>> >> > >> >> >>>>> >> こんばんは、山内です。 > >> >> >>>>> >> > >> >> >>>>> >> 了解しました。 > >> >> >>>>> >> こちれでも、時間をみて、頂いた設定をベースに試し > てみ > >> たい > >> >> と思います。 > >> >> >>>>> >> > >> >> >>>>> >> systemd関連も不具合などもあるようですので、そちら > を探 > >> して > >> >> みるのも良 > >> >> >>>>> いか > >> >> >>>>> >> もしれません。 > >> >> >>>>> >> ちょっと探してみても、以下などもありました。 > >> >> >>>>> >> 直接関係があるかは別ですが・・・ > >> >> >>>>> >> > >> >> >>>>> >> * > >> >> > https://bugzilla.redhat.com/show_bug.cgi?id=1361120 > >> >> >>>>> >> > >> >> >>>>> >> > >> >> >>>>> >> 設定などで質問があれば、またご連絡させてください。 > >> >> >>>>> >> > >> >> >>>>> >> 以上です。 > >> >> >>>>> >> > >> >> >>>>> >> > >> >> >>>>> >> > >> >> >>>>> >> ----- Original Message ----- > >> >> >>>>> >> > From: AKIBA Makoto > >> >> > <akiba****@acroq*****> > >> >> >>>>> >> > To: > > linux****@lists***** > >> >> >>>>> >> > Cc: > >> >> >>>>> >> > Date: 2016/9/26, Mon > > 16:18 > >> >> >>>>> >> > Subject: Re: > > [Linux-ha-jp] > >> > pacemaker + > >> >> > corosync 上で > >> >> >> > >> >> >>>> PostgreSQL を > >> >> >>>>> 動 > >> >> >>>>> >> かした際の空きメモリ減少について > >> >> >>>>> >> > > >> >> >>>>> >> > 山内さん > >> >> >>>>> >> > > >> >> >>>>> >> > 秋葉です。 > >> >> >>>>> >> > ご回答・解説ありがとうございます。 > >> >> >>>>> >> > > >> >> >>>>> >> > > > 実際に当方の環境でpacemakerのプロセスメモリサイズ > >> を > >> >> >>>>> >> > > > 見てみたところ、～8MB程度になっており、頂いた情報の > >> 通り > >> >> >>>>> >> > 大きくはなっていませんでした。 > >> >> >>>>> >> > > >> >> >>>>> >> > > > 一方で、systemd(pid=1)については1GB程度まで大きく > >> なっ > >> >> て > >> >> >>>>> >> > > > おり、pmapで参照すると[heap]とマッピングされた領域 > >> が > >> >> >>>>> >> > ほとんどを占めているように見えました。 > >> >> >>>>> >> > > >> >> >>>>> >> > なので、これ以上の問い合わせは見当違いの可能性 > もあ > >> りま > >> >> すが、 > >> >> >>>>> >> > 念の為、当方で使用している設定ファイルを添付致 > しま > >> す。 > >> >> >>>>> >> > (固有情報はマスキングしてあります) > >> >> >>>>> >> > > >> >> >>>>> >> > これで何か情報が得られましたら教えていただけま > すで > >> しょ > >> >> うか。 > >> >> >>>>> >> > > > また、不足している情報がありましたらご指摘ください。 > >> >> >>>>> >> > > >> >> >>>>> >> > お手数をおかけ致しますがよろしくお願い致します。 > >> >> >>>>> >> > > >> >> >>>>> >> > > >> >> >>>>> >> > 以上 > >> >> >>>>> >> > ---------------- > >> >> >>>>> >> > AKIBA Makoto > >> >> >>>>> >> > akiba****@acroq***** > >> >> >>>>> >> > > >> >> >>>>> >> >> -----Original > > Message----- > >> >> >>>>> >> >> From: > >> >> > linux****@lists***** > >> >> >>>>> >> >> > >> >> > [mailto:linux****@lists*****] > >> >> >> On > >> >> >>> Behalf > >> >> >>>> Of > >> >> >>>>> >> >> > > renay****@ybb***** > >> >> >>>>> >> >> Sent: Friday, > > September 23, > >> > 2016 6:04 PM > >> >> >>>>> >> >> To: > >> > linux****@lists***** > >> >> >>>>> >> >> Subject: Re: > > [Linux-ha-jp] > >> > pacemaker + > >> >> >> corosync 上で > >> >> >>> > >> >> >>>> PostgreSQL > >> >> >>>>> を > >> >> >>>>> >> 動か > >> >> >>>>> >> >> した際の空きメモリ減少について > >> >> >>>>> >> >> > >> >> >>>>> >> >> 秋葉さん > >> >> >>>>> >> >> > >> >> >>>>> >> >> こんばんは、山内です。 > >> >> >>>>> >> >> > >> >> >>>>> >> >> > >> > pacemakerのプロセスがIPC通信の為にマップしているメ > >> >> モリは > >> >> >>>>> 5Mbyteま > >> >> >>>>> >> でで > >> >> >>>>> >> >> す。 > >> >> >>>>> >> >> > > よって、最大、5Mbyteまでプロセスのメモリサイズは > >> 上が > >> >> る可能性が > >> >> >>>>> あり > >> >> >>>>> >> ます > >> >> >>>>> >> >> が、 > >> >> >>>>> >> >> > > 先のメールの通りで5Mbyteを超えるあたりで再利用 > >> する > >> >> 為、それ以上 > >> >> >>>>> は増 > >> >> >>>>> >> えま > >> >> >>>>> >> >> せん。 > >> >> >>>>> >> >> > >> >> >>>>> >> >> > >> >> >> このサイズですが、/etc/sysconfig/pacemakerの > PCMK_ipc_bufferで > >> >> >>>>> 大き > >> >> >>>>> >> くは > >> >> >>>>> >> >> 出来ますが、 > >> >> >>>>> >> >> 小さくすることは出来ません。 > >> >> >>>>> >> >> > >> >> >>>>> >> >> > > ＃これらのメモリマップの様子は、pmapコマンドで確 > >> 認す > >> >> ることが可 > >> >> >>>>> 能で > >> >> >>>>> >> す。 > >> >> >>>>> >> >> > >> >> >>>>> >> >> > >> >> >>>>> >> >> 以上です。 > >> >> >>>>> >> >> > >> >> >>>>> >> >> > >> >> >>>>> >> >> > >> >> >>>>> >> >> ----- Original > > Message ----- > >> >> >>>>> >> >> > From: > >> >> >> "renay****@ybb*****" > >> >> >>>>> >> > > > <renay****@ybb*****> > >> >> >>>>> >> >> > To: > >> >> >> "linux****@lists*****" > >> >> >>>>> >> > > >> > <linux****@lists*****> > >> >> >>>>> >> >> > Cc: > >> >> >>>>> >> >> > Date: > > 2016/9/22, Thu > >> > 10:20 > >> >> >>>>> >> >> > Subject: Re: > >> > [Linux-ha-jp] > >> >> > pacemaker + > >> >> >>> corosync 上で > >> >> >>>>> > PostgreSQL を > >> >> >>>>> >> 動 > >> >> >>>>> >> >> かした際の空きメモリ減少について > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > 秋葉さん > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > こんにちは、山内です。 > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > > > systemdプロセスではありませんが、 > >> >> >>>>> >> >> > > >> >> > pacemakerとcorosyncを組み合わせてクラスタを構成した場合、 > >> >> >>>>> >> >> > >> > pacemaker/corosyncプロセスのメモリの使用量が一定期間、 > >> >> 増加して > >> >> >>>>> いく > >> >> >>>>> >> 動作 > >> >> >>>>> >> >> となります。 > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > > >> > 詳細な動作は、失念していますが、pacmakerのプロセス > >> >> がメモリマ > >> >> >>>>> ップ > >> >> >>>>> >> して > >> >> >>>>> >> >> > > いる（？？MByteまでだったはず）エリア > >> >> >>>>> >> >> > > > を利用して通信などを行う為、クラスタ構成後、マ > >> ップ > >> >> した一定量 > >> >> >>>>> まで > >> >> >>>>> >> 増加 > >> >> >>>>> >> >> が続きます。 > >> >> >>>>> >> >> > > > ですが、一定量までで、それ以降は、マップしたエ > >> リア > >> >> を古い方か > >> >> >>>>> ら再 > >> >> >>>>> >> 利用 > >> >> >>>>> >> >> する為、増加は止まります。 > >> >> >>>>> >> >> > > > （上記のマップしているサイズについては、確認し > >> て、 > >> >> 再度、ご連 > >> >> >>>>> 絡し > >> >> >>>>> >> ます） > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > > >> >> > (1)(4)あたりは上記で説明が付くかと思いますが。。。(2)(3)の原因 > >> >> >>>>> には > >> >> >>>>> >> 直接 > >> >> >>>>> >> >> 影響しないかと思います。 > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > > >> > 実際に増加しているのがsystemdプロセスとのことです > >> >> が、 > >> >> >>>>> >> >> > >> >> > pacemaker+corosyncのクラスタ構成で、リソースなどはsystemdを > 経 > >> >> >>>>> 由し > >> >> >>>>> >> て > >> >> >>>>> >> >> > 実行・監視しているでしょうか？ > >> >> >>>>> >> >> > > >> >> >> ＃pacemakerのprimitiveリソースとしてsystemdリソースを利用 > し > >> >> >>>>> てい > >> >> >>>>> >> るか > >> >> >>>>> >> >> どうか？ということです。 > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > > >> > pacemakerの構成ファイルなど開示して頂ければ、私の方 > >> >> でも確認可 > >> >> >>>>> 能か > >> >> >>>>> >> も知 > >> >> >>>>> >> >> れません。 > >> >> >>>>> >> >> > > >> > ＃本当にリークしているのがsystemdプロセスである可 > >> >> 能性もある > >> >> >>>>> とは > >> >> >>>>> >> 思い > >> >> >>>>> >> >> ますが・・・・ > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > 以上です。 > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > > >> >> >>>>> >> >> >> > > 現在、pacemaker + > >> > corosync > >> >> > のクラスタ上で > >> >> >>> PostgreSQL を > >> >> >>>>> >> >> >> > >> > 動作させているデータベースサーバがあるのですが、 > >> >> >>>>> >> >> >> > >> > 稼働中にOSのメモリ使用量が増加し続ける問題が起 > >> >> きています。 > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> > 原因を把握したいのですが、何か該当する現象や確認 > >> >> ポイント > >> >> >>>>> >> >> >> > > などありますでしょうか？ > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > > 環境は以下のようになっております。 > >> >> >>>>> >> >> >> OS: CentOS > > Linux > >> > release > >> >> > 7.2.1511 > >> >> >> (Core) > >> >> >>>>> >> >> >> kernel > > - > >> >> > 3.10.0-327.18.2.el7 > >> >> >>>>> >> >> >> glibc > > - > >> > 2.17-106.el7_2.6 > >> >> >>>>> >> >> >> Systemd: > >> > 219-19.el7_2.9 / > >> >> >>> 219-19.el7_2.12 (※) > >> >> >>>>> >> >> >> Pacemaker: > >> > 1.1.13-10.el7_2.2 > >> >> >>>>> >> >> >> Corosync: > >> > 2.3.4-7.el7_2.1 > >> >> >>>>> >> >> >> > > PostgreSQL: > >> > 9.4.8-1PGDG.rhel7 > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> > (※)systemdのバージョンはどちらでも発生しました > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> >> >> 2台のサーバでHotStandby構成にしてPostgreSQLを運用していま > >> >> >>>>> す。 > >> >> >>>>> >> >> >> > >> >> >> (両サーバでPostgreSQLが起動し、hot-standby構成にしている) > >> >> >>>>> >> >> >> > >> >> > Active側にVIPを割り当てるようにして、アプリケーションから > >> >> >>>>> は > >> >> >>>>> >> >> >> > > VIPに接続するようにしています。 > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> > これまでに観察して見えているのは以下の事象になり > >> >> ます。 > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> (1) > >> > OS起動しクラスタ状態を正常にした状態で、少し > >> >> ずつ > >> >> >>>>> >> >> >> > >> >> >> OSの空きメモリ量(free+buffer+cache)が減少し続ける。 > >> >> >>>>> >> >> >> > >> > →１日あたり30～100MB程度ずつ減少する > >> >> >>>>> >> >> >> > >> > ※DBサーバ自体は4GBメモリを搭載 > >> >> >>>>> >> >> >> > >> > ※VIPがある／なしに関わらず減少傾向にある。 > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> (2) > >> >> > メモリ使用量が大きいプロセスを確認すると、PID=1の > >> >> >>>>> >> >> >> systemd > >> >> > プロセスで、数十秒ごとに4～8KB程度増加する。 > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> (3) > >> >> > 契機は不明だが、時折数十～数百MB程度空き容量が増える > >> >> >>>>> >> >> >> > > (回復する)ことがある。 > >> >> >>>>> >> >> >> > >> > (長期的に見てトータルでは減少し続ける) > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> (4) > > pacemaker + > >> >> >>> corosyncを使わず、1台のみで動作させている > >> >> >>>>> >> >> >> > >> > 開発サーバでは(1)～(2)のようなメモリ使用量の > >> >> 増減が > >> >> >>>>> >> >> >> > > 発生していないように見える。 > >> >> >>>>> >> >> >> > >> > →この点があり、何か手がかりが無いかと考え、 > >> >> >>>>> >> >> >> > >> > こちらのMLに質問をポストさせていただきま > >> >> した。 > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> > 長文にて恐縮ですが、情報等いただけましたら幸いで > >> >> す。 > >> >> >>>>> >> >> >> > > よろしくお願い致します。 > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > > ---------------- > >> >> >>>>> >> >> >> AKIBA > > Makoto > >> >> >>>>> >> >> >> > >> > akiba****@acroq***** > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> >> > >> >> >>>> > > _______________________________________________ > >> >> >>>>> >> >> >> > > Linux-ha-japan > >> > mailing list > >> >> >>>>> >> >> >> > >> > Linux****@lists***** > >> >> >>>>> >> >> >> > >> >> >>>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>>>> >> >> >> > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > > >> >> >>> _______________________________________________ > >> >> >>>>> >> >> > Linux-ha-japan > > mailing > >> > list > >> >> >>>>> >> >> > > >> > Linux****@lists***** > >> >> >>>>> >> >> > > >> >> >>>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>>>> >> >> > > >> >> >>>>> >> >> > >> >> >>>>> >> >> > >> >> >> _______________________________________________ > >> >> >>>>> >> >> Linux-ha-japan > > mailing list > >> >> >>>>> >> >> > > Linux****@lists***** > >> >> >>>>> >> >> > >> >> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>>>> >> > > >> >> >>>>> >> > > >> >> > _______________________________________________ > >> >> >>>>> >> > Linux-ha-japan mailing > > list > >> >> >>>>> >> > > > Linux****@lists***** > >> >> >>>>> >> > > >> >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>>>> >> > > >> >> >>>>> >> > >> >> >>>>> >> > >> > _______________________________________________ > >> >> >>>>> >> Linux-ha-japan mailing list > >> >> >>>>> >> Linux****@lists***** > >> >> >>>>> >> > >> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>>>> > > >> > _______________________________________________ > >> >> >>>>> > Linux-ha-japan mailing list > >> >> >>>>> > Linux****@lists***** > >> >> >>>>> > > >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>>>> > > >> >> >>>>> > >> >> >>>>> > > _______________________________________________ > >> >> >>>>> Linux-ha-japan mailing list > >> >> >>>>> Linux****@lists***** > >> >> >>>>> > >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>>> > > _______________________________________________ > >> >> >>>> Linux-ha-japan mailing list > >> >> >>>> Linux****@lists***** > >> >> >>>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>>> > >> >> >>> > >> >> >>> _______________________________________________ > >> >> >>> Linux-ha-japan mailing list > >> >> >>> Linux****@lists***** > >> >> >>> > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >>> > >> >> >> > >> >> >> _______________________________________________ > >> >> >> Linux-ha-japan mailing list > >> >> >> Linux****@lists***** > >> >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> >> > >> >> > > >> >> > _______________________________________________ > >> >> > Linux-ha-japan mailing list > >> >> > Linux****@lists***** > >> >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> >> > > >> >> > >> >> _______________________________________________ > >> >> Linux-ha-japan mailing list > >> >> Linux****@lists***** > >> >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> > _______________________________________________ > >> > Linux-ha-japan mailing list > >> > Linux****@lists***** > >> > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > >> > > >> > >> _______________________________________________ > >> Linux-ha-japan mailing list > >> Linux****@lists***** > >> http://lists.osdn.me/mailman/listinfo/linux-ha-japan > > _______________________________________________ > > Linux-ha-japan mailing list > > Linux****@lists***** > > http://lists.osdn.me/mailman/listinfo/linux-ha-japan > > > > _______________________________________________ > Linux-ha-japan mailing list > Linux****@lists***** > http://lists.osdn.me/mailman/listinfo/linux-ha-japan
Fork