Saito, Kazumasa
ka.sa****@jp*****
2014年 1月 23日 (木) 20:13:29 JST
Fork齋藤と申します。
初めて投稿させて頂きます。
Pacemaker+DBRD構成でNFSをクラスタ運用しているシステムの待機系メードから
以下のようなメッセージが15分置きに出力されています。
このメッセージの意味と対処方法をご教示頂けないでしょうか。
メッセージ：
「pm_logconv: [1196]: ERROR: detect_fo_complete(): resource [master-prm_drbd] is not in this cluster.」
・環境情報は以下の通りです。
RHEL6.3
heartbeat-3.0.5-1.1
pacemaker-1.0.13-1
drbd-pacemaker-8.4.3-2
pm_logconv-hb-1.2-1
・出力されるのは、待機系のみで運用系では出力されていません。
・現状、システムの動作に不具合は出ておりません。
（crm node standbyコマンドによるスイッチオーバーも正常に動作します）
・メッセージに「[master-prm_drbd] is not in this cluster」とございますが、
crm_monの結果を見る限り、「master-prm_drbd」は、運用系（nodeA）と
待機系（nodeB）の両方に存在しています。
・2ヶ月以上前から出力されており、何を契機に出力されたのかログから特定すること
ができませんでした。（申し訳ございません。）
以下、当方で確認したコマンドの結果を添付させて頂きます。
(IPやホスト名は架空のものに変換しています)
＜crm_mon -Afの出力結果＞
============
Last updated: Thu Jan 23 18:53:41 2014
Stack: Heartbeat
Current DC: nodeB (46941b0a-5123-4bf3-a6f0-7f428dbfa9ed) - partition with quorum
Version: 1.0.13-30bb726
2 Nodes configured, unknown expected votes
4 Resources configured.
============
Online: [ nodeA nodeB ]
Resource Group: grp_iap
prm_chkvip (ocf::heartbeat:VIPcheck): Started nodeA
prm_fs (ocf::heartbeat:Filesystem): Started nodeA
prm_vip (ocf::heartbeat:IPaddr2): Started nodeA
prm_nfs (ocf::heartbeat:nfsserver): Started nodeA
Master/Slave Set: ms_drbd
Masters: [ nodeA ]
Slaves: [ nodeB ]
Clone Set: clone_chkdisk
Started: [ nodeA nodeB ]
Clone Set: clone_chkping
Started: [ nodeA nodeB ]
Node Attributes:
* Node nodeA:
+ default_ping_set : 100
+ diskcheck_status : normal
+ master-prm_drbd:0 : 10000
* Node nodeB:
+ default_ping_set : 100
+ diskcheck_status : normal
+ master-prm_drbd:1 : 10000
＜crm configureの出力結果＞
node $id="46941b0a-5123-4bf3-a6f0-7f428dbfa9ed" nodeB \
attributes standby="off"
node $id="cc7922c0-da8f-453e-93ca-f44b3fea78b8" nodeA \
attributes standby="off"
primitive prm_chkdisk ocf:pacemaker:diskd \
params name="diskcheck_status" device="/dev/sdb" interval="10s" \
op start interval="0s" timeout="60s" on-fail="restart" \
op monitor interval="10s" timeout="60s" on-fail="restart" \
op stop interval="0s" timeout="60s" on-fail="block"
primitive prm_chkping ocf:pacemaker:pingd \
params name="default_ping_set" host_list="192.168.1.254" interval="10s" timeout="10s
" multiplier="100" attempts="5" \
op start interval="0s" timeout="90s" on-fail="restart" \
op monitor interval="10s" timeout="20s" on-fail="restart" \
op stop interval="0s" timeout="100s" on-fail="block"
primitive prm_chkvip ocf:heartbeat:VIPcheck \
params target_ip="192.168.1.110" count="1" wait="10s" \
op start interval="0s" timeout="60s" on-fail="restart" \
op stop interval="0s" timeout="60s" on-fail="block"
primitive prm_drbd ocf:linbit:drbd \
params drbd_resource="r0" drbdconf="/etc/drbd.conf" \
op start interval="0s" timeout="240s" on-fail="restart" \
op monitor interval="15s" role="Master" timeout="60s" on-fail="restart" \
op monitor interval="30s" role="Slave" timeout="60s" on-fail="restart" \
op stop interval="0s" timeout="100s" on-fail="block"
primitive prm_fs ocf:heartbeat:Filesystem \
params device="/dev/drbd0" directory="/drbd" fstype="ext3" \
op start interval="0s" timeout="60s" on-fail="restart" \
op monitor interval="20s" timeout="40s" on-fail="restart" \
op stop interval="0s" timeout="60s" on-fail="block"
primitive prm_nfs ocf:heartbeat:nfsserver \
params nfs_ip="192.168.1.110" nfs_init_script="/etc/init.d/nfs" nfs_shared_infodir="/var/lib/nfs" nfs_notify_cmd="/usr/sbin/sm-notify" rpcpipefs_dir="/var/lib/rpc_pipefs" \
op start interval="0s" timeout="40s" on-fail="restart" \
op monitor interval="10s" timeout="20s" on-fail="restart" \
op stop interval="0s" timeout="20s" on-fail="block"
primitive prm_vip ocf:heartbeat:IPaddr2 \
params ip="192.168.1.110" cidr_netmask="24" nic="eth0" iflabel="0" \
op start interval="0s" timeout="20s" on-fail="restart" \
op monitor interval="10s" timeout="20s" on-fail="restart" \
op stop interval="0s" timeout="20s" on-fail="block"
group grp_iap prm_chkvip prm_fs prm_vip prm_nfs
ms ms_drbd prm_drbd \
meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
clone clone_chkdisk prm_chkdisk
clone clone_chkping prm_chkping
location loc_grp_iap grp_iap \
rule $id="loc_grp_iap-rule" -inf: not_defined default_ping_set or default_ping_set lt 100 \
rule $id="loc_grp_iap-rule-0" -inf: not_defined diskcheck_status or diskcheck_status eq ERROR
colocation col1 inf: grp_iap ms_drbd:Master
order odr inf: clone_chkping:start clone_chkdisk:start ms_drbd:promote grp_iap:start
property $id="cib-bootstrap-options" \
dc-version="1.0.13-30bb726" \
cluster-infrastructure="Heartbeat" \
stonith-enabled="false" \
no-quorum-policy="ignore"
rsc_defaults $id="rsc-options" \
resource-stickiness="INFINITY" \
migration-threshold="1"
＜cat /proc/drbdの出力結果＞
■運用系
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by test ＠ nodeA, 2013-09-02 14:25:10
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:3714100 nr:0 dw:9468636 dr:210896681 al:618 bm:212 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
■待機系
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by test ＠ nodeB, 2013-09-02 15:00:27
0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
ns:0 nr:1158660 dw:1158660 dr:0 al:0 bm:2 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
以上、よろしくお願い致します。