【Hinemos】マネージャによる監視が正常に行われているかを監視する

マネージャの機能に何らかの障害が発生した場合、通常はマネージャのセルフチェック機能により、障害が発生したことを検知することができます。しかし、マネージャサーバ自体に深刻な障害が発生した等の場合、セルフチェック機能をもってしてもマネージャの障害を検知できない可能性があります。このような場合に備えて、マネージャの外側からマネージャの正常性を確認する仕組みを入れておくと、より安心です。

1.概要

ここでは、Hinemosのリソース監視やプロセス監視等、SNMPポーリングを行う監視機能が正しく実行されているかどうか、任意の外部サーバ上で定期的に確認する仕組みを検討してみます。仕組みとしては単純で、大まかには以下の方法で、マネージャ以外のサーバ(以下、監視役サーバ)上で確認します。

1. マネージャサーバからのSNMP要求を受信したら、iptablesがシステムログを出力
2. syslogデーモンが、上記1.のシステムログを特定のファイルへ出力
3. ファイルのタイムスタンプが更新されているかどうかを定期的に確認

上記の3.では、ファイルのタイムスタンプをそのサーバのシステム時刻と比較する簡易なスクリプトを作成して、それをcronで定期的に実行します。ファイルのタイムスタンプが更新されていないと判定した場合には、そのスクリプトがメールを送信する等して運用担当者へ知らせる、という寸法です。

 

2.設定手順

それでは、実際に設定してみたいと思います。まずは監視役サーバにて、iptablesにシステムログを出力するルールを追加します。なお、システムログのファシリティは”kernel”になります。

次に、同じく監視役サーバにて、syslogデーモンがこれを特定のファイルへ出力するよう設定します。ここでは、rsyslogの設定方法をご紹介します。/etc/rsyslog.confへ以下の行を追記して、rsyslogを再起動します。

これで、マネージャサーバからSNMPパケットを受信した時に、/var/log/iptables.logへ以下のようなログが出力されるようになります。なお、マネージャサーバ以外のサーバからSNMPパケットを受信した場合には、ログには何も出力されません。

そして、/var/log/iptables.logのタイムスタンプを確認し、現在のシステム時刻と比較して10分前より古い場合にアラートを上げるよう、監視役サーバのcrontabを設定します。ここでは便宜上、自身のシステムログへアラートメッセージを出力する内容の簡単なワンライナーを設定していますが、実際には運用担当者へメールを送信するスクリプトを設定する等、障害を早期に把握しやすい内容にした方が良いでしょう。

ファイルのタイムスタンプが10分以上更新されていない場合に、実際に上記のワンライナーでアラートメッセージがシステムログへ出力されるかどうかを確認します。

期待どおりアラートメッセージが出力されていることが確認できました。これで、監視役サーバ側の準備は完了です。あとはHinemos上で、監視役サーバに対して適当なリソース監視(あるいはプロセス監視、もしくはSNMP監視)を設定すればOKです。なお、既にそのような監視が設定されていれば、この手順はもちろん省略可能です。

上記のリソース監視を設定した後、期待どおりアラートメッセージが出力されなくなりましたので、今度はマネージャの障害発生という状況を擬似的に作り出すため、マネージャサービスを停止してみます。

マネージャ停止から約10分後、監視役サーバのシステムログを見ると、

期待どおり、先のアラートメッセージが出力されました。これで、マネージャに深刻な障害が発生した場合でも、いち早く検知することができそうです。

以上、簡単ですがHinemosに関する話題をご紹介しました。