CloudWatchを利用するためcollectdを起動したら、CloudWatchログに大量の不要?なログが収集されていた


この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので十分ご注意ください。

LinuxOSにCloudWatchエージェントをインストールした際に、collectdをインストールしますよね。後日サーバーのログを見ようとCloudWatchログを見たところ、なんじゃこりゃあああああああああ、な状況になっていました。

 

 

syslogへのcollectd大量ログが発生

■現状

CloudWatchロググループを覗いてみると、

 

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:45.371+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]

 

※このログは一部です。CloudWatchログは収集や保存に料金が発生しますので、なんとかしたいですよね。

 

詳しく見てみると、collectdが出力しているログだとわかりました。

 

 

■対処法

collectdに関する設定は[/etc/collectd.conf]で指定されています。今回の大量ログはsyslogへの出力ログレベルがinfoなので出ていたようなので、ログレベルをnoticeに変更します。要件がinfo以上の場合はやめましょう。

 

ちなみに、ログレベルは以下の通りです。

 

ログのレベル 説明
debug デバッグ
info 情報
notice 通知
warning 警告
err エラー発生
crit 致命的な問題
alert 早急に修正すべき問題
emerg システム不能の非常事態

 

 

[/etc/collectd.conf]の変更イメージは以下です。

 

#<Plugin syslog>
#       LogLevel info
#</Plugin>

↓

<Plugin syslog>
     LogLevel notice
</Plugin>

 

 

まず“collectd.conf”の中身を確認します。

 

less /etc/collectd.conf

 

ファイルのボリュームが大きいので、検索します。

 

/#<Plugin syslog>

 

vi

 

以下のように変更しましょう。

 

#<Plugin syslog>
#       LogLevel info
#</Plugin>

↓変更

<Plugin syslog>
       LogLevel notice
</Plugin>

 

保存して終了しましょう

 

:wq

 

編集しましたら、サービスを再起動しましょう。

 

systemctl restart collectd
systemctl status collectd

 

以上です。

 

 

まとめ:CloudWatchを利用するためcollectdを起動したら、CloudWatchログに大量の不要?なログが収集されていた

ログ収集のためにCloudWatchログを利用していますが、ログは収集して終わりではないことが改めてわかりました。

 

しばらくはログ収集に向き合っていきたいと思います。

 

 

参考リンク:AWS公式ドキュメント

 

↓ほかの協栄情報メンバーもAmazon CloudWatchに関する記事を公開しています。ぜひ参考にしてみてください。

 

■CloudWatchでサーバーを監視し、メトリクスの閾値を超えた時にメールで通知を受けとる。(nakaniwa)
https://cloud5.jp/cloudwatch-agent-nakaniwa/

 

■特定IAMユーザに特定のタグが付与されたCloudWatch Logsのみ参照を許可する IAM ポリシー(小林 剛)
https://cloud5.jp/log-access-control-with-tag/

 

■RDSイベントを取得してCloudWatchLogsに出力するハンズオン(INAMURA)
https://cloud5.jp/rds-events-send-to-cloudwatchlogs/

 

■CloudWatch Logs の利用量が急増の場合、問題ロググループを特定する方法(dapeng)
https://cloud5.jp/cloudwatch-logs-incomingbytes/

 

Last modified: 2023-01-28

Author