この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので十分ご注意ください。
LinuxOSにCloudWatchエージェントをインストールした際に、collectdをインストールしますよね。後日サーバーのログを見ようとCloudWatchログを見たところ、なんじゃこりゃあああああああああ、な状況になっていました。
syslogへのcollectd大量ログが発生
■現状
CloudWatchロググループを覗いてみると、
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:40.439+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:45.371+09:00 Jan 23 14:29:40 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
2023-01-23T14:29:50.468+09:00 Jan 23 14:29:50 secondary info Available write targets: [none]
※このログは一部です。CloudWatchログは収集や保存に料金が発生しますので、なんとかしたいですよね。
詳しく見てみると、collectdが出力しているログだとわかりました。
■対処法
collectdに関する設定は[/etc/collectd.conf]で指定されています。今回の大量ログはsyslogへの出力ログレベルがinfoなので出ていたようなので、ログレベルをnoticeに変更します。要件がinfo以上の場合はやめましょう。
ちなみに、ログレベルは以下の通りです。
| ログのレベル | 説明 |
|---|---|
| debug | デバッグ |
| info | 情報 |
| notice | 通知 |
| warning | 警告 |
| err | エラー発生 |
| crit | 致命的な問題 |
| alert | 早急に修正すべき問題 |
| emerg | システム不能の非常事態 |
[/etc/collectd.conf]の変更イメージは以下です。
#<Plugin syslog>
# LogLevel info
#</Plugin>
↓
<Plugin syslog>
LogLevel notice
</Plugin>
まず“collectd.conf”の中身を確認します。
less /etc/collectd.conf
ファイルのボリュームが大きいので、検索します。
/#<Plugin syslog>
vi
以下のように変更しましょう。
#<Plugin syslog>
# LogLevel info
#</Plugin>
↓変更
<Plugin syslog>
LogLevel notice
</Plugin>
保存して終了しましょう
:wq
編集しましたら、サービスを再起動しましょう。
systemctl restart collectd
systemctl status collectd
以上です。
まとめ:CloudWatchを利用するためcollectdを起動したら、CloudWatchログに大量の不要？なログが収集されていた
ログ収集のためにCloudWatchログを利用していますが、ログは収集して終わりではないことが改めてわかりました。
しばらくはログ収集に向き合っていきたいと思います。
参考リンク：AWS公式ドキュメント
↓ほかの協栄情報メンバーもAmazon CloudWatchに関する記事を公開しています。ぜひ参考にしてみてください。
■CloudWatchでサーバーを監視し、メトリクスの閾値を超えた時にメールで通知を受けとる。(nakaniwa)
https://cloud5.jp/cloudwatch-agent-nakaniwa/
■特定IAMユーザに特定のタグが付与されたCloudWatch Logsのみ参照を許可する IAM ポリシー(小林 剛)
https://cloud5.jp/log-access-control-with-tag/
■RDSイベントを取得してCloudWatchLogsに出力するハンズオン(INAMURA)
https://cloud5.jp/rds-events-send-to-cloudwatchlogs/
■CloudWatch Logs の利用量が急増の場合、問題ロググループを特定する方法(dapeng)
https://cloud5.jp/cloudwatch-logs-incomingbytes/