S3 Storage Lensを使って不完全のアップロードを検出し、S3のコストを削減

dapeng written 2年 ago

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので十分ご注意ください。

AWS S3へ巨大なファイルをアップロードする際、より高速に転送するには「Multipart Uploads 」を利用することが推奨されています。

Multipart Uploadsは下記のように流れます。

アップロードが開始
オブジェクトパーツがアップロードされ
すべてのオブジェクトパーツがアップロードされると、マルチパートのアップロードが完了

途中で、完了していないMultipart Uploadsはどうなりますか？

Multipart Uploads の完了リクエストが正常に送信されなかった場合、 S3 はパーツを組み立てず、オブジェクトを作成しません。したがって、パーツは Amazon S3 に残るため、Amazon S3 に保存されたパーツに対して料金が発生します。

これらのパーツは、パーツのアップロード時に指定されたストレージクラスに従って課金されます。

つまり、何らかの事情で、ファイルアップロードが中途半端な状態で終了してしまった場合、中途半端なデータが裏側で残り課金され続けるということのようです。

S3バケット内の不完全なマルチパートアップロードを手動で一覧表示できますか？

CLIで不完全なデータを確認

aws s3api list-multipart-uploads --bucket (バケット名)

確認結果

見づらいですね、複数のファイルのことを分かりましたが、トータルサイズなど直ぐわかりません。

「S3 Storage Lens」という機能はできます！！

Amazon S3 Storage Lensとは？

Amazon S3 Storage Lens は、使用状況とアクティビティのメトリクスを集約して、Amazon S3 コンソールページにあるアカウントスナップショットにこの情報を表示します。
S3 Storage Lens のダッシュボードを使用して、インサイトと傾向を可視化し、外れ値にフラグを付け、推奨事項を受け取って、ストレージコストの最適化とデータ保護のベストプラクティスの適用を行うことができます。

S3 Storage Lensを使用して、Multipart Uploadsを含むAWSアカウントとS3バケットを検出します。また、これらの不完全なMultipart Uploadsの結果として存在するデータの量を確認することもできます。