AWS CURでコストや使用状況を取得してみる
■はじめに お疲れさまです。 今回は、日々使用しているAWSリソースのコストを分析してみたくなり、 AWS CUR(AWS Cost and Usage Report)というぴったりのものを見つけたので実際にデータを取得... » read more
S3のクロスリージョンレプリケーションについてまとめてみた
こんにちは、西海です。 今回、S3の機能であるレプリケーション、特にクロスリージョンレプリケーションについて自分の理解をまとめます。 S3レプリケーションとは レプリケーションとは英語の「replication」で、意味... » read more
Amazon EC2にFlaskアプリを構築し、Personalizeから推薦情報を受け取ってみるPart1
Amazon Personalizeはフルマネージド型の機械学習サービスで、用意したデータをもとにユーザーへのおすすめ商品・情報を生成します。 おすすめ情報が利用される状況は、Eコマース・コンテンツ配信・メディア・広... » read more
Amazon Personalizeバッチ推論ジョブで生成されたJSONファイルをCSV形式に変えてみる
Amazon Personalizeバッチ推論ジョブで生成されるデータはJSON lines形式で出力されます。 既存のソリューションで利用するとなると、少し加工、もしくはファイル形式を変更する必要があるかもしれませ... » read more
AWS Lambdaを使ってAmazon Personalizeの推薦情報をCSVでS3にエクスポートする方法
Amazon Personalizeから取得できる推薦情報を、AWS Lambdaを利用してCSVでS3にエクスポートする方法を紹介します。 CSV形式でファイルにデータを格納することで、既存のソリューションに組み込... » read more
TerraformでS3バケットを作成しようとしてWarningが出ました【解決法】
TerraformでS3バケットを作成しようとしてplanを実行したときに、以下のWarningが出ました。 Warning: Argument is deprecated 解決方法を紹介します。 Ter... » read more
シェルスクリプトを利用して、ログをS3バケットへ自動アップロードしてみました
目的 ログファイルは、システムの状態をチェックし、監視する為には重要なデータです。 しかし、サーバ上での運用が長時間化するとログが肥大化し、下記影響が生じる可能性があります。 ディスク容量が急速に消費され、他の重要なアプ... » read more
S3バケットの制御を行うポリシーの作成
はじめに 協栄情報石井です、今回は以下のようなS3バケットを作るために行った調査の結果を書こうと思います。 また、今後それを行う人の助けになれるようにブログを作成いたします。 S3 ┝3月フォルダ(管理ユーザのみ閲覧可能... » read more
AWS Backupを利用して、Amazon S3のバックアップをしてみる
Amazon S3ってバックアップを取る必要があるのかな？、と思っている方もいるはずです。 かく言う私も、Amazon S3のバックアップを取得するという考え方自体、頭にありませんでした。なぜなら、Amazon S3... » read more
VPCエンドポイントからS3へ接続してみた
はじめに S3バケット内のオブジェクトを操作する場合に、セキュリティの観点からインターネット経由ではなくS3バケットポリシーで指定したVPCエンドポイントからのみアクセスを許可し、操作できるようにする方法について試してみ... » read more
S3ライフサイクルを使用してオブジェクトを移動・削除する
はじめに S3に保存したログ（オブジェクト）の管理などに利用される機能として、S3ライフサイクルがあります。実際にこの機能を使用して、どのような事が行えるか自身の理解を深めるためにも検証しました。 S3ライフサイクルとは... » read more