シンプルにDataSync使ってみた

はじめに

DataSyncってどんな感じなんだろうか、と思いあまり難しいことはせずシンプルにDataSyncを使ってみました。
アイキャッチ画像はカブトムシがデータを引っ張る様を表現したものです。あまり気にしないでください。
※DataSyncの概要につきましては、以下の公式ドキュメントを参照ください
DataSync概要

構成

以下構成図のような形で進めます。
東京リージョン内のEFS内のデータを同じ東京リージョンのS3に転送、という至ってシンプルな内容です。
file

まずEFSの構築

EFSの画面に飛んでサクッと構築しましょう。
file

以下コマンドでEC2にEFSをマウントして、移行用の適当なデータを作ります。

sudo yum -y install amazon-efs-utils 
sudo mkdir /mnt/efs
sudo chown ec2-user: /mnt/efs
sudo mount -t efs fs-xxxxxxxxxxxx /mnt/efs

データはシンプルにviで作成し、cpで量産・・・
file

タスクの作成

次にDataSyncのタスクの設定をしていきます。

送信元の設定

マウントパスは空白で試してみます。
サブネットはEFSを配置したものと同じサブネットを使用。
file
file

送信先の設定

送信元の設定が終われば次に送信先を設定していきます。
送信先にはS3バケットを指定。
IAMロールはこの画面で自動作成しました。
file
file

タスクの詳細な設定

送信先を設定した次の画面でタスクの動作の設定を行うのですが、今回はタスクの名前だけを入力して、他はデフォルト設定のままで進めました。
次のレビュー画面の作成ボタンをクリックしたらタスクが作成されます。

タスクの動作確認

タスクが作成されたので、実際に動かしてみます。
今回はスケジュールを組んでませんので、手動で開始します。
ステータスが成功と表示されればいいのですが・・・
file

エラー・・・

そんな簡単にはいきませんでしたね。
メッセージを読んだところEFSに接続出来なかったので、セキュリティグループの設定を確認してくださいとのこと。
file

セキュリティグループ確認

EFSのセキュリティグループの設定変更を忘れてました。
以下のようにDataSyncタスクに設定したセキュリティグループをインバウンドルールで許可しておく必要があります。
セキュリティグループの設定を変更して再度タスクを開始します。
file

結果

無事にEFSからデータがS3に転送されました。
AWSアカウント内のデータ転送であれば簡単にできますね。
file

おわりに

動作確認のために至ってシンプルな構成でDataSyncを動かしてみました。
今回は1つのAWSアカウント、リージョンでのやり取りだったので、設定もそこまで複雑にはなりませんでしたが、
アカウント間の移行やオンプレミスからの移行だとDataSyncエージェントの設定をする
必要があり、複雑さが増すと思います。
今回の経験を機に自端末とAWSをVPNで繋いで、DataSyncでデータ転送とか
やってみたくなりました。
簡単には出来なさそうですが、どこかのタイミングでチャレンジ出来たらなと、思います。
ありがとうございました。

Last modified: 2024-06-25

Author