Amazon EC2にFlaskアプリを構築し、Personalizeから推薦情報を受け取ってみるPart2

齊藤弘樹 written 5か月 ago

Amazon Personalizeはフルマネージド型の機械学習サービスで、用意したデータをもとにユーザーへのおすすめ商品・情報を生成します。

おすすめ情報が利用される状況は、Eコマース・コンテンツ配信・メディア・広告など、多岐にわたりますよね。

今回の記事ではAmazon Prsonalizeが生成する推薦情報をWebアプリケーションでユーザーごとに表示してみるハンズオンを紹介します。

Webアプリケーションに関しては、初心者の方でも扱いやすいFlaskを利用しますのでご安心ください。

↓ボリュームが多いため、Part1とPart2に分けてあります。

Amazon EC2にFlaskアプリを構築し、Personalizeから推薦情報を受け取ってみるPart1
Amazon EC2にFlaskアプリを構築し、Personalizeから推薦情報を受け取ってみるPart2 ←今回

FlaskアプリでPersonalizeのおすすめ情報を表示

「Amazon EC2にFlaskアプリを構築し、Personalizeから推薦情報を受け取ってみるPart2」は前回の続きからです。

前回はユーザーへのおすすめを生成するAmazo Personalizeソリューションやキャンペーンを作成しました。

今回のPart2では、Personalizeで生成された推薦情報をユーザーに表示するWebアプリケーションを作成します。WebアプリケーションはAWS クラウド環境にパブリックサブネットを作成し、EC2インスタンスを起動、Flaskアプリをデプロイし稼働させます。

■必要な前提知識と流れ

今回のハンズオンは以下の前提知識が必要です。できるだけ初心者の方でも迷わずにできるように書きましたが、エラーがおきたときの対処など含めて前提知識があったほうがスムーズにハンズオンができるかと思います。

【前提知識】

AWSアカウントのセットアップ
VPC,SecurityGroups,EC2の基本知識
Amazon Personalizeについての基本知識
必要なツールとライブラリ（Flask, Boto3など）

【構築流れ】

構築図の中の左側を作成します。

IAMロール作成
↓
VPC作成
↓
セキュリティグループ作成
↓
EC2インスタンス作成
↓
Flaskアプリデプロイ

■IAMロール作成

まずはIAMロールを作成します。EC2インスタンスにセッションマネージャーで接続するためのポリシーと、Personalizeから推薦情報を取得するための権限を付与します。

↓サービス検索窓で[IAM]と検索し、[IAM]をクリックします。

↓左のナビゲーションペインから[ロール]をクリックし、[ロールを作成]を押します。

↓[信頼されたエンティティタイプ]は[AWS のサービス]を選択します。

↓[サービスまたはユースケース]は[EC2]を選択し、[ユースケース]は[EC2]を選択します。選択できたら、[次へ]をクリックします。

↓[許可ポリシー]は次の二つを検索し、チェックボックスにチェックをし、[次へ]をクリックします。
AmazonSSMManagedInstanceCore
AmazonPersonalizeFullAccess

↓

↓[ロール名]は任意の名前を入力します。
saitou-personalize-handson-iamrole

↓[許可ポリシー]で2つのポリシーがアタッチされていることを確認し、[ロールを作成]をクリックします。

IAMロールの作成は以上です。

■VPC作成

つぎにEC2インスタンスを起動するための場所であるVPCを作成します。ハンズオンなので、EC2インスタンスをプライベートサブネットにおき、パブリックサブネットにALBを～というアーキテクチャではなく、VPC内にはパブリックサブネット一つだけ作成します。

↓サービス検索窓で[VPC]と検索し、[VPC]をクリックします。

↓ダッシュボード画面で[VPCを作成]をクリックします。

↓[作成するリソース]は[VPCなど]を選択します。[名前タグの自動生成]は任意の名前を入力します。[IPv4 CIDR ブロック]は[10.0.0.0/16]にします。
saitou-personalize-handson

↓以下の設定値を選択・入力してください。以下にない項目はデフォルトのままで大丈夫です。

項目	設定値
アベイラビリティゾーン (AZ) の数	1
パブリックサブネットの数	1
プライベートサブネットの数	0
ap-southeast-1a のパブリックサブネット CIDR ブロック	10.0.1.0/24

↓入力が完了しましたら、[VPCを作成]をクリックします。

↓[成功]と表示が出ましたら、完了です。

VPCの作成は以上です。

■セキュリティグループ作成

つづいてセキュリティグループを作成します。構築が完了したら、Webブラウザでテストしますので、自身の環境のIPアドレスだけ許可するセキュリティグループを作成します。

↓[VPC]のダッシュボード画面で、左のナビゲーションペインから[セキュリティグループ]をクリックし、[セキュリティグループを作成]を押します。

↓[セキュリティグループ名]は任意の名前を入力し、[VPC]はさきほど作成したVPCを選択します・
saitou-personalize-handson-sg

↓[インバウンドルール]で[ルールを追加]をクリックします。[タイプ]は[すべてのトラフィック]を選択し、[ソース]は[MyIP]を選択します。[MyIP]を選択すると、自身の環境のIPアドレスが自動で入力されます。アウトバウンドルールはそのままで。

↓入力が完了しましたら、[セキュリティグループを作成]をクリックします。

セキュリティグループの作成は以上です。

■EC2インスタンスのセットアップ

FlaskアプリをデプロイするEC2インスタンスを作成します。起動完了後、いくつかコマンドをうち、Flaskアプリも動かします。このパートが一番つまづくかもしれません。できるだけ詳細に書きましたので、手順通り実施していただければ大丈夫かと思います。

↓サービス検索窓で[EC2]と検索し、[EC2]をクリックします。

↓EC2ダッシュボード画面から[インスタンスを起動]をクリックします。

↓[名前]は任意の名前を入力します。
saitou-personalize-handson-EC2

↓[Application and OS Images (Amazon Machine Image)]は以下の設定値で選択します。

項目	設定値
Amazon マシンイメージ	Amazon Linux 2023 AMI 最新バージョン
アーキテクチャ	64ビット(x86)
インスタンスタイプ	m5.large
キーペア	自身で用意したもの

↓

↓[ネットワーク]設定では、次の設定値を選択してください。

項目	設定値
VPC	作成したもの
サブネット	作成したもの
パブリック IP の自動割り当て	有効化
ファイアウォール (セキュリティグループ)	既存のセキュリティグループを選択する
共通のセキュリティグループ	作成したセキュリティグループ

↓[高度な詳細]では[IAM インスタンスプロフィール]で作成したIAMロールを選択します。
saitou-personalize-handson-iamrole

↓上記で示した各設定値以外の項目はデフォルトで問題ありません。入力が完了しましたら、[インスタンスを起動]をクリックします。

↓[成功]と表示されましたら、[インスタンス]画面に移動します。

↓[ステータスチェック]が[初期化しています]から[2/2のチェックに合格しました]に変わるまで待ちましょう。

↓[ステータスチェック]が[2/2のチェックに合格しました]に変わりましたら、EC2インスタンスの作成は以上です。

■Flaskアプリケーションのデプロイ

さいごにFlaskアプリケーションをデプロイします。

Flaskアプリケーションの役割は、ユーザーが入力したユーザーIDに基づいて、Personalizeから推薦情報を取得し、ユーザーにおすすめのアイテムを提供することです。GitHubにコードを置きましたので、それを利用してください。

↓作成したEC2インスタンスにチェックを入れ、画面上部にある[接続]をクリックします。

↓[セッションマネージャー]タブをクリックし、[接続]を押します。もし、[セッションマネージャー]タブをクリックし、[接続]が表示されていない場合、IAMロールでポリシーがアタッチされているかや、EC2インスタンスがパブリックサブネットに配置されているか、AMIがAmazon Linux2023か確認してください。

↓コマンドラインが表示されましたら、次のコマンドを打ちます。
sudo su ec2-user
cd

↓

つづいて、必要なパッケージをインストールします。

sudo dnf install -y git
sudo dnf install -y sqlite
sudo dnf install -y python3-pip python3-devel

↓インストールが完了しましたら、GitHubにFlaskアプリのリポジトリをクローンします。
git clone https://github.com/saitou-cpi/flaskapp-personalize.git

[ec2-user@ip-10-0-1-146 ~]$ git clone https://github.com/saitou-cpi/flaskapp-personalize.git
Cloning into 'flaskapp-personalize'...
remote: Enumerating objects: 48, done.
remote: Counting objects: 100% (48/48), done.
remote: Compressing objects: 100% (35/35), done.
remote: Total 48 (delta 15), reused 40 (delta 10), pack-reused 0
Receiving objects: 100% (48/48), 8.13 KiB | 8.13 MiB/s, done.
Resolving deltas: 100% (15/15), done.

↓クローンできたか確認します。
ll

[ec2-user@ip-10-0-1-146 ~]$ ll
total 0
drwxrwxr-x. 5 ec2-user ec2-user 121 Nov 25 06:07 flaskapp-personalize

↓つぎに仮想環境を作成します。※env名を長くしすぎました、、、すいません
python3 -m venv flaskapp-personalize/env/flaskapp-personalize-env
source flaskapp-personalize/env/flaskapp-personalize-env/bin/activate

仮想環境が有効化されたら、ユーザー名の左側にenv名が表示されます。
(flaskapp-personalize-env) [ec2-user@ip-10-0-1-146 ~]$

↓ディレクトリを移動します。
cd flaskapp-personalize/

↓つづいてFlaskやその他必要なパッケージをインストールします。
pip install -r flaskapp-personalize/requirements.txt

Flaskアプリを動かすためのパッケージはすべてインストールできました。さいごにFlaskアプリのコードを一部修正します。

つぎのコマンドの[YOUR-REGION][YOUR-ACCOUNT-ID][YOUR-CAMPAIGN-NAME]部分を自身の環境に合わせて修正してください。
sed -i 's/YOUR_PERSONALIZE_CAMPAIGN_ARN/arn:aws:personalize:YOUR-REGION:YOUR-ACCOUNT-ID:campaign\/YOUR-CAMPAIGN-NAME/' app.py

わたしの場合は、こんな感じです。アカウントIDはマスク目的で適当な数字です。
sed -i 's/YOUR_PERSONALIZE_CAMPAIGN_ARN/arn:aws:personalize:ap-southeast-1:123456789012:campaign\/saitou-personalize-handson-campaign/' app.py

↓キャンペーンARNはPesonalzeの画面から確認できます。

↓修正できましたら、コマンドを実行しましょう。

(flaskapp-personalize-env) [ec2-user@ip-10-0-1-146 flaskapp-personalize]$ sed -i 's/YOUR_PERSONALIZE_CAMPAIGN_ARN/arn:aws:personalize:ap-southheast-1:123456789012:campaign\/saitou-personalize-handson-campaign/' flaskapp-personalize/app.py

↓修正できたか確認してみましょう。つぎのコマンドを実行します。
cat app.py

11行目の"CAMPAIGN_ARN"部分が自身のキャンペーンARNに修正されていましたでしょうか。

↓それでは、Flaskを実行します。つぎのコマンドを実行します。
python app.py
　

↓コマンドラインはそのままで、WebブラウザからつぎのURLにアクセスしてみましょう。IPアドレスは作成したEC2インスタンスのパブリックIPアドレスを入れてください。
http://EC2インスタンスパブリックIPアドレス:5000

「ようこそ」と表示されたら、構築完了です。

Flaskアプリケーションのデプロイは以上です。

■動作確認

さいごに動作確認してみましょう。

↓入力フォームに適当な数字を入力し、[送信]をクリックしてみてください。

↓おすすめのフルーツが二つ表示されたかと思います。

↓Amazon Personalizeのキャンペーン画面で、同じユーザーIDを入力してみましょう。

生成された推薦情報の上位2つのアイテムIDは[ 27 ]と[ 1 ]です。Flaskアプリで利用しているフルーツのデータベースをみると、

1|Apple
2|Banana
3|Orange
4|Strawberry
5|Blueberry
6|Mango
7|Pineapple
8|Watermelon
9|Grapefruit
10|Lemon
11|Lime
12|Cherry
13|Grape
14|Melon
15|Kiwi
16|Peach
17|Nectarine
18|Papaya
19|Guava
20|Lingonberry
21|Raspberry
22|Blackberry
23|Apricot
24|Plum
25|Passion Fruit
26|Avocado
27|Persimmon
28|Pomegranate
29|Dragon Fruit
30|Fig

[27: Persimmon],[1: Apple]ですね。

もういちどブラウザ画面に戻ってみると、

同じ結果が表示されていることがわかりますね。

ユーザーが入力したIDをもとに、Pesonalizeに対し推薦情報を生成するAPIを実行し、返ってきたアイテムIDをデータベースと照合し、該当のフルーツを表示しています。

今回のハンズオンは以上です。

まとめ:

Amazon Personalizeはインポートしたデータセットからレシピに基づき学習し、パーソナライズされたアイテムIDやアクションIDを生成します。

Amazon Personalizeはサービス単体では力を発揮しないため、ハンズオンや学習においても"Amazon Personalize×何か"を意識する必要があります。Personalizeの代表的なユースケースはEコマースですので、"Amazon Personalize×Flask"でハンズオンを実施してみました。

また、Amazon Personalizeがどうユーザーに届くのかも重要な気がします。

今回Webアプリで推薦情報を提供してみて、強く感じました。つぎはAPI GatewayとLamdbaを利用して、サーバレスアーキテクチャで推薦情報を提供する仕組みを作ってみます。

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
　
AIや機械学習のレコメンデーションサービスについて知りたい方は、ぜひ協栄情報にお問い合わせください。
https://www.cp-info.co.jp/contact/
　
☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

参考リンク：AWS公式ドキュメント

↓ほかの協栄情報メンバーも機械学習・AIに関する記事を公開しています。ぜひ参考にしてみてください。

■Amazon CodeWhispererを試してみた(dapeng)
https://cloud5.jp/amazon-codewhisperer/

■Amazon Personalizeの使い方や事例を紹介【ハンズオンあり】(齊藤弘樹)
https://cloud5.jp/saitou-amazonpersonalize-entry/

■Amazon Personalizeの使い方や事例を紹介【ハンズオンあり】 part2(齊藤弘樹)
https://cloud5.jp/saitou-amazonpersonalize-handson/

■Amazon Personalize学習用ダミーデータをPythonで作ってみた(齊藤弘樹)
https://cloud5.jp/saitou-personalize-create-dammydata/

■Amazon Personalizeのエラーを解決！各カラムのデータ型を調べる方法(齊藤弘樹)
https://cloud5.jp/saitou-check-data-type/

■AWS Lambdaを使ってAmazon Personalizeの推薦情報をCSVでS3にエクスポートする方法(齊藤弘樹)
https://cloud5.jp/saitou-personalize-attribute-recommendation/