Amazon EC2にFlaskアプリを構築し、Personalizeから推薦情報を受け取ってみるPart1

Amazon Personalizeはフルマネージド型の機械学習サービスで、用意したデータをもとにユーザーへのおすすめ商品・情報を生成します。

　

おすすめ情報が利用される状況は、Eコマース・コンテンツ配信・メディア・広告など、多岐にわたりますよね。

　

今回の記事ではAmazon Prsonalizeが生成する推薦情報をWebアプリケーションでユーザーごとに表示してみるハンズオンを紹介します。

　

Webアプリケーションに関しては、初心者の方でも扱いやすいFlaskを利用しますのでご安心ください。

　

↓ボリュームが多いため、Part1とPart2に分けてあります。

　

• Amazon EC2にFlaskアプリを構築し、Personalizeから推薦情報を受け取ってみるPart1
• Amazon EC2にFlaskアプリを構築し、Personalizeから推薦情報を受け取ってみるPart2(後日投稿予定)

　

　

FlaskアプリでPersonalizeのおすすめ情報を表示

Personalizeのハンズオンをいろいろやりましたが、"ユーザーにどう届ければいいか"の部分を紹介する記事があまりありませんでした。

　

この記事では、「Eコマースサイトでユーザーにおすすめの果物を2つ紹介する」を想定して、AWSクラウド上にWebアプリとAmazon Personalizeを作成していきます。

　

↓できあがりイメージは下の画像です。サイトデザインやログイン仕様は無視しています。

　

　

↓ユーザーIDを入力すると、PersonalizeのAPIを使ってユーザーにおすすめのItemIDを取得し、ItemIDに基づいたデータベースに登録されたフルーツを2つ表示します。

　

　

　

■必要な前提知識と準備

今回のハンズオンは以下の前提知識が必要です。できるだけ初心者の方でも迷わずにできるように書きましたが、エラーがおきたときの対処など含めて前提知識があったほうがスムーズにハンズオンができるかと思います。

　

• AWSアカウントのセットアップ
• VPC,SecurityGroups,EC2の基本知識
• Amazon Personalizeについての基本知識
• 必要なツールとライブラリ（Flask, Boto3など）

　

【構築の流れ】

• Amazon S3作成

↓

• Amazon Personalize

　

　

■ダミーデータ作成

まずはPesonalizeにインポートするダミーデータを作成します。Personalizeから推薦情報を得るためには、インタラクションデータが最低限あれば問題ありません。

　

以下のコードを利用し、インタラクションデータのダミーデータを作成しましょう。ユーザー数とレコード数は増やしても大丈夫ですが、アイテム数に関しては30でお願いします。理由はFlaskアプリのデータベースに登録するフルーツが30件のためです。

　

"""インタラクションデータ作成"""
import pandas as pd
import random
import time

# レコード数を定義
num_records = 10000

# パラメータ設定
user_id_range = 1000  # USER_IDの範囲（1から500までの整数）
item_id_range = 30  # ITEM_IDの範囲（1から1000までの整数）
event_types = ["click", "view", "buy", "save"]

# ダミーデータの生成
user_ids = [random.randint(1, user_id_range) for _ in range(num_records)]
item_ids = [random.randint(1, item_id_range) for _ in range(num_records)]
timestamps = [int(time.time()) for _ in range(num_records)]
event_types_list = [random.choice(event_types) for _ in range(num_records)]

# pandasのDataFrameに変換
df = pd.DataFrame({
    "USER_ID": user_ids,
    "ITEM_ID": item_ids,
    "TIMESTAMP": timestamps,
    "EVENT_TYPE": event_types_list
})

# CSVファイルに保存
df.to_csv('interaction_dummy_data.csv', index=False)

print("interaction_dummy_data.csv ファイルを作成しました。")

　

IDEツールがある方はそちらを利用するか、お使いのローカルPCにPythonがインストールされていれば、Pandasライブラリをpipでインストールするだけでダミーデータを作成できます。

　

↓コードをメモ帳にペーストし、[create_dummy_data.py]というファイル名でダウンロードフォルダに保存します。

　

　

↓

　

　

↓ダウンロードフォルダ内でマウスポインタを合わせ、右クリックから[ターミナルで開く]をクリックします。

　

　

↓次のコマンドを実行します。
python .\create_dummy_data.py

　

　

↓ダウンロードフォルダにダミーデータが作成されます。

　

　

↓

　

　

ダミーデータの作成は以上です。

　

　

■S3バケット作成

作成したダミーデータを保存するS3バケットを作成します。

　

↓AWSにログインし、サービス検索窓で[S3]を検索します。

　

　

↓[バケット]から[バケットを作成]をクリックします。

　

　

↓バケット名は任意の名前で入力し、AWSリージョンは自身の環境に合わせて設定してください。特に要件がなければ、東京リージョンを選択しましょう。

　

　

↓[バケットを作成]をクリックします。

　

　

↓作成したバケットをクリックます。

　

　

↓[アクセス許可]タブをクリックし、[バケットポリシー]の[編集]をクリックします。

　

　

↓以下のポリシーで"YOUR_BUCKET_NAME"部分2カ所を自身が作成したS3バケット名に修正して、JSONドキュメントを貼り付けます。

　

{
    "Version": "2012-10-17",
    "Id": "PersonalizeS3BucketAccessPolicy",
    "Statement": [
        {
            "Sid": "PersonalizeS3BucketAccessPolicy",
            "Effect": "Allow",
            "Principal": {
                "Service": "personalize.amazonaws.com"
            },
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME",
                "arn:aws:s3:::YOUR_BUCKET_NAME/*"
            ]
        }
    ]
}

　

　

↓[変更の保存]をクリックします。

　

　

↓つづいて、[オブジェクト]タブをクリックし、[フォルダの作成]をクリックします。

　

　

↓[フォルダ名]を[interactions]とし、[フォルダの作成]をクリックします。
interactions

　

　

↓作成したフォルダをクリックします。

　

　

↓[ファイルを追加]をクリックします。

　

　

↓作成したダミーデータを追加し、[アップロード]をクリックします。

　

↓

　

S3バケットの作成は以上です。

　

　

■Amazon Personalize作成

おすすめ情報を生成するAmazon Personalizeソリューション・キャンペーンを作成していきます。

　

↓サービス検索窓で[Amazon Personalize]を検索し、クリックします。

　

　

↓[Create dataset group]をクリックします。

　

　

↓[Name]は任意で入力していいただき、[Domain]を[E-commerce]を選択し、[Create group]をクリックします。
saitou-personalize-handson-datasetgroup

　

　

↓Pesonalizeを簡単に作成するためのフローが出てきます。[Create datasets]で[Import interaction data]をクリックします。

　

　

↓[Import data directly into Amazon Personalize datasets]を選択し、[Next]をクリックします。

　

　

↓[Dataset name]は任意の名前を入力し、[Dataset schema]は[Create a new domain schema by modifying the existing default schema for your domain]を選択します。[Schema name]も任意の名前を入力してください。
saitou-personalize-handson-dataset-interaction

　

　

↓[Schema definition]はそのままで、[Next]をクリックします。

　

　

↓[Data import source]は[Import data from S3]を選択し、[Dataset import job name]は任意の名前を入力してください。
saitou-personalize-handson-importjob

　

　

↓[Data location]は作成したS3バケットのプレフィックス/interactions/を入力します。
s3://saitou-personalize-handson-bucket/interactions/

　

　

↓S3バケットでコピーできます。

　

　

↓Personalizeへの権限付与の設定します。[IAM service role]の[Create a new role]をクリックします。

　

　

↓[Specific S3 buckets]で作成したS3バケット名を入力し、[Create role]をクリックします。

　

　

↓[Start import]をクリックします。

　

　

↓ステータスが[create pending]から[active]になるのを待ちましょう。レコード数にもよりますが、5分ほどでActiveになるかと思います。

　

↓

　

↓つづいて、フローの中段で[Use custom resources (advanced)]タブをクリックし、[Create solution]をクリックします。

　

　

↓[Solution name]は任意の名前を入力し、[Solution type]は[Item recommendation]を選択、[Recipe]は[aws-user-personalization]を選択してください。[Next]をクリックします。
saitou-personalize-handson-solution

　

　

↓[Advanced configuration – optional]はインポートしたデータをより細かくチューニングしてトレーニングさせる設定部分です。今回はデフォルトでいくので、[Next]をクリックします。

　

　

↓[Review and create]で入力した内容を確認し、[Create solution]をクリックします。

　

　

↓作成中から[Active]になるのを待ちましょう。20分ほどかかりますので、ソリューションの[Solution version status]で都度確認してください。

　

↓

↓

↓

　

↓さいごにトレーニングしたモデルをAPIで扱えるようにキャンペーンを作成します。[Campaigns]から[Create campaign]をクリックします。

　

　

↓[Campaign name]は任意の名前を入力し、[Solution]は作成したソリューションを選択、[Solution version ID]は自動で最新バージョンが選択されるのでそのままです。
saitou-personalize-handson-campaign

　

　

↓そのほかの設定は、推薦するアイテムの探索範囲の設定ですので、こちらもデフォルトのまま、[Create campaign]をクリックします。

　

　

↓こちらもソリューション同様、すこし時間がかかります。[Details]の[Status]で[Active]になるのを待ちましょう。

　

↓

　

↓[Active]になりましたら、推薦情報が取得できるか確認します。[Personalization API]タブをクリックし、[Test campaign results]の[User ID]欄に適当な数字を入力、[Get recommendations]をクリックします。

　

↓

　

↓画面下に25件分の推薦情報が返ってくるはずです。Scoreは相対的な尺度で表示され、25件分表示した場合はすべて足して"1"になるようになっています。1,000件取得した場合は、ひとつ当たりのScoreはかなり小さくなります。

　

　

私の場合は[User ID]が[1]に対し、[27]や[1]、[30]が返ってきました。ダミーデータの各パラメータはランダムに生成されているので、[User ID]を[1]と入力しても、わたしの結果とは異なるかと思います。ためしに色々なIDを入力してみましょう。

　

Amazon Personalizeの作成は以上です。

　

　

まとめ

Part1はここまでです。Part2ではAmazon Ec2のインスタンスを起動し、Flaskアプリをデプロイします。Flaskアプリのコードについては、GitHubからFlaskアプリのコードが格納されたリポジトリをクローンしますので、Flaskについて知識がなくても大丈夫です。

　

Part2は後日投稿しますので、よろしくお願いいたします。

　

　

☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
　
AIや機械学習のレコメンデーションサービスについて知りたい方は、ぜひ協栄情報にお問い合わせください。
https://www.cp-info.co.jp/contact/
　
☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆

　

　

参考リンク：AWS公式ドキュメント

　

↓ほかの協栄情報メンバーも機械学習・AIに関する記事を公開しています。ぜひ参考にしてみてください。

　

■Amazon CodeWhispererを試してみた(dapeng)
https://cloud5.jp/amazon-codewhisperer/

　

■Amazon Personalizeの使い方や事例を紹介【ハンズオンあり】(齊藤弘樹)
https://cloud5.jp/saitou-amazonpersonalize-entry/

　

■Amazon Personalizeの使い方や事例を紹介【ハンズオンあり】 part2(齊藤弘樹)
https://cloud5.jp/saitou-amazonpersonalize-handson/

　

■Amazon Personalize学習用ダミーデータをPythonで作ってみた(齊藤弘樹)
https://cloud5.jp/saitou-personalize-create-dammydata/

　

■Amazon Personalizeのエラーを解決！各カラムのデータ型を調べる方法(齊藤弘樹)
https://cloud5.jp/saitou-check-data-type/

　

■AWS Lambdaを使ってAmazon Personalizeの推薦情報をCSVでS3にエクスポートする方法(齊藤弘樹)
https://cloud5.jp/saitou-personalize-attribute-recommendation/