2022/11/26に開催された機械学習の社会実装勉強会第17回(https://machine-learning-workshop.connpass.com/event/264914/)の発表で利用した資料です。 動画はこちら https://youtu.be/VO8RSbfBNic

1. Feature Storeの
Online StoreとOffline Storeの違いを理解する
ML機能を支えるデータ基盤
2022/11/26 第17回勉強会

2. 自己紹介
● 名前: 西岡 賢一郎
○ Twitter: @ken_nishi
○ note: 西岡賢一郎@研究者から経営者へ (https://note.com/kenichiro)
○ YouTube: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル
(https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg)
● 経歴
○ 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得
○ 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社ト
ライディアを設立
○ トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職
○ CDPのスタートアップと株式会社データインフォームドの2つに所属
○ 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験

3. 今回のお話
● ML機能をプロダクトに組み込んだ実例
● Online StoreとOffline Storeの特徴
● デモ: Amazon SageMakerのOnline Store, Offline Store

4. ML機能をプロダクトに組み込んだ実例

5. Cassandraを用いたアプリケーション
● Cassandraに溜め込んだ大規模データを使ったアプリケーション
● 書き込み・読み込みの速さと水平スケールの容易さでCassandraを選択
● アプリケーションは問題なく運用できていた

6. ML機能を実現するときに出てきた壁
● MLのモデルを学習するためのデータをCassandraから持ってくることが困難
○ データが大量
○ 抽出のためのキーが必要
○ 集計が苦手
○ 範囲検索など複雑な検索が苦手 (e.g. 特定期間のデータ抽出)
● 別の方法でデータを保持する方針へ

7. ML機能用の構成
● 分析用データを別に切り分け
○ データを分岐させてS3に同様のデータを保存
○ Appendのみ実施し、削除フラグは別途管理
○ S3からAthena経由で取得したデータからモデルを学習
● データの管理コストが増大
○ データソースの違いによる影響をどのように管理するかが課題となった

8. ETL乱立問題へもつながる
● 新しいML機能のためにデータの持ち方を変えたい
● 旧ML機能は残すが、新しいデータに対応するリファクタリングの工数が足り
ない → 同じようなデータを別に保存することに

9. ML機能作成時に直面する問題
● Online Store (Cassandra)では、モデルの学習データを抽出しづらい
● Offline Store (Athena)とOnline Storeのデータの同期が難しい
● そもそも性質が違うため、完全に同じデータを保有することが難しい
○ 例: データの削除のときの挙動
■ Cassandra: 直接Update
■ Athena: Delete用のレコードを書き込む (ファイルまるごとのアップデートを避けるた
め)
● データを分岐させることでML用のデータを作ることができるが、ETLが乱立
しがちとなる
● 今回はメインのデータベースにCassandraを用いた例だったが、メインが
RDBだった場合はどうか？
○ MLに使うデータ量が少ない場合はよい
○ MLにサーバログデータなど大量データまで活用するとき難しくなる
○ とくに、オンライン推論のときに特徴量をいかに素早く取れるかが重要

10. Online StoreとOffline Storeの特徴

11. Online StoreとOffline Storeの特徴
● Online StoreとOffline Store
○ Online Store
■ レイテンシが小さい
■ Key Valueストアなどが使われることが多い
■ Redis, Cassandraなど
○ Offline Store
■ レイテンシが大きい
■ 分散ファイルシステムが使われることが多い。
■ Athena, BigQueryなど
● 学習・推論の段階でどのような検索が走るかを把握する必要がある

12. 検索条件の例
● IDや日付などの検索条件により、データ走査が各データベースごとにどのように変化するか理解
● インデックス・パーティションに加え、シャーディングの最適化も考慮

13. Feature Storeとは
● 機械学習の学習・推論のための特徴量を管理するシステム
● Feature Storeの特徴
○ 特徴量が共有されている
○ Feature Engineeringの情報が参照できる
○ データのバージョン管理されている
○ アクセスコントロールができる
○ Online(低レイテンシ)とOffline(高レイテンシ)両方の性質を備える

14. 参考: FeastのOnline StoreとOffline Store
Online Store
● SQLite
● Snowflake (Transient Table)
● Google Cloud Datastore
● Dynamo DB
● Big Table
● PostgreSQL
● Cassandra + AstraDB
● MySQL
Offline Store
● File
● Snowflake
● BigQuery
● Redshift
● Spark
● PostgreSQL
● Trino
● Azure Synapse + Azure SQL
FeastではOnline StoreやOffline Storeとして、様々なdatabaseを選択可能

15. Amazon SageMaker Feature Store
出典: https://aws.amazon.com/jp/sagemaker/feature-store/
● フルマネージドのFeature Store
● Glue Catalogを自動作成したりと、AWSのその他サービスと自動連携
● Online StoreからOffline Storeへ自動で同期 (タイムラグあり)
● Point-in-time Queryでリーケージを防ぐことが可能

16. Amazon SageMaker Feature Store
SageMaker Feature Storeの基本的な挙動については前回の動画を参照
【第16回】機械学習の特徴量を管理するAmazon SageMaker Feature Store
https://www.youtube.com/watch?v=VVLga-XYHY4

17. デモ
● Amazon SageMaker Feature StoreのOnline StoreとOffline Store
○ Online StoreとOffline Storeの挙動の違い
■ Ingest
■ Update
■ Delete
● コード: https://github.com/knishioka/machine-learning-
workshop/blob/main/sagemaker/feature_store/online_store_and_offline_store