SlideShare a Scribd company logo
アニーリング計算をストリーム処理で実行する
フレームワーク「Sawatabi」と
デモアプリケーションの開発
メンバー: 寺田晃太朗、古山慎悟、臼井純哉、小野和輝
担当PM: 棚橋耕太郎
2020年度未踏ターゲット事業 成果報告会
Feb. 11th, 2021
http://bit.ly/sawatabi
発表アウトライン
1. プロジェクトの概要
2. 開発フレームワーク ― Sawatabi
3. 解決する課題・将来性
4. フレームワークを用いたアプリケーション開発
– Traveling Salesperson Problem (ルート最適化)
– Arbitrage Opportunities Finding (最適裁定取引機会の検出)
2
Feb. 11th, 2021
http://bit.ly/sawatabi
プロジェクトでやったこと
3
このようなイジングアプリケーションを効率的に開発・実行する
フレームワーク「Sawatabi」を開発しました
ストリームデータ
各時間におけるデータの
継続的なアニーリング結果
連続してやってくるストリームデータに対してアニーリング計算したい
(問題例: 異常検知)
課題
やったこと
Feb. 11th, 2021
http://bit.ly/sawatabi
背景 ― ビッグデータ・ストリームデータ
全世界での
データ総量予測
4
出典: IDC Whitepaper https://www.seagate.com/files/www-content/our-story/trends/files/idc-seagate-dataage-whitepaper.pdf
その中でも
リアルタイムデータ
(ストリームデータ)
が占める割合の増加
Feb. 11th, 2021
http://bit.ly/sawatabi
従来のストリームデータ処理システム
5
Feb. 11th, 2021
http://bit.ly/sawatabi
ストリーム処理とアニーリング
ストリーム処理 Key Challenges
• ストリーム処理は通常のデータ処理 (バッチ処理) に無い特徴
• これに対してイジングマシンの特徴を生かしてアプローチ
6
ストリーム処理
計算の
正確性
完全な正確性を必要
しないケースあり
速度 リアルタイム性必要
データ
サイズ
小さい
(数B~数KBオーダー)
入力
データ
連続で終わりない
ストリームデータ
イジングマシン
計算の
正確性
確率的
計算速度 問題によっては速い
マシン
サイズ
(今は) 小さい
(全結合換算で数千スピン)
アプリ+
ソルバ
ストリーム処理アプリ・
アルゴリズム実装
+ ソルバの工夫
アプローチ
本PJで
開発
Feb. 11th, 2021
http://bit.ly/sawatabi
開発したフレームワーク ― Sawatabi
7
Algorithms
Demo App & Visualization
Solver (Sawatabi Solver)
アプリケーション動作結果を
アニメーションで可視化
「ストリーム処理」を効率的に
実行するための工夫を検証する
ソフトウェア実装のソルバ
Optigan
イジング
マシン
実行
Advantage
工夫点
・初期ステート利用リバースアニーリング
・冷却スケジューリングの部分的な変更
Model
(拡張可能)
ストリームデータに対するイジングモデル更新をパターン化
ストリームデータに対応したイジングモデルの差分更新
(追加・削除・固定)と検索機能のインターフェイスを提供
ATTENUATION
WINDOW
PARTIAL
DELTA
INCREMENTAL
ライブラリ (Python パッケージ)
「アニーリング計算するストリーム処理アプリ」を Sawatabi を利用することで開発可能に
Feb. 11th, 2021
http://bit.ly/sawatabi
Sawatabi Architecture
8
Feb. 11th, 2021
http://bit.ly/sawatabi
Sawatabi on Google Cloud Dataflow
9
Input Pub/Sub
(message queue)
Output Pub/Sub
(message queue)
{“number”: 64}
{“number”: 62}
{“number”: 30}
{“number”: 6}
{“number”: 27}
{“number”: 12}
{“number”: 28}
{“number”: 67}
・・・
{“solution”: [
[62, 6, 27], [64, 30]]}
{“solution”: [
[62, 6], [30, 27, 12]]}
{“solution”: [
[30, 28], [6, 27, 12]]}
{“solution”: [
[6, 67], [27, 12, 28]]}
Google Cloud Dataflow
(永続的なストリーム処理での
アニーリング計算を実行)
・・・
Sawatabi
アプリケーション
Sawatabi アプリケーションの実行環境
ローカル (PC・サーバー)、ストリーム処理エンジン
時系列イベントデータ 各時刻のアニーリング計算結果
時間
ストリームデータ
Feb. 11th, 2021
http://bit.ly/sawatabi
Sawatabi on GitHub
10
GitHub Installation
$ pip install sawatabi
https://github.com/kotarot/sawatabi
開発フレームワークはOSSとして公開中
Feb. 11th, 2021
http://bit.ly/sawatabi
Sawatabi が解決する課題・将来性
11
将来性
解決する課題
イジング計算をするストリーム処理
アプリの開発効率向上
イジングモデル差分更新を利用した
計算効率の向上
計算性能向上への
さらなる可能性
イジング計算が活用できる
アプリ領域の拡大
Feb. 11th, 2021
http://bit.ly/sawatabi
取り組んだアプリケーション開発
12
(1) 異常検知 (Unit Clustering)
(3) Traveling Salesperson Problem (4) Arbitrage Opportunities Finding
(2) Job-shop Scheduling
本日は時間の都合で
こちらを説明します
Sample Applications: https://github.com/kotarot/sawatabi/tree/main/sample/algorithm
Feb. 11th, 2021
Sawatabiフレームワークを用いた
アプリケーション開発 (1)
Traveling Salesperson Problem
http://bit.ly/sawatabi
Traveling Salesperson Problem (TSP)
Feb. 11th, 2021 14
TSP := 各地点を必ず1回通る制約下で距離が最小になる経路を求める最適化問題
0 1 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0
1
1
1
1
0
1
2
3
4
0 1 2 3 4
訪問地点(i,j)
訪問順(t)
エネルギー関数 (QUBO)
各地点を1回訪問
複数地点に同時に
滞在できない
TSP + ストリームデータを試した理由
リアルタイムで要求が来るライドシェアや、工場等でのロボットの
リアルタイムルーティングへの応用が期待できるため
http://bit.ly/sawatabi
Sawatabi
Feb. 11th, 2021 15
ストリームデータを作成し,window サイズ5都市で 1都市ずつ追加/削除しながら
TSP を解いていく
{'Hiroshima': [132.45, 34.39]},
{'Sapporo': [141.34, 43.06]},
{'Yokohama': [139.64, 35.44]},
{'Osaka': [135.52, 34.68]},
{'Sendai': [140.87, 38.26]},
{'Fukuoka': [130.41, 33.60]},
{'Naha': [127.68, 26.21]}
{'Tokyo': [139.69, 35.68]},
{'Kyoto': [135.75, 35.02]}
入力データ(json)
{“都市名”: [経度, 緯度]}
{'Hiroshima': [132.45, 34.39]},
{'Sapporo': [141.34, 43.06]},
{'Yokohama': [139.64, 35.44]},
{'Osaka': [135.52, 34.68]},
{'Sendai': [140.87, 38.26]},
Sapporo -> Sendai -> Osaka ->
Hiroshima -> Yokohama
0 1 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0
1
1
1
1
0
1
2
3
4
0 1 2 3 4
訪問地点
訪問順
時間
Window
訪問順を出力
都市A->都市B-> …
ストリームデータを TSP に適用
http://bit.ly/sawatabi
Sawatabi
Feb. 11th, 2021 16
ストリームデータを作成し,window サイズ5都市で 1都市ずつ追加/削除しながら
TSP を解いていく
{'Hiroshima': [132.45, 34.39]},
{'Sapporo': [141.34, 43.06]},
{'Yokohama': [139.64, 35.44]},
{'Osaka': [135.52, 34.68]},
{'Sendai': [140.87, 38.26]},
{'Fukuoka': [130.41, 33.60]},
{'Naha': [127.68, 26.21]}
{'Tokyo': [139.69, 35.68]},
{'Kyoto': [135.75, 35.02]}
入力データ(json)
{“都市名”: [経度, 緯度]}
{'Sapporo': [141.34, 43.06]},
{'Yokohama': [139.64, 35.44]},
{'Osaka': [135.52, 34.68]},
{'Sendai': [140.87, 38.26]},
{'Fukuoka': [130.41, 33.60]},
Sapporo -> Fukuoka -> Osaka ->
Yokohama -> Sendai
0 1
0
0 0
0 0 0
0
0 0
0 0
0 0 0 0
0
0 0 0
1
1
1
1
0
1
2
3
4
0 1 2 3 4
訪問地点
訪問順
時間
Window
訪問順を出力
都市A->都市B-> …
← 追加
← 削除
ストリームデータを TSP に適用
http://bit.ly/sawatabi
Sawatabi
Feb. 11th, 2021 17
ストリームデータを作成し,window サイズ5都市で 1都市ずつ追加/削除しながら
TSP を解いていく
{'Hiroshima': [132.45, 34.39]},
{'Sapporo': [141.34, 43.06]},
{'Yokohama': [139.64, 35.44]},
{'Osaka': [135.52, 34.68]},
{'Sendai': [140.87, 38.26]},
{'Fukuoka': [130.41, 33.60]},
{'Naha': [127.68, 26.21]},
{'Tokyo': [139.69, 35.68]},
{'Kyoto': [135.75, 35.02]}
入力データ(json)
{“都市名”: [経度, 緯度]}
{'Yokohama': [139.64, 35.44]},
{'Osaka': [135.52, 34.68]},
{'Sendai': [140.87, 38.26]},
{'Fukuoka': [130.41, 33.60]},
{'Naha': [127.68, 26.21]},
Sendai -> Fukuoka -> Naha ->
Osaka -> Yokohama
0 1
0
0 0
0
0 0 0
0 0 0 0
0
0 0 0
0 0 0 0
1
1
1
1
0
1
2
3
4
0 1 2 3 4
訪問地点
訪問順
時間
Window
訪問順を出力
都市A->都市B-> …
← 追加
← 削除
ストリームデータを TSP に適用
http://bit.ly/sawatabi
Feb. 11th, 2021 18
{“都市名”: [緯度, 経度]}
{"Sapporo": [141.34694, 43.064170000000004]}
{"Aomori": [140.74, 40.82444]}
{"Morioka": [141.1525, 39.70361]}
{"Sendai": [140.87194, 38.26889]}
{"Akita": [140.1025, 39.71861]}
{"Yamagata": [140.36333, 38.240559999999995]}
{"Fukushima": [140.46778, 37.75]}
{"Mito": [140.44666999999998,
36.341390000000004]}
{"Utsunomiya": [139.88361, 36.56583]}
{"Maebashi": [139.06083, 36.39111]}
…
{"Naha": [127.68111, 26.2125]}
実験環境:Laptop PC ローカル
入力データ : 47都道府県の県庁所在地データ
【実験】ストリームデータに対して1都市ずつ追加/削除しながら5都市の TSP
各 window の入力に対して最適経路を計算する
ストリームデータを TSP に適用 ― 実験
http://bit.ly/sawatabi
• 入力データ (windowなど) 処理のパイプラインの自前設計が不要
• スピン・相互作用のメタデータを利用した自由度高いモデル設計
(例: 問題経路の途中変化への対応)
• 各ソルバとの共通インタフェイス
• Google Cloud Dataflow などの
ストリーム処理PFへデプロイ容易
+ Pub/Sub の利用が可能
Feb. 11th, 2021 19
Cons
Pros
Sawatabi を用いたアプリケーション開発
• 既存のアプリケーションがすでに
存在する場合、sawatabi記述での
再実装が必要
TSP実装を通した、これまでのやり方と比較した Sawatabi の Pros/Cons
Sawatabiフレームワークを用いた
アプリケーション開発 (2)
Arbitrage Opportunities Finding
http://bit.ly/sawatabi
Arbitrage Finding (1/3) – アプリケーションの概要
Feb. 11th, 2021 21
• 為替レートの価格の歪みを検出する問題(グラフアルゴリズムのサンプルとしても使われている)
• 為替レートは逐次更新されるのが自然なので、データが更新される例として取り上げた
②: 定式化
[1]の定式化にあるQUBO (下式)をそのまま使用
argmax内の第一項は所与の為替レートの組合せにおいて取引
戦略に取り入れた結果の対数収益率を表現する目的項、第二項
・第三項は売買をリスクニュートラルにするための制約項
[1] G. Rosenberg, "Finding optimal arbitrage opportunities using a quantum annealer," 1QBit White Paper, 2016. https://1qbit.com/whitepaper/arbitrage/
①:データと解のサンプル
以下は[1]のFigure 1から抜粋したもの。青線の、JPY/USD->USD/CAD-
>CAD/CNY->CNY/JPYのパスで取引することによって0.074%の利益を得ること
ができる例になっている
http://bit.ly/sawatabi
Arbitrage Finding (2/3) – sawatabiによる実装
• Algorithm層でApache Beamの機能を使う例として実装
• Beam組み込みの関数やアプリケーション実装として必要な関数を組み合わせてデー
タのパイプラインを表現する
• 今回は為替レートの更新があるたびに論理モデルを更新し、D-Waveでアニーリング
を実行するようにしたので、ArbFindingDoFnでモデルの更新とアニーリングの実行
をおこなっている
Feb. 11th, 2021 22
def run(argv=None):
with beam.Pipeline() as p:
(p |
'Load input from memory' >> beam.Create(conversions_1qbit_example) |
'To key value pair' >> beam.Map(lambda e: (1, e)) |
'Update logical model and run annealing’ >> beam.ParDo(ArbFindingDoFn())|
'Print the result of the annealing' >> beam.Map(print))
http://bit.ly/sawatabi
Arbitrage Finding (3/3) – 初期解を与える効果
• Arbitrage findingのアプリケーションは
変数の構造を固定して扱うことができる
ので、複数回のアニーリングのうち前回
のアニーリングの結果をリバースアニー
リングの初期解として与えることができ
る
• 前回の解を初期解として与える戦略を
continuous, 線形のスケジュールを
simple, クエンチするスケジュールを
quenchとした際に、平均値(ならびに
中央値で比較すると)continuousが最
も良い結果となった(※)
Feb. 11th, 2021 23
0.00%
0.50%
1.00%
1.50%
2.00%
2.50%
3.00%
3.50%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
D-Wave Advantage 1.1 での
各アニーリングの最大利益率の平均
(各回10回試行)
continuous simple quench
※ AR(1)を相関構造とするrepeated measures ANOVAでは、continuous, simple, quenchに差はみられなかった
t (レートの更新数 )
最大利益率の平均値
http://bit.ly/sawatabi
まとめ
• アニーリング計算をストリーム処理で実行するための
フレームワーク「Sawatabi」を開発しました
• アプリケーション実装を通して次のことを確認しました
1. ストリーム処理エンジン上でストリームデータに対する
継続的なアニーリング計算が可能であること
2. ストリームデータの特徴を利用することで、既存の量子アニーリング
での計算と比較してより質の良い解を得られる可能性があること
Feb. 11th, 2021 24
Thank you !

More Related Content

Recently uploaded

「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
Osaka University
 

Recently uploaded (7)

「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
 
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
 

Featured

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
Marius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
Expeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
Pixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
ThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
marketingartwork
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 

Featured (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

アニーリング計算をストリーム処理で実行するフレームワーク「Sawatabi」とデモアプリケーションの開発

  • 2. http://bit.ly/sawatabi 発表アウトライン 1. プロジェクトの概要 2. 開発フレームワーク ― Sawatabi 3. 解決する課題・将来性 4. フレームワークを用いたアプリケーション開発 – Traveling Salesperson Problem (ルート最適化) – Arbitrage Opportunities Finding (最適裁定取引機会の検出) 2 Feb. 11th, 2021
  • 4. http://bit.ly/sawatabi 背景 ― ビッグデータ・ストリームデータ 全世界での データ総量予測 4 出典: IDC Whitepaper https://www.seagate.com/files/www-content/our-story/trends/files/idc-seagate-dataage-whitepaper.pdf その中でも リアルタイムデータ (ストリームデータ) が占める割合の増加 Feb. 11th, 2021
  • 6. http://bit.ly/sawatabi ストリーム処理とアニーリング ストリーム処理 Key Challenges • ストリーム処理は通常のデータ処理 (バッチ処理) に無い特徴 • これに対してイジングマシンの特徴を生かしてアプローチ 6 ストリーム処理 計算の 正確性 完全な正確性を必要 しないケースあり 速度 リアルタイム性必要 データ サイズ 小さい (数B~数KBオーダー) 入力 データ 連続で終わりない ストリームデータ イジングマシン 計算の 正確性 確率的 計算速度 問題によっては速い マシン サイズ (今は) 小さい (全結合換算で数千スピン) アプリ+ ソルバ ストリーム処理アプリ・ アルゴリズム実装 + ソルバの工夫 アプローチ 本PJで 開発 Feb. 11th, 2021
  • 7. http://bit.ly/sawatabi 開発したフレームワーク ― Sawatabi 7 Algorithms Demo App & Visualization Solver (Sawatabi Solver) アプリケーション動作結果を アニメーションで可視化 「ストリーム処理」を効率的に 実行するための工夫を検証する ソフトウェア実装のソルバ Optigan イジング マシン 実行 Advantage 工夫点 ・初期ステート利用リバースアニーリング ・冷却スケジューリングの部分的な変更 Model (拡張可能) ストリームデータに対するイジングモデル更新をパターン化 ストリームデータに対応したイジングモデルの差分更新 (追加・削除・固定)と検索機能のインターフェイスを提供 ATTENUATION WINDOW PARTIAL DELTA INCREMENTAL ライブラリ (Python パッケージ) 「アニーリング計算するストリーム処理アプリ」を Sawatabi を利用することで開発可能に Feb. 11th, 2021
  • 9. http://bit.ly/sawatabi Sawatabi on Google Cloud Dataflow 9 Input Pub/Sub (message queue) Output Pub/Sub (message queue) {“number”: 64} {“number”: 62} {“number”: 30} {“number”: 6} {“number”: 27} {“number”: 12} {“number”: 28} {“number”: 67} ・・・ {“solution”: [ [62, 6, 27], [64, 30]]} {“solution”: [ [62, 6], [30, 27, 12]]} {“solution”: [ [30, 28], [6, 27, 12]]} {“solution”: [ [6, 67], [27, 12, 28]]} Google Cloud Dataflow (永続的なストリーム処理での アニーリング計算を実行) ・・・ Sawatabi アプリケーション Sawatabi アプリケーションの実行環境 ローカル (PC・サーバー)、ストリーム処理エンジン 時系列イベントデータ 各時刻のアニーリング計算結果 時間 ストリームデータ Feb. 11th, 2021
  • 10. http://bit.ly/sawatabi Sawatabi on GitHub 10 GitHub Installation $ pip install sawatabi https://github.com/kotarot/sawatabi 開発フレームワークはOSSとして公開中 Feb. 11th, 2021
  • 12. http://bit.ly/sawatabi 取り組んだアプリケーション開発 12 (1) 異常検知 (Unit Clustering) (3) Traveling Salesperson Problem (4) Arbitrage Opportunities Finding (2) Job-shop Scheduling 本日は時間の都合で こちらを説明します Sample Applications: https://github.com/kotarot/sawatabi/tree/main/sample/algorithm Feb. 11th, 2021
  • 14. http://bit.ly/sawatabi Traveling Salesperson Problem (TSP) Feb. 11th, 2021 14 TSP := 各地点を必ず1回通る制約下で距離が最小になる経路を求める最適化問題 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 1 2 3 4 0 1 2 3 4 訪問地点(i,j) 訪問順(t) エネルギー関数 (QUBO) 各地点を1回訪問 複数地点に同時に 滞在できない TSP + ストリームデータを試した理由 リアルタイムで要求が来るライドシェアや、工場等でのロボットの リアルタイムルーティングへの応用が期待できるため
  • 15. http://bit.ly/sawatabi Sawatabi Feb. 11th, 2021 15 ストリームデータを作成し,window サイズ5都市で 1都市ずつ追加/削除しながら TSP を解いていく {'Hiroshima': [132.45, 34.39]}, {'Sapporo': [141.34, 43.06]}, {'Yokohama': [139.64, 35.44]}, {'Osaka': [135.52, 34.68]}, {'Sendai': [140.87, 38.26]}, {'Fukuoka': [130.41, 33.60]}, {'Naha': [127.68, 26.21]} {'Tokyo': [139.69, 35.68]}, {'Kyoto': [135.75, 35.02]} 入力データ(json) {“都市名”: [経度, 緯度]} {'Hiroshima': [132.45, 34.39]}, {'Sapporo': [141.34, 43.06]}, {'Yokohama': [139.64, 35.44]}, {'Osaka': [135.52, 34.68]}, {'Sendai': [140.87, 38.26]}, Sapporo -> Sendai -> Osaka -> Hiroshima -> Yokohama 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 1 2 3 4 0 1 2 3 4 訪問地点 訪問順 時間 Window 訪問順を出力 都市A->都市B-> … ストリームデータを TSP に適用
  • 16. http://bit.ly/sawatabi Sawatabi Feb. 11th, 2021 16 ストリームデータを作成し,window サイズ5都市で 1都市ずつ追加/削除しながら TSP を解いていく {'Hiroshima': [132.45, 34.39]}, {'Sapporo': [141.34, 43.06]}, {'Yokohama': [139.64, 35.44]}, {'Osaka': [135.52, 34.68]}, {'Sendai': [140.87, 38.26]}, {'Fukuoka': [130.41, 33.60]}, {'Naha': [127.68, 26.21]} {'Tokyo': [139.69, 35.68]}, {'Kyoto': [135.75, 35.02]} 入力データ(json) {“都市名”: [経度, 緯度]} {'Sapporo': [141.34, 43.06]}, {'Yokohama': [139.64, 35.44]}, {'Osaka': [135.52, 34.68]}, {'Sendai': [140.87, 38.26]}, {'Fukuoka': [130.41, 33.60]}, Sapporo -> Fukuoka -> Osaka -> Yokohama -> Sendai 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 1 2 3 4 0 1 2 3 4 訪問地点 訪問順 時間 Window 訪問順を出力 都市A->都市B-> … ← 追加 ← 削除 ストリームデータを TSP に適用
  • 17. http://bit.ly/sawatabi Sawatabi Feb. 11th, 2021 17 ストリームデータを作成し,window サイズ5都市で 1都市ずつ追加/削除しながら TSP を解いていく {'Hiroshima': [132.45, 34.39]}, {'Sapporo': [141.34, 43.06]}, {'Yokohama': [139.64, 35.44]}, {'Osaka': [135.52, 34.68]}, {'Sendai': [140.87, 38.26]}, {'Fukuoka': [130.41, 33.60]}, {'Naha': [127.68, 26.21]}, {'Tokyo': [139.69, 35.68]}, {'Kyoto': [135.75, 35.02]} 入力データ(json) {“都市名”: [経度, 緯度]} {'Yokohama': [139.64, 35.44]}, {'Osaka': [135.52, 34.68]}, {'Sendai': [140.87, 38.26]}, {'Fukuoka': [130.41, 33.60]}, {'Naha': [127.68, 26.21]}, Sendai -> Fukuoka -> Naha -> Osaka -> Yokohama 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 0 1 2 3 4 0 1 2 3 4 訪問地点 訪問順 時間 Window 訪問順を出力 都市A->都市B-> … ← 追加 ← 削除 ストリームデータを TSP に適用
  • 18. http://bit.ly/sawatabi Feb. 11th, 2021 18 {“都市名”: [緯度, 経度]} {"Sapporo": [141.34694, 43.064170000000004]} {"Aomori": [140.74, 40.82444]} {"Morioka": [141.1525, 39.70361]} {"Sendai": [140.87194, 38.26889]} {"Akita": [140.1025, 39.71861]} {"Yamagata": [140.36333, 38.240559999999995]} {"Fukushima": [140.46778, 37.75]} {"Mito": [140.44666999999998, 36.341390000000004]} {"Utsunomiya": [139.88361, 36.56583]} {"Maebashi": [139.06083, 36.39111]} … {"Naha": [127.68111, 26.2125]} 実験環境:Laptop PC ローカル 入力データ : 47都道府県の県庁所在地データ 【実験】ストリームデータに対して1都市ずつ追加/削除しながら5都市の TSP 各 window の入力に対して最適経路を計算する ストリームデータを TSP に適用 ― 実験
  • 19. http://bit.ly/sawatabi • 入力データ (windowなど) 処理のパイプラインの自前設計が不要 • スピン・相互作用のメタデータを利用した自由度高いモデル設計 (例: 問題経路の途中変化への対応) • 各ソルバとの共通インタフェイス • Google Cloud Dataflow などの ストリーム処理PFへデプロイ容易 + Pub/Sub の利用が可能 Feb. 11th, 2021 19 Cons Pros Sawatabi を用いたアプリケーション開発 • 既存のアプリケーションがすでに 存在する場合、sawatabi記述での 再実装が必要 TSP実装を通した、これまでのやり方と比較した Sawatabi の Pros/Cons
  • 21. http://bit.ly/sawatabi Arbitrage Finding (1/3) – アプリケーションの概要 Feb. 11th, 2021 21 • 為替レートの価格の歪みを検出する問題(グラフアルゴリズムのサンプルとしても使われている) • 為替レートは逐次更新されるのが自然なので、データが更新される例として取り上げた ②: 定式化 [1]の定式化にあるQUBO (下式)をそのまま使用 argmax内の第一項は所与の為替レートの組合せにおいて取引 戦略に取り入れた結果の対数収益率を表現する目的項、第二項 ・第三項は売買をリスクニュートラルにするための制約項 [1] G. Rosenberg, "Finding optimal arbitrage opportunities using a quantum annealer," 1QBit White Paper, 2016. https://1qbit.com/whitepaper/arbitrage/ ①:データと解のサンプル 以下は[1]のFigure 1から抜粋したもの。青線の、JPY/USD->USD/CAD- >CAD/CNY->CNY/JPYのパスで取引することによって0.074%の利益を得ること ができる例になっている
  • 22. http://bit.ly/sawatabi Arbitrage Finding (2/3) – sawatabiによる実装 • Algorithm層でApache Beamの機能を使う例として実装 • Beam組み込みの関数やアプリケーション実装として必要な関数を組み合わせてデー タのパイプラインを表現する • 今回は為替レートの更新があるたびに論理モデルを更新し、D-Waveでアニーリング を実行するようにしたので、ArbFindingDoFnでモデルの更新とアニーリングの実行 をおこなっている Feb. 11th, 2021 22 def run(argv=None): with beam.Pipeline() as p: (p | 'Load input from memory' >> beam.Create(conversions_1qbit_example) | 'To key value pair' >> beam.Map(lambda e: (1, e)) | 'Update logical model and run annealing’ >> beam.ParDo(ArbFindingDoFn())| 'Print the result of the annealing' >> beam.Map(print))
  • 23. http://bit.ly/sawatabi Arbitrage Finding (3/3) – 初期解を与える効果 • Arbitrage findingのアプリケーションは 変数の構造を固定して扱うことができる ので、複数回のアニーリングのうち前回 のアニーリングの結果をリバースアニー リングの初期解として与えることができ る • 前回の解を初期解として与える戦略を continuous, 線形のスケジュールを simple, クエンチするスケジュールを quenchとした際に、平均値(ならびに 中央値で比較すると)continuousが最 も良い結果となった(※) Feb. 11th, 2021 23 0.00% 0.50% 1.00% 1.50% 2.00% 2.50% 3.00% 3.50% 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 D-Wave Advantage 1.1 での 各アニーリングの最大利益率の平均 (各回10回試行) continuous simple quench ※ AR(1)を相関構造とするrepeated measures ANOVAでは、continuous, simple, quenchに差はみられなかった t (レートの更新数 ) 最大利益率の平均値
  • 24. http://bit.ly/sawatabi まとめ • アニーリング計算をストリーム処理で実行するための フレームワーク「Sawatabi」を開発しました • アプリケーション実装を通して次のことを確認しました 1. ストリーム処理エンジン上でストリームデータに対する 継続的なアニーリング計算が可能であること 2. ストリームデータの特徴を利用することで、既存の量子アニーリング での計算と比較してより質の良い解を得られる可能性があること Feb. 11th, 2021 24 Thank you !