Jupyterカーネルを魔改造した話
•Download as PPTX, PDF•
0 likes•1,262 views
関山宣孝 JAWS DAYS 2020 ONLINE AWS LT
Recommended
More Related Content
What's hot
What's hot (20)
More from Amazon Web Services Japan
More from Amazon Web Services Japan (20)
Recently uploaded
Jupyterカーネルを魔改造した話
- 2. 自己紹介 関山 宜孝 Big Data Architect AWS Glue & Lake Formation • 5年間 AWS サポートにて技術支援を担当 • 2019年からプロダクト開発チームにジョイン • GlueとLake Formationに関する ユーザーに近い部分の開発を担当 @moomindani moomindaniNoritakaS-AWS Forum
- 3. Jupyter is 何
- 4. Jupyter と AWS SageMaker EMR Glue SageMaker ノートブック EMR ノートブック EMR アプリケーション: JupyterHub SageMaker ノートブック for Glue dev endpoint
- 5. Jupyter Kernel is 何
- 6. Jupyter Kernel はつくれる • ipykernel.kernelbase.Kernel クラスを継承 • def __init__ • Kernelを初期化 • def do_execute(code) • 入力されたcodeを実行
- 7. デモ • Macbook 上でJupyter Labを起動 • ノートブックに書いたSQLを、Glueジョブで実行 • 300ノードのサーバーレスSpark環境 Client Glue ジョブ (DPU=300) SQL
Editor's Notes
- AWS Glue & Lake Formation 開発チームの関山です。 今日は、AWSのAPIを使ってJupyter Kernelを魔改造した話をします。
- Big Data Architectというポジションで、AWS GlueとLake Formationを開発しているチームに日本からひとりだけ所属してます。 ユーザーさんに近い部分の開発などを担当しています。 GitHubのAWS公式リポジトリとか英語版のAWS Forumとかでも活動してます。
- みなさんは Jupyter 使ってますか？ ノートブックで対話的にコード書いてシェアできたりするアレです。
- 実はJupyterはAWSとも縁が深くて、SageMakerやEMR、Glueのユーザーさんでもがんがん使われています。
- Jupyter画面を開いてノートブックを作るときに最初に選ぶのが、このJupyter Kernelというものです。 用途にあわせてPythonやSparkのJupyter Kernelを選ぶことで、ノートブック画面からPythonやSparkを実行できるわけです。
- このJupyter Kernelは自作することもできます。というのは、Jupyterがオープンソースだからです。 簡単に作りかたを説明すると、iPythonのKernelクラスを継承して、ふたつメソッドを実装すればOKです。これでおわり！ 画面右側に出てるのはBash用のJupyter Kernelです。数百行程度で実装できます。
- ということで、魔改造したJupyter Kernelを作ってみます。 そのままノートブックと同じサーバーで何かを動かしてみてもいいのですが、それでは面白くない。 AWSのAPIをフル活用してオレオレJupyterを作っちゃいます。 Macbook 上でJupyter Labを起動して、ノートブックに書いたSQLを、AWSのAPI経由で、Glueの300ノードのサーバーレスSpark環境で動かすように実装しちゃいます。 いわゆる、オレオレAthenaですね。 Athenaのようなふつうのインタラクティブクエリというよりは、ETLの重めのクエリのようなのを実行する想定で実装してます。 では早速デモといきましょう。 デモシナリオ 1. ターミナルでJupyter Labを起動したところを見せる 2. Jupyter画面上でSQLを実行 3. Glueの画面を見せる 4. Jupyter画面で結果を見せる 実行開始してからのレイテンシーはAthenaに分がありますが、データ量が大きい時のスループットについてはこのKernelの強みが活きてくると思います。 現在プライベートベータをしているGlueバージョン2がリリースされれば、ジョブ起動の時間も短縮されるのでLT中にSQL実行を完了できるくらいになると思いますので、乞うご期待ください。 ということでJupyter Kernelを魔改造した話をしました。 ご存知のとおり、AWSはAPIで操作できるのが大きな強みですので、どんなサービスでもJupyterから操作できちゃいます。 みなさんも、よかったらAWSのAPIを使ってオレオレJupyter Kernelをつくってみていただけたら幸いです。 ちなみに、もしこの機能の反響がある程度あればGlueに組み込むかも・・・？フィードバックお待ちしております。 ありがとうございました。