Submit Search
Upload
Feature StoreをRustで実装した話
•
0 likes
•
1,565 views
E
emakryo
Follow
2020/10/29にMobility Technologies 社内勉強かMoT #2で発表した際の資料です。
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 10
Download now
Download to read offline
Recommended
Rustで3D graphics programming
Rustで3D graphics programming
KiyotomoHiroyasu
Rustでshaderを使って簡単にshaderプログラミングができるthree-d crateの紹介
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
Tetsutaro Watanabe
JapanTaxiにてタクシードライブレコーダーの動画処理のための機械学習パイプラインにkubernetesを使ってみた話です
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
Tetsutaro Watanabe
ニューヨークで開催された機械学習運用に関するカンファレンス「ML Ops NYC 19」とデータ系のカンファレンス「Strata Data Conference 2019 New York」の注目セッションをまとめました
ドライブレコーダの動画を使った道路情報の自動差分抽出
ドライブレコーダの動画を使った道路情報の自動差分抽出
Tetsutaro Watanabe
自動運転時代には、今よりも更新頻度の高い地図が必要です。MoTでは大手地図会社であるゼンリンとの共同開発により、ドライブレコーダの動画を元に道路情報の差分を自動で抽出し、地図更新に役立てるプロジェクトを行っています。このプロジェクトを紹介します。 技術的な紹介ポイントとしては、次のものになります。マップマッチ、機械学習(ディープラーニング)、SLAMそしてGISツール等を組み合わせた高度なアプリケーション。大量の動画データに対して分散処理するために、AWS FSx for LustreやAWS Batchを用いてシステムを構成。計算コストの高い機械学習推論処理を最適化する工夫。データサイエンティストの成果物を本番に取り込むためのフレームワーク。
Customizing cargo for cross compiling
Customizing cargo for cross compiling
emakryo
Cargo をカスタマイズすることでクロスコンパイルやテスト、ベンチマークが簡単できることの紹介です。 https://github.com/emakryo/cargo-android-sample
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
Tetsutaro Watanabe
JapanTaxiでは配車アプリケーションに機械学習による予測を利用しており本番で運用しています。機械学習モデルはビジネス状況の変化とともに精度が劣化していく可能性があるため、日々の精度モニタリングと、モデル更新のための開発フローの整備が必要でした。それをSagemaker + αを用いて実現した内容を発表します。
Kuberflow Kubernetes上の機械学習プラットフォーム
Kuberflow Kubernetes上の機械学習プラットフォーム
Kosuke Kikuchi
Kubeflowに関して調べた
Cloud operator days tokyo 2020講演資料_少人数チームでの機械学習製品の効率的な開発と運用
Cloud operator days tokyo 2020講演資料_少人数チームでの機械学習製品の効率的な開発と運用
Preferred Networks
2020年7月29日-30日開催のCloud Operator Days Tokyo 2020の講演資料です。 PFNの太田と佐藤が、Kubernetesによるインフラ構築やCI/CDについて説明します。
Recommended
Rustで3D graphics programming
Rustで3D graphics programming
KiyotomoHiroyasu
Rustでshaderを使って簡単にshaderプログラミングができるthree-d crateの紹介
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
Tetsutaro Watanabe
JapanTaxiにてタクシードライブレコーダーの動画処理のための機械学習パイプラインにkubernetesを使ってみた話です
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ
Tetsutaro Watanabe
ニューヨークで開催された機械学習運用に関するカンファレンス「ML Ops NYC 19」とデータ系のカンファレンス「Strata Data Conference 2019 New York」の注目セッションをまとめました
ドライブレコーダの動画を使った道路情報の自動差分抽出
ドライブレコーダの動画を使った道路情報の自動差分抽出
Tetsutaro Watanabe
自動運転時代には、今よりも更新頻度の高い地図が必要です。MoTでは大手地図会社であるゼンリンとの共同開発により、ドライブレコーダの動画を元に道路情報の差分を自動で抽出し、地図更新に役立てるプロジェクトを行っています。このプロジェクトを紹介します。 技術的な紹介ポイントとしては、次のものになります。マップマッチ、機械学習(ディープラーニング)、SLAMそしてGISツール等を組み合わせた高度なアプリケーション。大量の動画データに対して分散処理するために、AWS FSx for LustreやAWS Batchを用いてシステムを構成。計算コストの高い機械学習推論処理を最適化する工夫。データサイエンティストの成果物を本番に取り込むためのフレームワーク。
Customizing cargo for cross compiling
Customizing cargo for cross compiling
emakryo
Cargo をカスタマイズすることでクロスコンパイルやテスト、ベンチマークが簡単できることの紹介です。 https://github.com/emakryo/cargo-android-sample
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
JapanTaxiにおけるSagemaker+αによる機械学習アプリケーションの本番運用
Tetsutaro Watanabe
JapanTaxiでは配車アプリケーションに機械学習による予測を利用しており本番で運用しています。機械学習モデルはビジネス状況の変化とともに精度が劣化していく可能性があるため、日々の精度モニタリングと、モデル更新のための開発フローの整備が必要でした。それをSagemaker + αを用いて実現した内容を発表します。
Kuberflow Kubernetes上の機械学習プラットフォーム
Kuberflow Kubernetes上の機械学習プラットフォーム
Kosuke Kikuchi
Kubeflowに関して調べた
Cloud operator days tokyo 2020講演資料_少人数チームでの機械学習製品の効率的な開発と運用
Cloud operator days tokyo 2020講演資料_少人数チームでの機械学習製品の効率的な開発と運用
Preferred Networks
2020年7月29日-30日開催のCloud Operator Days Tokyo 2020の講演資料です。 PFNの太田と佐藤が、Kubernetesによるインフラ構築やCI/CDについて説明します。
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
「MLOpsとはなにか?」という質問に対し、「データサイエンティストが、システム開発において、やらないことすべて」と定義した上で、MLOpsの説明、海外事例、「JapanTaxi」アプリでの事例を説明します
Kubeflowで何ができて何ができないのか #DEvFest18
Kubeflowで何ができて何ができないのか #DEvFest18
Shunya Ueta
2018/09/01 に発表した資料です。 GDG DevFest 18 Tokyo Machine Learning Session site: https://tokyo2018.gdgjapan.org/ml 発表資料 Google Slide: https://docs.google.com/presentation/d/e/2PACX-1vQoGOjPBxkcPLnpRvI39OXbILRAu_Amea_Z9wvhs7pIH6bH5_KQFa4HIwYKGYU8w-x1C-0eiV-k9GCL/pub?start=false&loop=false&delayms=3000
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Tetsutaro Watanabe
JapnTaxiで本番運用している機械学習プロダクトについて、データサイエンティストの成果物をどのように運用に乗せているかを説明します。
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
Data Platform Confference Tokyo 2017 で話した「リクルートを支える横断データ基盤と機械学習の適用事例」です
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
PFNは,「現実世界を計算可能にする」をVisionとして,膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています. この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします! イベントサイト: https://ml-kubernetes.connpass.com/event/239859/
KyotoLT(Online) 第26回
KyotoLT(Online) 第26回
hiroya akita
KyotoLT(Online) 第26回の発表資料です。
Introduction to argo
Introduction to argo
Shunya Ueta
6 Kubeflow Meetup #1 https://cloudnative.connpass.com/event/100600/ #kfmeetup https://docs.google.com/presentation/d/1Ik5mibmqjDHwPlq6BQ5XbmbfOWWnnWX2dLsDB8wFPMo/edit?usp=sharing
Kubernetesによる機械学習基盤への挑戦
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
2018年12月4日 Japan Container Days 講演資料 谷脇大輔 Preferred Networksでは1000個以上のGPUとInfiniBandからなるオンプレミスのクラスターを自社で構築しており、研究者が様々な目的、リソース量、実行時間の機械学習ジョブをKubernetes上で実行して研究成果を出しています。 KubernetesはKubeflowの登場など、機械学習基盤としても非常に注目されている一方で、現実的には未だ発展途上です。 講演では機械学習基盤としてのKubernetesの導入理由、その実用性と将来性、Preferred Networksの挑戦についてお話ししました。
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
MLOpsという言葉からは運用という印象を受けますが、MLOps製品の機能やMLOpsカンファレンスの発表内容をみると、印象とは異なります。本スライドではなぜMLOpsがバズワードなのか紹介します
Introduction to TFX (TFDV+TFT+TFMA)
Introduction to TFX (TFDV+TFT+TFMA)
Shunya Ueta
TensorFlow Extend (TFX) の解説資料です。 https://docs.google.com/presentation/d/1R-vsoCKb1XPrMv81tpYddVH8mVunKCFuShHAOfWv9Rs/edit?usp=sharing GIF 動画の部分がレンダリングできないので、気になる方は Google Slide ver. を御覧ください https://d3m.connpass.com/event/98934/ Data Driven Developer Meetup #1 で発表した資料です。 TensorFlow DataValidation, TensorFlow Transformation, TensorFlow Model Analysis の解説を行っています。
Mongodb World 2014
Mongodb World 2014
Yoshihiro Iwanaga
mruby/c機能紹介20160329
mruby/c機能紹介20160329
shimane-itoc
2016年3月29日に開催した「mruby、mruby/cセミナー」で発表に使用したmruby/cの機能紹介スライドです。
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
hagino 3000
PyConJP 2015にて発表 https://pycon.jp/2015/ja/schedule/presentation/61/
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Daiyu Hatakeyama
Microsoft の機械学習/Deep Learning の推論 (Prediction) で役に立つサービス/ツールの概要説明です。
Hivemall meetup vol2 oisix
Hivemall meetup vol2 oisix
Taisuke Fukawa
Hivemall meetup vol2 oisix 2015/10/20
データサイエンティスト向け性能問題対応の基礎
データサイエンティスト向け性能問題対応の基礎
Tetsutaro Watanabe
データサイエンティストの皆さん、次のような性能問題にであったことないでしょうか。「データの加工処理が遅いからインスタンスタイプを上げたが速くならなかった」「機械学習の学習が遅いから、GPUを増やしたが、速くならなかった」こういったときにどうすればよいか説明します。
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Tokoroten Nakayama
Rails勉強会でRailsにまったく関係ない話をするテロ。
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Recruit Technologies
2017/05/17 Rancher Meetup Tokyo #6での、藤原の講演資料になります
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
Takashi Okawa
2018/06/27 に開催された DEEP LEARNING LAB の 10:10 - 10:40 のセッションにてご紹介した、Cognitive Services に関するご案内スライドです。
Node.jsアプリの開発をモダン化するために取り組んできたこと
Node.jsアプリの開発をモダン化するために取り組んできたこと
bitbank, Inc. Tokyo, Japan
Node学園祭 2018 登壇資料
MediaPipeの紹介
MediaPipeの紹介
emakryo
2022年10/06の社内勉強会の発表資料です。
Feature Store in DRIVE CHART
Feature Store in DRIVE CHART
emakryo
Mobility Technologies & DeNA 社内勉強会での発表資料です。
More Related Content
What's hot
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
「MLOpsとはなにか?」という質問に対し、「データサイエンティストが、システム開発において、やらないことすべて」と定義した上で、MLOpsの説明、海外事例、「JapanTaxi」アプリでの事例を説明します
Kubeflowで何ができて何ができないのか #DEvFest18
Kubeflowで何ができて何ができないのか #DEvFest18
Shunya Ueta
2018/09/01 に発表した資料です。 GDG DevFest 18 Tokyo Machine Learning Session site: https://tokyo2018.gdgjapan.org/ml 発表資料 Google Slide: https://docs.google.com/presentation/d/e/2PACX-1vQoGOjPBxkcPLnpRvI39OXbILRAu_Amea_Z9wvhs7pIH6bH5_KQFa4HIwYKGYU8w-x1C-0eiV-k9GCL/pub?start=false&loop=false&delayms=3000
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Tetsutaro Watanabe
JapnTaxiで本番運用している機械学習プロダクトについて、データサイエンティストの成果物をどのように運用に乗せているかを説明します。
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
Data Platform Confference Tokyo 2017 で話した「リクルートを支える横断データ基盤と機械学習の適用事例」です
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
PFNは,「現実世界を計算可能にする」をVisionとして,膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています. この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします! イベントサイト: https://ml-kubernetes.connpass.com/event/239859/
KyotoLT(Online) 第26回
KyotoLT(Online) 第26回
hiroya akita
KyotoLT(Online) 第26回の発表資料です。
Introduction to argo
Introduction to argo
Shunya Ueta
6 Kubeflow Meetup #1 https://cloudnative.connpass.com/event/100600/ #kfmeetup https://docs.google.com/presentation/d/1Ik5mibmqjDHwPlq6BQ5XbmbfOWWnnWX2dLsDB8wFPMo/edit?usp=sharing
Kubernetesによる機械学習基盤への挑戦
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
2018年12月4日 Japan Container Days 講演資料 谷脇大輔 Preferred Networksでは1000個以上のGPUとInfiniBandからなるオンプレミスのクラスターを自社で構築しており、研究者が様々な目的、リソース量、実行時間の機械学習ジョブをKubernetes上で実行して研究成果を出しています。 KubernetesはKubeflowの登場など、機械学習基盤としても非常に注目されている一方で、現実的には未だ発展途上です。 講演では機械学習基盤としてのKubernetesの導入理由、その実用性と将来性、Preferred Networksの挑戦についてお話ししました。
MLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
MLOpsという言葉からは運用という印象を受けますが、MLOps製品の機能やMLOpsカンファレンスの発表内容をみると、印象とは異なります。本スライドではなぜMLOpsがバズワードなのか紹介します
Introduction to TFX (TFDV+TFT+TFMA)
Introduction to TFX (TFDV+TFT+TFMA)
Shunya Ueta
TensorFlow Extend (TFX) の解説資料です。 https://docs.google.com/presentation/d/1R-vsoCKb1XPrMv81tpYddVH8mVunKCFuShHAOfWv9Rs/edit?usp=sharing GIF 動画の部分がレンダリングできないので、気になる方は Google Slide ver. を御覧ください https://d3m.connpass.com/event/98934/ Data Driven Developer Meetup #1 で発表した資料です。 TensorFlow DataValidation, TensorFlow Transformation, TensorFlow Model Analysis の解説を行っています。
Mongodb World 2014
Mongodb World 2014
Yoshihiro Iwanaga
mruby/c機能紹介20160329
mruby/c機能紹介20160329
shimane-itoc
2016年3月29日に開催した「mruby、mruby/cセミナー」で発表に使用したmruby/cの機能紹介スライドです。
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
hagino 3000
PyConJP 2015にて発表 https://pycon.jp/2015/ja/schedule/presentation/61/
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Daiyu Hatakeyama
Microsoft の機械学習/Deep Learning の推論 (Prediction) で役に立つサービス/ツールの概要説明です。
Hivemall meetup vol2 oisix
Hivemall meetup vol2 oisix
Taisuke Fukawa
Hivemall meetup vol2 oisix 2015/10/20
データサイエンティスト向け性能問題対応の基礎
データサイエンティスト向け性能問題対応の基礎
Tetsutaro Watanabe
データサイエンティストの皆さん、次のような性能問題にであったことないでしょうか。「データの加工処理が遅いからインスタンスタイプを上げたが速くならなかった」「機械学習の学習が遅いから、GPUを増やしたが、速くならなかった」こういったときにどうすればよいか説明します。
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Tokoroten Nakayama
Rails勉強会でRailsにまったく関係ない話をするテロ。
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Recruit Technologies
2017/05/17 Rancher Meetup Tokyo #6での、藤原の講演資料になります
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
Takashi Okawa
2018/06/27 に開催された DEEP LEARNING LAB の 10:10 - 10:40 のセッションにてご紹介した、Cognitive Services に関するご案内スライドです。
Node.jsアプリの開発をモダン化するために取り組んできたこと
Node.jsアプリの開発をモダン化するために取り組んできたこと
bitbank, Inc. Tokyo, Japan
Node学園祭 2018 登壇資料
What's hot
(20)
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Kubeflowで何ができて何ができないのか #DEvFest18
Kubeflowで何ができて何ができないのか #DEvFest18
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
KyotoLT(Online) 第26回
KyotoLT(Online) 第26回
Introduction to argo
Introduction to argo
Kubernetesによる機械学習基盤への挑戦
Kubernetesによる機械学習基盤への挑戦
MLOpsはバズワード
MLOpsはバズワード
Introduction to TFX (TFDV+TFT+TFMA)
Introduction to TFX (TFDV+TFT+TFMA)
Mongodb World 2014
Mongodb World 2014
mruby/c機能紹介20160329
mruby/c機能紹介20160329
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Deep Learning Lab - Microsoft Machine Learning meetup 2018/06/27 - 推論編
Hivemall meetup vol2 oisix
Hivemall meetup vol2 oisix
データサイエンティスト向け性能問題対応の基礎
データサイエンティスト向け性能問題対応の基礎
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
Node.jsアプリの開発をモダン化するために取り組んできたこと
Node.jsアプリの開発をモダン化するために取り組んできたこと
More from emakryo
MediaPipeの紹介
MediaPipeの紹介
emakryo
2022年10/06の社内勉強会の発表資料です。
Feature Store in DRIVE CHART
Feature Store in DRIVE CHART
emakryo
Mobility Technologies & DeNA 社内勉強会での発表資料です。
なぜRustか?
なぜRustか?
emakryo
Rust社内勉強会の導入資料です。
rustdef: Rust on jupyter notebook
rustdef: Rust on jupyter notebook
emakryo
@Shinjuku.rs 2020/03/24
Cargo makeを使ってみた話
Cargo makeを使ってみた話
emakryo
11/19 RustのLT会 Shinjuku.rs #7 @FORCIA での資料になります
Machine Learning on Graph Data @ ICML 2019
Machine Learning on Graph Data @ ICML 2019
emakryo
ICML'19/ICLR'19 読み会の資料です。
Neural networks for Graph Data NeurIPS2018読み会@PFN
Neural networks for Graph Data NeurIPS2018読み会@PFN
emakryo
NeurIPS2018読み会の資料です。#neurips2018yomi
More from emakryo
(7)
MediaPipeの紹介
MediaPipeの紹介
Feature Store in DRIVE CHART
Feature Store in DRIVE CHART
なぜRustか?
なぜRustか?
rustdef: Rust on jupyter notebook
rustdef: Rust on jupyter notebook
Cargo makeを使ってみた話
Cargo makeを使ってみた話
Machine Learning on Graph Data @ ICML 2019
Machine Learning on Graph Data @ ICML 2019
Neural networks for Graph Data NeurIPS2018読み会@PFN
Neural networks for Graph Data NeurIPS2018読み会@PFN
Feature StoreをRustで実装した話
1.
を で実装した話
2.
亀澤諒亮(かめさわりょうすけ) 技術開発部 エッジ 歴 年ぐらい、業務で使い始めて 年 最近作ったもの 上で を実行 「ふつうのコンパイラをつくろう」の
実装 自己紹介
3.
機械学習システムでの特徴量管理のマイクロサービス 大量のデータを扱う 高スループット データサイエンティストが直接読み書き 低レイテンシー 性能を犠牲にしたくないので で実装
4.
インターフェース データ(特徴量)ストレージ メタデータストレージ サーバー アーキテクチャ
5.
速度的には問題なし クライアント( )がボトルネックに… ツール、ライブラリは? 環境としては十分揃ってきている 開発コストは? 低いとは言えない 最初は型 ライフタイムパズルをする羽目に メンテナンスコストは低い を使ったマルチスレッディングでもバグはほぼない で作ってみて
6.
言語非依存な フレームワーク
7.
8.
9.
相性が悪い の持てる参照は基本的に のみ 次のいずれかを予め選ぶ必要がある ごとに 個人的にはできる限り一番上 巨大なデータを取り回したいときのみ他の型 を作る
10.
ごとに は非効率 毎回依存関係全てビルドする 依存関係のみビルドキャッシュに入れる
Download now