20141127 py datatokyomeetup2

Akira Shibata
Akira ShibataChief Data Scientist
Copyright 2014 Shiroyagi Corporation. All rights reserved. 
PyData NYC 
に行ってきました 
シバタアキラ 
Shiroyagi Corporation
Who am I 
Akira Shibata, PhD. 
TW: @punkphysicist 
CEO, Shiroyagi Corporation (shiroyagi.co.jp) 
Kamelio: Personalised News Curation 
Kamect: Contents Discovery Platform 
2004 - 2010: 
Data Scientist @ NYU 
Statistical data modelling @ LHC, CERN 
2010 - 2013 
Boston Consulting Group 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 2
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
3 
PyData NYC 
http://pydata.org/nyc2014/schedule/
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
4 
とまってたとこ 
(KickStarterすぐ) 
PyDataNYC 
(WeWork) 
NYU
Overview: Andy Terrel(Continuum Ana.) 
https://speakerdeck.com/aterrel/pydata-nyc-2014-keynote 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
5 
主に 
“PyData Stack” 
を超えた分散処理を 
Pythonからどう行うか 
の全貌について
様々なツール/バックエンドをPythonがつなげる 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
6
Blaze: Matthew Rocklin (Continuum Analytics) 
http://blaze.pydata.org/presentations/ 
“high level thinking, low-level computation” 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
7
データとオペレーションを分離する 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
8
複数のデータバックエンドを行き来することができる 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
9
DBへのインターフェイスを統合 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
10
Mongoから取り出したデータをSparkに入れる 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
11
SymPy: Sageみたいなもの 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
12
Symbolicな計算を各言語に翻訳できる 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
13 
すごいけど、誰が使う 
のかよくわからない
Scikit-Learn: Andreas Muller 
https://github.com/amueller/pydata-nyc-advanced-sklearn 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
14 
かなり分厚いチュート 
リアル。冬休みにでも
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
15 
Beaker: Scott Draves
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
16 
Software Artist らしい 
Fractal Flames
様々な言語が同時に使えるNotebook 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
17
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
18 
Demo 
http://beakernotebook.com/examples
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
19 
アジェンダ
こんな問題について発表してきました 
“Cats” 
“Anime” 
“Cats reaction to sighting 
dogs for the first time” 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 20
アプローチ 
Image in Detect 
regions 
Object 
recog. Scoring Cropping 
0 1 2 3 4 
Matlab 
+Scipy 
C++ 
+Libraries 
Numpy PIL 
IPython and Python script 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 21
Region detection: Telling where to look at 
How do we find regions to feed into object recognition? 
Default strategy was to look at the center 
1 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 22
1 Region detection: proposals generated 
~200 proposals generated per image 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 23
2 Object recognition: Result 
Obj Score 
0 domestic cat 1.03649377823 
1 domestic cat 0.0617411136627 
2 domestic cat -0.097744345665 
3 domestic cat -0.738470971584 
4 chair -0.988844156265 
5 skunk -0.999914288521 
6 tv or monitor -1.00460898876 
7 rubber eraser -1.01068615913 
8 chair -1.04896986485 
9 rubber eraser -1.09035253525 
10 band aid -1.09691572189 
Takes minutes to detect all windows 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 24
2 Object recognition: Result 
Obj Score 
0 person 0.126184225082 
1 person 0.0311727523804 
2 person -0.0777613520622 
3 neck brace -0.39757412672 
4 person -0.415030777454 
5 drum -0.421649754047 
6 neck brace -0.481261610985 
7 tie -0.649109125137 
8 neck brace -0.719438135624 
9 face powder -0.789100408554 
10 face powder -0.838757038116 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 25
Score heatmap 
We used 200-cat object recognition model 
developed for 2013 ImageNet Challenge 
3 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 26
4 Finally 
Copyright 2014 Shiroyagi Corporation. All rights reserved. 27
PyData Tokyoについても話してきました 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
28 
大ボス 
Travis Oliphant
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
29 
事務局:非常に協力的 
スピーカー紹介 
するわよ
SymPy 
NumPy 
Cython 
Pandas 
scikit-learn 
Julia 
etc. etc. 
2014年11月Copyright 2014 Shiroyagi Corporation. All rights reserved. 
30
1 of 30

Recommended

Analysis Software Benchmark by
Analysis Software BenchmarkAnalysis Software Benchmark
Analysis Software BenchmarkAkira Shibata
732 views18 slides
Top Cross Section Measurement by
Top Cross Section MeasurementTop Cross Section Measurement
Top Cross Section MeasurementAkira Shibata
815 views34 slides
The LHC Explained by CNN by
The LHC Explained by CNNThe LHC Explained by CNN
The LHC Explained by CNNAkira Shibata
641 views8 slides
Analysis Software Development by
Analysis Software DevelopmentAnalysis Software Development
Analysis Software DevelopmentAkira Shibata
826 views33 slides
Top quark physics at the LHC by
Top quark physics at the LHCTop quark physics at the LHC
Top quark physics at the LHCAkira Shibata
1.4K views27 slides
LHCにおける素粒子ビッグデータの解析とROOTライブラリ(Big Data Analysis at LHC and ROOT) by
LHCにおける素粒子ビッグデータの解析とROOTライブラリ(Big Data Analysis at LHC and ROOT)LHCにおける素粒子ビッグデータの解析とROOTライブラリ(Big Data Analysis at LHC and ROOT)
LHCにおける素粒子ビッグデータの解析とROOTライブラリ(Big Data Analysis at LHC and ROOT)Akira Shibata
6.7K views79 slides

More Related Content

Viewers also liked

20150128 cross2015 by
20150128 cross201520150128 cross2015
20150128 cross2015Akira Shibata
983 views20 slides
LHC for Students by
LHC for StudentsLHC for Students
LHC for StudentsAkira Shibata
1.9K views56 slides
人工知能をビジネスに活かす by
人工知能をビジネスに活かす人工知能をビジネスに活かす
人工知能をビジネスに活かすAkira Shibata
3.6K views46 slides
PyData Tokyo Tutorial & Hackathon #1 by
PyData Tokyo Tutorial & Hackathon #1PyData Tokyo Tutorial & Hackathon #1
PyData Tokyo Tutorial & Hackathon #1Akira Shibata
13.3K views63 slides
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング- by
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Recruit Technologies
3.5K views72 slides
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか by
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたかリクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたかRecruit Technologies
28.1K views52 slides

Viewers also liked(9)

人工知能をビジネスに活かす by Akira Shibata
人工知能をビジネスに活かす人工知能をビジネスに活かす
人工知能をビジネスに活かす
Akira Shibata3.6K views
PyData Tokyo Tutorial & Hackathon #1 by Akira Shibata
PyData Tokyo Tutorial & Hackathon #1PyData Tokyo Tutorial & Hackathon #1
PyData Tokyo Tutorial & Hackathon #1
Akira Shibata13.3K views
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング- by Recruit Technologies
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか by Recruit Technologies
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたかリクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
Recruit Technologies28.1K views
DataRobot活用状況@リクルートテクノロジーズ by Recruit Technologies
DataRobot活用状況@リクルートテクノロジーズDataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズ
PyData NYC by Akira Shibata by Akira Shibata
PyData NYC by Akira ShibataPyData NYC by Akira Shibata
PyData NYC by Akira Shibata
Akira Shibata31.2K views
Akira shibata at developer summit 2016 by Akira Shibata
Akira shibata at developer summit 2016Akira shibata at developer summit 2016
Akira shibata at developer summit 2016
Akira Shibata4.9K views

Similar to 20141127 py datatokyomeetup2

ディープラーニング徹底活用 -画像認識編- by
ディープラーニング徹底活用 -画像認識編-ディープラーニング徹底活用 -画像認識編-
ディープラーニング徹底活用 -画像認識編-Hideki
21.1K views119 slides
最近の事と #NT金沢 2018に初出展してきた by
最近の事と #NT金沢 2018に初出展してきた最近の事と #NT金沢 2018に初出展してきた
最近の事と #NT金沢 2018に初出展してきたNetwalker lab kapper
4K views19 slides
【季刊】 激安Arduino互換機を買う by
【季刊】 激安Arduino互換機を買う【季刊】 激安Arduino互換機を買う
【季刊】 激安Arduino互換機を買うDaisuke Takahashi
400 views20 slides
Word2vecで大谷翔平の二刀流論争に終止符を打つ! by
Word2vecで大谷翔平の二刀流論争に終止符を打つ!Word2vecで大谷翔平の二刀流論争に終止符を打つ!
Word2vecで大谷翔平の二刀流論争に終止符を打つ!Takami Sato
4.4K views47 slides
Two sides of Python Engineer Training Book in PyCon mini Sapporo by
Two sides of Python Engineer Training Book in PyCon mini SapporoTwo sides of Python Engineer Training Book in PyCon mini Sapporo
Two sides of Python Engineer Training Book in PyCon mini SapporoTakanori Suzuki
1.4K views35 slides
20141105 FabLab in Fab Kura by
20141105 FabLab in Fab Kura20141105 FabLab in Fab Kura
20141105 FabLab in Fab KuraKenichi Ohwada
2.2K views87 slides

Similar to 20141127 py datatokyomeetup2(13)

ディープラーニング徹底活用 -画像認識編- by Hideki
ディープラーニング徹底活用 -画像認識編-ディープラーニング徹底活用 -画像認識編-
ディープラーニング徹底活用 -画像認識編-
Hideki 21.1K views
【季刊】 激安Arduino互換機を買う by Daisuke Takahashi
【季刊】 激安Arduino互換機を買う【季刊】 激安Arduino互換機を買う
【季刊】 激安Arduino互換機を買う
Daisuke Takahashi400 views
Word2vecで大谷翔平の二刀流論争に終止符を打つ! by Takami Sato
Word2vecで大谷翔平の二刀流論争に終止符を打つ!Word2vecで大谷翔平の二刀流論争に終止符を打つ!
Word2vecで大谷翔平の二刀流論争に終止符を打つ!
Takami Sato4.4K views
Two sides of Python Engineer Training Book in PyCon mini Sapporo by Takanori Suzuki
Two sides of Python Engineer Training Book in PyCon mini SapporoTwo sides of Python Engineer Training Book in PyCon mini Sapporo
Two sides of Python Engineer Training Book in PyCon mini Sapporo
Takanori Suzuki1.4K views
20141105 FabLab in Fab Kura by Kenichi Ohwada
20141105 FabLab in Fab Kura20141105 FabLab in Fab Kura
20141105 FabLab in Fab Kura
Kenichi Ohwada2.2K views
AITCオープンラボ IoTx総まとめ これまでのふりかえり by dsuke Takaoka
AITCオープンラボ IoTx総まとめ これまでのふりかえりAITCオープンラボ IoTx総まとめ これまでのふりかえり
AITCオープンラボ IoTx総まとめ これまでのふりかえり
dsuke Takaoka1.6K views
AIoT カメラを使って ピープルカウントしてみた by Tomoyuki Sugita
AIoT カメラを使って ピープルカウントしてみたAIoT カメラを使って ピープルカウントしてみた
AIoT カメラを使って ピープルカウントしてみた
Tomoyuki Sugita3.8K views
Two sides of "Python Engineer Training Book" by Takanori Suzuki
Two sides of "Python Engineer Training Book"Two sides of "Python Engineer Training Book"
Two sides of "Python Engineer Training Book"
Takanori Suzuki1.8K views
コンテンツサンプルを楽しむ"超"初心者の為のNiagara by historia_Inc
コンテンツサンプルを楽しむ"超"初心者の為のNiagaraコンテンツサンプルを楽しむ"超"初心者の為のNiagara
コンテンツサンプルを楽しむ"超"初心者の為のNiagara
historia_Inc2.6K views
オムロン環境センサ with isaax 
IoTシステムを爆速実装する by Tomoyuki Sugita
オムロン環境センサ with isaax 
IoTシステムを爆速実装するオムロン環境センサ with isaax 
IoTシステムを爆速実装する
オムロン環境センサ with isaax 
IoTシステムを爆速実装する
Tomoyuki Sugita1.7K views
Py datameetup1 by shiroyagi
Py datameetup1Py datameetup1
Py datameetup1
shiroyagi30.4K views
初めてのAndroid-x86インストール #東海道らぐ by Netwalker lab kapper
初めてのAndroid-x86インストール #東海道らぐ初めてのAndroid-x86インストール #東海道らぐ
初めてのAndroid-x86インストール #東海道らぐ

More from Akira Shibata

W&B monthly meetup#7 Intro.pdf by
W&B monthly meetup#7 Intro.pdfW&B monthly meetup#7 Intro.pdf
W&B monthly meetup#7 Intro.pdfAkira Shibata
738 views14 slides
20230705 - Optuna Integration (to share).pdf by
20230705 - Optuna Integration (to share).pdf20230705 - Optuna Integration (to share).pdf
20230705 - Optuna Integration (to share).pdfAkira Shibata
103 views15 slides
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf by
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdfmakoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdfAkira Shibata
759 views29 slides
LLM Webinar - シバタアキラ to share.pdf by
LLM Webinar - シバタアキラ to share.pdfLLM Webinar - シバタアキラ to share.pdf
LLM Webinar - シバタアキラ to share.pdfAkira Shibata
332 views10 slides
W&B Seminar #4.pdf by
W&B Seminar #4.pdfW&B Seminar #4.pdf
W&B Seminar #4.pdfAkira Shibata
448 views11 slides
Kaggle and data science by
Kaggle and data scienceKaggle and data science
Kaggle and data scienceAkira Shibata
1.1K views29 slides

More from Akira Shibata(7)

W&B monthly meetup#7 Intro.pdf by Akira Shibata
W&B monthly meetup#7 Intro.pdfW&B monthly meetup#7 Intro.pdf
W&B monthly meetup#7 Intro.pdf
Akira Shibata738 views
20230705 - Optuna Integration (to share).pdf by Akira Shibata
20230705 - Optuna Integration (to share).pdf20230705 - Optuna Integration (to share).pdf
20230705 - Optuna Integration (to share).pdf
Akira Shibata103 views
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf by Akira Shibata
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdfmakoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
Akira Shibata759 views
LLM Webinar - シバタアキラ to share.pdf by Akira Shibata
LLM Webinar - シバタアキラ to share.pdfLLM Webinar - シバタアキラ to share.pdf
LLM Webinar - シバタアキラ to share.pdf
Akira Shibata332 views
Kaggle and data science by Akira Shibata
Kaggle and data scienceKaggle and data science
Kaggle and data science
Akira Shibata1.1K views

Recently uploaded

The Things Stack説明資料 by The Things Industries by
The Things Stack説明資料 by The Things IndustriesThe Things Stack説明資料 by The Things Industries
The Things Stack説明資料 by The Things IndustriesCRI Japan, Inc.
50 views29 slides
Windows 11 information that can be used at the development site by
Windows 11 information that can be used at the development siteWindows 11 information that can be used at the development site
Windows 11 information that can be used at the development siteAtomu Hidaka
76 views41 slides
JJUG CCC.pptx by
JJUG CCC.pptxJJUG CCC.pptx
JJUG CCC.pptxKanta Sasaki
6 views14 slides
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -(PostgreSQL Conference Japan 20... by
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -(PostgreSQL Conference Japan 20...今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -(PostgreSQL Conference Japan 20...
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -(PostgreSQL Conference Japan 20...NTT DATA Technology & Innovation
101 views42 slides
「概念モデリング自動化に向けた第一歩」 ~ ChatGPT・Open AI 活用による開発対象のモデル化 by
「概念モデリング自動化に向けた第一歩」 ~ ChatGPT・Open AI 活用による開発対象のモデル化「概念モデリング自動化に向けた第一歩」 ~ ChatGPT・Open AI 活用による開発対象のモデル化
「概念モデリング自動化に向けた第一歩」 ~ ChatGPT・Open AI 活用による開発対象のモデル化Knowledge & Experience
12 views34 slides
SSH応用編_20231129.pdf by
SSH応用編_20231129.pdfSSH応用編_20231129.pdf
SSH応用編_20231129.pdficebreaker4
184 views13 slides

Recently uploaded(11)

The Things Stack説明資料 by The Things Industries by CRI Japan, Inc.
The Things Stack説明資料 by The Things IndustriesThe Things Stack説明資料 by The Things Industries
The Things Stack説明資料 by The Things Industries
CRI Japan, Inc.50 views
Windows 11 information that can be used at the development site by Atomu Hidaka
Windows 11 information that can be used at the development siteWindows 11 information that can be used at the development site
Windows 11 information that can be used at the development site
Atomu Hidaka76 views
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -(PostgreSQL Conference Japan 20... by NTT DATA Technology & Innovation
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -(PostgreSQL Conference Japan 20...今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -(PostgreSQL Conference Japan 20...
今、改めて考えるPostgreSQLプラットフォーム - マルチクラウドとポータビリティ -(PostgreSQL Conference Japan 20...
「概念モデリング自動化に向けた第一歩」 ~ ChatGPT・Open AI 活用による開発対象のモデル化 by Knowledge & Experience
「概念モデリング自動化に向けた第一歩」 ~ ChatGPT・Open AI 活用による開発対象のモデル化「概念モデリング自動化に向けた第一歩」 ~ ChatGPT・Open AI 活用による開発対象のモデル化
「概念モデリング自動化に向けた第一歩」 ~ ChatGPT・Open AI 活用による開発対象のモデル化
SSH応用編_20231129.pdf by icebreaker4
SSH応用編_20231129.pdfSSH応用編_20231129.pdf
SSH応用編_20231129.pdf
icebreaker4184 views
Web3 Career_クレデン資料 .pdf by nanamatsuo
Web3 Career_クレデン資料 .pdfWeb3 Career_クレデン資料 .pdf
Web3 Career_クレデン資料 .pdf
nanamatsuo14 views
01Booster Studio ご紹介資料 by ssusere7a2172
01Booster Studio ご紹介資料01Booster Studio ご紹介資料
01Booster Studio ご紹介資料
ssusere7a2172345 views
速習! PostgreSQL専用HAソフトウェア: Patroni(PostgreSQL Conference Japan 2023 発表資料) by NTT DATA Technology & Innovation
速習! PostgreSQL専用HAソフトウェア: Patroni(PostgreSQL Conference Japan 2023 発表資料)速習! PostgreSQL専用HAソフトウェア: Patroni(PostgreSQL Conference Japan 2023 発表資料)
速習! PostgreSQL専用HAソフトウェア: Patroni(PostgreSQL Conference Japan 2023 発表資料)
SNMPセキュリティ超入門 by mkoda
SNMPセキュリティ超入門SNMPセキュリティ超入門
SNMPセキュリティ超入門
mkoda188 views
さくらのひやおろし2023 by 法林浩之
さくらのひやおろし2023さくらのひやおろし2023
さくらのひやおろし2023
法林浩之94 views

20141127 py datatokyomeetup2