Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

データサイエンティストの今

533 views

Published on

データサイエンティストの祭り、「DataPalooza」に参加して、
感じたことのまとめ

Published in: Data & Analytics
  • Be the first to comment

データサイエンティストの今

  1. 1. データサイエンティスト の今 データサイエンティストの祭り、「Data Palooza」に、 参加してみて感じたことのまとめ
  2. 2. モテる、データサイエンティスト これやれば売上倍増だね! ここが穴場じゃない? 統計、AI、駆使しちゃうよー データの意味を見つけちゃうよー ビックデータを使うシステム 作っちゃうよー データ見える化しちゃうよー ・・・ビジネス視点 ・・・サイエンス視点 ・・・エンジニアリング視点 → この3つの視点を持つことがモテるらしい
  3. 3. 掘り下げる サイエンス エンジニアリング SPSS/SAS/R + jupyter notebook インフラ・・・Hadoop → Apache Spark Webアプリケーション・・・Python + Tornado 回帰分析 独立性の検定 主成分分析・因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析 計量時系列分析 ソフトウェア 分析手法 https://datascientistworkbench.com クラウド作業環境(無料) 学習=mooc(無料) 仕事 http://bigdatauniversity.com https://deepanalytics.jp/ ・・・まだまだ変わっていく!
  4. 4. とある日の作業1 上司から無茶振り 「タイ料理が流行ってる、今のうちに原料を買い込むので何を買えば良い?」 「タイ料理で一番使われている原料を探すか」 「どこから探そう」 「料理の原料は、、レシピサイトにありそうだな」 → レシピサイトからデータ収集しCSV形式で保存 クラウドのデータ分析サービスのdatascientistWorkbentchを起動。 同サービスのjupyter notebookを起動し、 レシピサイトから収集したデータを読み込む まずは生姜、ショウガ、 Gingerなどの表記乱れをショウガに統一しよう。 → データクレンジング( Open refine By google ) 次はRを使って、グルーピングしてカウントを実施。 パクチーが一番多いことが判明! → 上司に報告
  5. 5. とある日の作業2 上司から無茶振り 「パクチー買い込んで大分儲けたわ。でもタイ料理下火になってきたので、次にくる 料理を教えて」 「レシピサイトの全料理の過去の傾向を見て、今後の予測をしてみよう」 どの予測モデルを利用しようかな。下記のようなチートシートを参考にモデルを選択 http://scikit-learn.org/stable/tutorial/machine_learning_map/ → モデルの学習 インドネシア料理、ベトナム料理?など、上で作ったモデルに当てはめてみる。 → テストデータを予測 インドネシア料理は85%の確立で流行る、ベトナムは90%! → 予測結果の評価 上司に報告せず、自分で買い込む。 end
  6. 6. とある日の作業(紀元前) 100万人のデータにアクセスすると、 結果取得に1時間掛かるよ、、分析なんてやってられない(><) じゃ、パソコンをたくさん用意して、それぞれ別々にデータを格納して、 一度に全部のパソコンにアクセスすれば早くなるんじゃない? データを別々に格納 → 分散ファイル・システム(HDFS) 一度に全部のパソコンにアクセス → (MapReduce) これらを統合した技術が、Hadoop で、MapReduceを改善したものが、Apache Spark、 「僕はHDDなんて遅いのにアクセスしないで、高速なメモリ上で処理を全部やっちゃうよー」 「よし、準備もできたし、分析作業に取り掛かるか」 → とある日の作業1へ データエンジニア視点だよ
  7. 7. 最後に、うちらこんなん使って分析してます 「jupyter notebook」・・・レポートと数式やプログラミングを一緒に書ける!モテる!

×