エクテックカジュアル勉強会データサイエンスを学ぶ第2回

カジュアル勉強会 @仙台
データサイエンスを学ぶ第２回
株式会社エクテック
取締役兼データサイエンティスト
© 2019- exetch, inc.

第5回までの流れ
1部
1. 第1回のおさらい
2. データへの取り組み方
3. 色々なアプローチ
2部
1. アプローチ具体例
2. 分析環境
3. 周辺技術と知識
第2回 (2020/02/01 )
1部
1. データとは
2. 身近なデータ
3. データと科学
2部
1. データアプローチ
2. データで実現
3. 活用事例
第1回 (2020/01/24 )

1部
2. 機械学習
3. データと機械学習
2部
1. データと分類
2. データと回帰
3. データとクラスタリング
第4回 (2020/03/07 )
1部
2. データの加工
3. データの前処理
2部
1. データの正規化
2. 予測と分類①
3. 予測と分類②
第3回 (2020/02/15 )

1部
2. データの在り方
3. データと可視化①
2部
1. データと可視化②
2. データと可視化③
3. データと個人情報
第5回 (2020/03/28 )

本日のアジェンダ
第１回のおさらい
(Go over)
データへの取り組み方
(How to approach Data)
色々なアプローチ
(Different approach)
アプローチ具体例
(Approach example)
分析環境
(Analysis Environment)
周辺技術と知識
(Technology & Knowledge)
2部1部

第１回のおさらい
(Go over)

データとは
複数の事象や数値の集まり
観測値
⼈⼝の増減
ニュース原稿
消費電⼒
売上アンケート
⽇々の運動記録
ユーザ嗜好
株価
ログ情報
緯度経度
渡航履歴
占い医療カルテ
検索履歴
お薬⼿帳
レシート
クリック数
通話履歴
位置情報
研究論⽂数
新聞紙の発⾏部数
雑誌
帳簿
献⽴メモ
ハガキ
アルバム
地域の⾬量
アドレス帳チラシ
勉強ノート

⼿元にある書類やファイル(紙媒体)
電⼦データ化
コンピュータで扱えるデータ
の形になっていること

帝国データバンク
企業・⾮営利団体
Facebook
Twitter
Google
Amazon
Worldbank
IMF
東京メトロオープンデータ
あおきオープンデータ
世界保健機関(WHO)
Linkedin
⽇本旅⾏業協会
Wikipedia
Google Scholar
Linkedin
Five Thirty Eight
New York Times API
iタウンページ
⼟地DATA

データとは
複数の事象や数値の集まり
“記録”がされているだけ。
そこにあるのは”記号”と”数字”

情報とは
意志決定の”もと”となるもの
“記号”や”数字”のデータから
情報を抜き出す、要約したもの

基本的なアプローチ
収集
加⼯
要約
データは⼿元あるが、中⾝を知らない
データの所在がわからない
いたるところに分散している…etc
データに無駄な情報がある
データを結合しようにも、定義が違う
ファイルの拡張⼦が違う…etc
不要な情報や、無駄な情報がない
必要に応じて数値化できる
グラフ化が容易にできる…etc

統計学的アプローチ
ニューラルネットワーク
AI
機械学習(マシーンラーニング)
ディープラーニング(深層学習)

類推、推察、予知、予想、予⾒
そして予測

データへの取り組み⽅
(How to approach Data)

データをたくさん
いじる前に...

個⼈情報保護法

個⼈情報の保護に関する法律。
利⽤者や消費者が安⼼できるように、
企業や団体に個⼈情報をきちんと
⼤切に扱ってもらった上で、
有効に活⽤できるよう共通のルールを定めた法律。
平成15年５⽉に公布
平成17年４⽉に全⾯施⾏
いくつか追加・修正されながら現在に⾄る

個⼈情報を含むデータは、
個⼈情報を削除してから扱った⽅が、無難

収集
加⼯
要約

収集
要約
加⼯

加⼯
データクレンジング

レコードセット, データベース, テーブル
データクレンジング
破損または不正確なデータを
検出および修正するプロセス

データの品質を把握する

データの品質を把握する
データのクレンジングをする前に、
データがどの程度、”綺麗”なのかを確認する

データをクレンジングする

データをクレンジングする
⽋損の補完や表記の揺れの標準化, ノイズの排除など
⽬的に適した⼿法を定義し、適⽤する必要あり

データを名寄せ、統合する

データを名寄せ、統合する
名寄せ(マッチング)によって重複データの特定
統合(マージ)を⾏う

名寄せ
Tips
「株式会社」

名寄せ
「株式会社」
Tips
(株
株)
株]
[株
Inc
Corp
Corp
Co.
Ltd
K.K.
カブシキガイシャ
㊑
㍿

様々なアプローチ
(Diﬀerent Approach)

例えば、⽋損データ。

なんらかの理由により記録されなかった値
⽋損データ
全ての変数の値が観測されている
データを「完全データ」
⽋損データ = 不完全データ

データが不完全, ⽋損データであると
⽋損データ
統計的処理が不可能になる
結果にバイアスが⽣じる
データそのものが無駄になる

⽋損データを
どのように扱いますか？

⽋損データには、
いくつか⼿法があります。

⽋損値の除去
予測値で補完する⽅法
尤度(確率)で補完する⽅法

アプローチ具体例
(Approach example)

⽋損値の除去

⽋損を含む部分を削除する
⽋損値の除去
簡単な⼿法ではあるが、
結果に⼤きな影響を与える可能性あり

⽋損値

時系列には適さない

結果が⼤きく左右するかも

なるべく⽋損させたくない

影響を与える可能性あり
⽋損値の除去
データ全体を俯瞰してみて、
⽋損値がごくわずかであれば使える

予測値で補完する⽅法

⼀⾒、パターンが⾒えないもの

変化が⼀定であれば、可能

変動が⼤きいと
予測による補完は厳しい

尤度(確率)で補完する⽅法

出現率を⾒て、補完。

補完前後で、出現回数の
分布を確認する。

⽋損データが⼤きいと
推論による補完は厳しい

次の予測値(確率値)
99.0%

100ステップ後の確率

100ステップ後の確率
36.6%

元々のデータにバラつきあると
推論による補完は厳しい

⽋損データの割合が
全体に対して⼩さい場合

データは...

⽋損だけではない

ホワイトノイズ
ランダムウォーク
※詳しくは第3回で説明します

分析環境
(Analysis Environment)

“Excelでわかる機械学習
超⼊⾨ ―AIのモデルと
アルゴリズムがわかる”

Excelでも良いけれど...

Excel、限界。

Excelでできるのは、
集計とその結果の可視化

ただし、データが
少ない時だけ。

しかも、

Excelには、
データセットがない。

データサイエンス界隈で
メインで扱われる⾔語

R⾔語
Python⾔語

R⾔語とは
1. test_data <- read.csv("hogehoge.csv")
統計を⽬的とした⾔語であり、
実際にそれを体現している⾔語。
統計に特化した⾔語。

Python⾔語

Python⾔語とは
1. import pandas
2. test_data = pandas.read_csv("hogehoge.csv")
統計もできるし、データベースへの
保存やWebサーバーのデプロイ、
また複雑なワークフローの実⾏も可能

両⾔語のデータ解析の
ワークフローには
多くの類似性がある

RもPythonも
標準的なデータセットが
⽤意されている

周辺技術と知識
(Technology & Knowledge)

簡単に、まとめてみた。

Python R
⾼校数学微分積分統計学収集⼒客観的思考⼒
numpypandas
scikit-learn
Tensorﬂow
Keras
Caretggplot2
dplyer
matplotlib
CRAN
R Studio
Pycharm
PyScripter
Atom Visual
Studio
⾃然⾔語レコメンド時系列

第3回へ、つづく。

次回のアジェンダ
第2回のおさらい
(Go over)
データの加工
(Data Processing)
データの前処理
(Data Pre-processing)
データの正規化
(Data Normalization)
予測と分類①
(Forecasting & Classiﬁcation1)
予測と分類②
(Forecasting & Classiﬁcation2)
2部1部

エクテックカジュアル勉強会データサイエンスを学ぶ第2回

Recommended

Recommended

More Related Content

Similar to エクテックカジュアル勉強会データサイエンスを学ぶ第2回

Similar to エクテックカジュアル勉強会データサイエンスを学ぶ第2回 (7)

More from KazuhiroSato8

More from KazuhiroSato8 (13)