Submit Search
Upload
Casual datascience vol2
•
1 like
•
68 views
K
KazuhiroSato8
Follow
カジュアル勉強会 データサイエンスを学ぶ第2回 公開用資料
Read less
Read more
Education
Report
Share
Report
Share
1 of 131
Download now
Download to read offline
Recommended
Casual datascience vol1
Casual datascience vol1
KazuhiroSato8
カジュアル勉強会 データサイエンスを学ぶ第1回 公開用資料
Casual data analysis_with_python_vol1
Casual data analysis_with_python_vol1
KazuhiroSato8
カジュアル勉強会 Pythonデータ分析入門 ※jupyter notebookについては別途、共有します。
Casual learning anomaly_detection_with_machine_learning_no1
Casual learning anomaly_detection_with_machine_learning_no1
KazuhiroSato8
エクテックカジュアル勉強会 『機械学習と異常検知(第1回)』 投影資料になります。
Casual learning machine_learning_with_excel_no1
Casual learning machine_learning_with_excel_no1
KazuhiroSato8
株式会社エクテック カジュアル勉強会 Excelで機械学習入門 第1回の投影資料
月額3万円でSalesforce連携を素早く、簡単に。Magic xpi(エックスピーアイ)
月額3万円でSalesforce連携を素早く、簡単に。Magic xpi(エックスピーアイ)
Tsuyoshi Watanabe
アップエクスチェンジコンソーシアムのメンバー企業が、セールスフォース・ドットコムの社員向けにSalesforce関連サービスを紹介するイベント”AppExchange INDEX”での発表資料です。 Magic xpiと、それを月額3万円で使えるクラウドサービス「PolarisGate」(双日システムズ)を3分間でご紹介しました。 Salesforceとkintoneは競合?でも、データ連携したいと思っているユーザー多いと思う
IoTで働き方改革 ~あなたに最適な働き方を教えます~_IoTビジネス共創ラボ 第8回勉強会
IoTで働き方改革 ~あなたに最適な働き方を教えます~_IoTビジネス共創ラボ 第8回勉強会
IoTビジネス共創ラボ
1,会社案内・自己紹介 2,点取り組み背景・前回の振り返り 3,今回の取り組み 4,まとめ
kintoneへの移行
kintoneへの移行
Cybozucommunity
2017/6/16 kintone hive osaka kintone hack 日本電通株式会社 村井氏
20170414 kintone hive_nagoya_エイチーム
20170414 kintone hive_nagoya_エイチーム
Cybozucommunity
kintone hive nagoya エイチーム 矢島氏
Recommended
Casual datascience vol1
Casual datascience vol1
KazuhiroSato8
カジュアル勉強会 データサイエンスを学ぶ第1回 公開用資料
Casual data analysis_with_python_vol1
Casual data analysis_with_python_vol1
KazuhiroSato8
カジュアル勉強会 Pythonデータ分析入門 ※jupyter notebookについては別途、共有します。
Casual learning anomaly_detection_with_machine_learning_no1
Casual learning anomaly_detection_with_machine_learning_no1
KazuhiroSato8
エクテックカジュアル勉強会 『機械学習と異常検知(第1回)』 投影資料になります。
Casual learning machine_learning_with_excel_no1
Casual learning machine_learning_with_excel_no1
KazuhiroSato8
株式会社エクテック カジュアル勉強会 Excelで機械学習入門 第1回の投影資料
月額3万円でSalesforce連携を素早く、簡単に。Magic xpi(エックスピーアイ)
月額3万円でSalesforce連携を素早く、簡単に。Magic xpi(エックスピーアイ)
Tsuyoshi Watanabe
アップエクスチェンジコンソーシアムのメンバー企業が、セールスフォース・ドットコムの社員向けにSalesforce関連サービスを紹介するイベント”AppExchange INDEX”での発表資料です。 Magic xpiと、それを月額3万円で使えるクラウドサービス「PolarisGate」(双日システムズ)を3分間でご紹介しました。 Salesforceとkintoneは競合?でも、データ連携したいと思っているユーザー多いと思う
IoTで働き方改革 ~あなたに最適な働き方を教えます~_IoTビジネス共創ラボ 第8回勉強会
IoTで働き方改革 ~あなたに最適な働き方を教えます~_IoTビジネス共創ラボ 第8回勉強会
IoTビジネス共創ラボ
1,会社案内・自己紹介 2,点取り組み背景・前回の振り返り 3,今回の取り組み 4,まとめ
kintoneへの移行
kintoneへの移行
Cybozucommunity
2017/6/16 kintone hive osaka kintone hack 日本電通株式会社 村井氏
20170414 kintone hive_nagoya_エイチーム
20170414 kintone hive_nagoya_エイチーム
Cybozucommunity
kintone hive nagoya エイチーム 矢島氏
エクテック カジュアル勉強会 データサイエンスを学ぶ第1回
エクテック カジュアル勉強会 データサイエンスを学ぶ第1回
KazuhiroSato8
データサイエンスを学ぶ第1回分の投影資料となります。 投影資料ですので、あくまでも外観のみになります。 詳細は、下記リンクよりご確認ください。 https://extech-casual-learn-sendai.connpass.com/
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
harmonylab
• World Modelの派⽣系のDreamerの2代⽬ • 画像⼊⼒から学習した世界モデルの潜在空間内のみで学習 • 同じ計算資源・サンプル数でIQN, Rainbow(モデルフリー)を凌駕
How to use Transformation Advisor in order to migrate Websphere Application S...
How to use Transformation Advisor in order to migrate Websphere Application S...
Satoru Yoshida
メモリー消費および保守料の削減、負荷に応じたスケールアップ、コンテナ化の対応(IBM Cloud Pak など)でお悩みではありませんか? 当セッションでは WebSphere Liberty および Liberty Core の特徴を紹介し、移行のために必要な調査方法をご案内します。
20160527_06_Azure Certified for IoT for 共創ラボ
20160527_06_Azure Certified for IoT for 共創ラボ
IoTビジネス共創ラボ
20160527_06_Azure Certified for IoT for 共創ラボ
アジャイル開発の普及状況と具体事例
アジャイル開発の普及状況と具体事例
Yukio Okajima
2019年2月19日に開催された、IT企業経営者・管理者向けセミナー「アジャイル開発の現状について」@札幌 吉田学園情報ビジネス専門学校 講演資料です。
Extreme Management Center を活用したネットワークの見える化
Extreme Management Center を活用したネットワークの見える化
エクストリーム ネットワークス / Extreme Networks Japan
三井情報株式会社 Interop Tokyo 2018
AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方
Shota Suzuki
JAWS DAYS 2019での資料です
Casual learning-machinelearningwithexcelno8
Casual learning-machinelearningwithexcelno8
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第8回)』 投影資料です。
Casual learning machine_learning_with_excel_no7
Casual learning machine_learning_with_excel_no7
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第7回)』 の投影資料になります。
Casual data analysis_with_python_vol2
Casual data analysis_with_python_vol2
KazuhiroSato8
エクテックカジュアル勉強会 『Pythonでデータ分析入門(第2回)』 投影資料となります。
Casual datascience vol5
Casual datascience vol5
KazuhiroSato8
エクテックカジュアル勉強会 『データサイエンスを学ぶ(第5回)』 の投影資料になります。
Casual learning machine learning with_excel_no6
Casual learning machine learning with_excel_no6
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第6回)』 の投影資料となります。
Casual learning machine learning with_excel_no5
Casual learning machine learning with_excel_no5
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第5回)』 投影資料になります。
Casual learning machine learning with_excel_no4
Casual learning machine learning with_excel_no4
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第4回)』の投影資料となります。
Basic deep learning_framework
Basic deep learning_framework
KazuhiroSato8
エクテックカジュアル勉強会 深層学習フレームワーク概要編資料
Casual learning machine learning with_excel_no3
Casual learning machine learning with_excel_no3
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第3回)』 の投影資料となります。
Casual learning machine learning with_excel_no2
Casual learning machine learning with_excel_no2
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第2回)』 の投影資料となります。
エクテック カジュアル勉強会 データサイエンスを学ぶ第2回
エクテック カジュアル勉強会 データサイエンスを学ぶ第2回
KazuhiroSato8
データサイエンスを学ぶ第2回分の投影資料となります。 投影資料ですので、あくまでも外観のみになります。 詳細は、下記リンクよりご確認ください。 https://extech-casual-learn-sendai.connpass.com/
Casual datascience vol4
Casual datascience vol4
KazuhiroSato8
カジュアル勉強会 データサイエンスを学ぶ第4回 公開用資料
Casual datascience vol3
Casual datascience vol3
KazuhiroSato8
カジュアル勉強会 データサイエンスを学ぶ第3回 公開用資料
More Related Content
Similar to Casual datascience vol2
エクテック カジュアル勉強会 データサイエンスを学ぶ第1回
エクテック カジュアル勉強会 データサイエンスを学ぶ第1回
KazuhiroSato8
データサイエンスを学ぶ第1回分の投影資料となります。 投影資料ですので、あくまでも外観のみになります。 詳細は、下記リンクよりご確認ください。 https://extech-casual-learn-sendai.connpass.com/
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
harmonylab
• World Modelの派⽣系のDreamerの2代⽬ • 画像⼊⼒から学習した世界モデルの潜在空間内のみで学習 • 同じ計算資源・サンプル数でIQN, Rainbow(モデルフリー)を凌駕
How to use Transformation Advisor in order to migrate Websphere Application S...
How to use Transformation Advisor in order to migrate Websphere Application S...
Satoru Yoshida
メモリー消費および保守料の削減、負荷に応じたスケールアップ、コンテナ化の対応(IBM Cloud Pak など)でお悩みではありませんか? 当セッションでは WebSphere Liberty および Liberty Core の特徴を紹介し、移行のために必要な調査方法をご案内します。
20160527_06_Azure Certified for IoT for 共創ラボ
20160527_06_Azure Certified for IoT for 共創ラボ
IoTビジネス共創ラボ
20160527_06_Azure Certified for IoT for 共創ラボ
アジャイル開発の普及状況と具体事例
アジャイル開発の普及状況と具体事例
Yukio Okajima
2019年2月19日に開催された、IT企業経営者・管理者向けセミナー「アジャイル開発の現状について」@札幌 吉田学園情報ビジネス専門学校 講演資料です。
Extreme Management Center を活用したネットワークの見える化
Extreme Management Center を活用したネットワークの見える化
エクストリーム ネットワークス / Extreme Networks Japan
三井情報株式会社 Interop Tokyo 2018
AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方
Shota Suzuki
JAWS DAYS 2019での資料です
Similar to Casual datascience vol2
(7)
エクテック カジュアル勉強会 データサイエンスを学ぶ第1回
エクテック カジュアル勉強会 データサイエンスを学ぶ第1回
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
How to use Transformation Advisor in order to migrate Websphere Application S...
How to use Transformation Advisor in order to migrate Websphere Application S...
20160527_06_Azure Certified for IoT for 共創ラボ
20160527_06_Azure Certified for IoT for 共創ラボ
アジャイル開発の普及状況と具体事例
アジャイル開発の普及状況と具体事例
Extreme Management Center を活用したネットワークの見える化
Extreme Management Center を活用したネットワークの見える化
AI/MLシステムにおけるビッグデータとの付き合い方
AI/MLシステムにおけるビッグデータとの付き合い方
More from KazuhiroSato8
Casual learning-machinelearningwithexcelno8
Casual learning-machinelearningwithexcelno8
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第8回)』 投影資料です。
Casual learning machine_learning_with_excel_no7
Casual learning machine_learning_with_excel_no7
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第7回)』 の投影資料になります。
Casual data analysis_with_python_vol2
Casual data analysis_with_python_vol2
KazuhiroSato8
エクテックカジュアル勉強会 『Pythonでデータ分析入門(第2回)』 投影資料となります。
Casual datascience vol5
Casual datascience vol5
KazuhiroSato8
エクテックカジュアル勉強会 『データサイエンスを学ぶ(第5回)』 の投影資料になります。
Casual learning machine learning with_excel_no6
Casual learning machine learning with_excel_no6
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第6回)』 の投影資料となります。
Casual learning machine learning with_excel_no5
Casual learning machine learning with_excel_no5
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第5回)』 投影資料になります。
Casual learning machine learning with_excel_no4
Casual learning machine learning with_excel_no4
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第4回)』の投影資料となります。
Basic deep learning_framework
Basic deep learning_framework
KazuhiroSato8
エクテックカジュアル勉強会 深層学習フレームワーク概要編資料
Casual learning machine learning with_excel_no3
Casual learning machine learning with_excel_no3
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第3回)』 の投影資料となります。
Casual learning machine learning with_excel_no2
Casual learning machine learning with_excel_no2
KazuhiroSato8
エクテックカジュアル勉強会 『Excelで機械学習入門(第2回)』 の投影資料となります。
エクテック カジュアル勉強会 データサイエンスを学ぶ第2回
エクテック カジュアル勉強会 データサイエンスを学ぶ第2回
KazuhiroSato8
データサイエンスを学ぶ第2回分の投影資料となります。 投影資料ですので、あくまでも外観のみになります。 詳細は、下記リンクよりご確認ください。 https://extech-casual-learn-sendai.connpass.com/
Casual datascience vol4
Casual datascience vol4
KazuhiroSato8
カジュアル勉強会 データサイエンスを学ぶ第4回 公開用資料
Casual datascience vol3
Casual datascience vol3
KazuhiroSato8
カジュアル勉強会 データサイエンスを学ぶ第3回 公開用資料
More from KazuhiroSato8
(13)
Casual learning-machinelearningwithexcelno8
Casual learning-machinelearningwithexcelno8
Casual learning machine_learning_with_excel_no7
Casual learning machine_learning_with_excel_no7
Casual data analysis_with_python_vol2
Casual data analysis_with_python_vol2
Casual datascience vol5
Casual datascience vol5
Casual learning machine learning with_excel_no6
Casual learning machine learning with_excel_no6
Casual learning machine learning with_excel_no5
Casual learning machine learning with_excel_no5
Casual learning machine learning with_excel_no4
Casual learning machine learning with_excel_no4
Basic deep learning_framework
Basic deep learning_framework
Casual learning machine learning with_excel_no3
Casual learning machine learning with_excel_no3
Casual learning machine learning with_excel_no2
Casual learning machine learning with_excel_no2
エクテック カジュアル勉強会 データサイエンスを学ぶ第2回
エクテック カジュアル勉強会 データサイエンスを学ぶ第2回
Casual datascience vol4
Casual datascience vol4
Casual datascience vol3
Casual datascience vol3
Casual datascience vol2
1.
カジュアル勉強会 @仙台 データサイエンスを学ぶ 第2回 株式会社
エクテック 取締役 兼データサイエンティスト © 2019- exetch, inc.
2.
第5回までの流れ 1部 1. 第1回のおさらい 2. データへの取り組み方 3.
色々なアプローチ 2部 1. アプローチ具体例 2. 分析環境 3. 周辺技術と知識 第2回 (2020/02/01 ) 1部 1. データとは 2. 身近なデータ 3. データと科学 2部 1. データアプローチ 2. データで実現 3. 活用事例 第1回 (2020/01/24 ) © 2019- exetch, inc.
3.
第5回までの流れ 1部 1. 第3回のおさらい 2. 機械学習 3.
データと機械学習 2部 1. データと分類 2. データと回帰 3. データとクラスタリング 第4回 (2020/03/07 ) 1部 1. 第2回のおさらい 2. データの加工 3. データの前処理 2部 1. データの正規化 2. 予測と分類① 3. 予測と分類② 第3回 (2020/02/15 ) © 2019- exetch, inc.
4.
第5回までの流れ 1部 1. 第4回のおさらい 2. データの在り方 3.
データと可視化① 2部 1. データと可視化② 2. データと可視化③ 3. データと個人情報 第5回 (2020/03/28 ) © 2019- exetch, inc.
5.
本日のアジェンダ 第1回のおさらい (Go over) データへの取り組み方 (How to
approach Data) 色々なアプローチ (Different approach) アプローチ具体例 (Approach example) 分析環境 (Analysis Environment) 周辺技術と知識 (Technology & Knowledge) 2部1部 © 2019- exetch, inc.
6.
第1回のおさらい (Go over) © 2019-
exetch, inc.
7.
© 2019- exetch,
inc.
8.
© 2019- exetch,
inc.
9.
データとは 複数の事象や数値の集まり 観測値 ⼈⼝の増減 ニュース原稿 消費電⼒ 売上アンケート ⽇々の運動記録 ユーザ嗜好 株価 ログ情報 緯度経度 渡航履歴 占い 医療カルテ 検索履歴 お薬⼿帳 レシート クリック数 通話履歴 位置情報 研究論⽂数 新聞紙の発⾏部数 雑誌 帳簿 献⽴メモ ハガキ アルバム 地域の⾬量 アドレス帳チラシ 勉強ノート © 2019-
exetch, inc.
10.
⼿元にある書類やファイル(紙媒体) 電⼦データ化 コンピュータで扱えるデータ の形になっていること © 2019- exetch,
inc.
11.
帝国データバンク 企業・⾮営利団体 Facebook Twitter Google Amazon Worldbank IMF 東京メトロオープンデータ あおきオープンデータ 世界保健機関(WHO) Linkedin ⽇本旅⾏業協会 Wikipedia Google Scholar Linkedin Five Thirty
Eight New York Times API iタウンページ ⼟地DATA © 2019- exetch, inc.
12.
データとは 複数の事象や数値の集まり “記録”がされているだけ。 そこにあるのは”記号”と”数字” © 2019- exetch,
inc.
13.
情報とは 意志決定の”もと”となるもの “記号”や”数字”のデータから 情報を抜き出す、要約したもの © 2019- exetch,
inc.
14.
基本的なアプローチ 収集 加⼯ 要約 データは⼿元あるが、中⾝を知らない データの所在がわからない いたるところに分散している…etc データに無駄な情報がある データを結合しようにも、定義が違う ファイルの拡張⼦が違う…etc 不要な情報や、無駄な情報がない 必要に応じて数値化できる グラフ化が容易にできる…etc © 2019- exetch,
inc.
15.
統計学的アプローチ ニューラルネットワーク AI 機械学習(マシーンラーニング) ディープラーニング(深層学習) © 2019- exetch,
inc.
16.
類推、推察、予知、予想、予⾒ そして予測 © 2019- exetch,
inc.
17.
データへの取り組み⽅ (How to approach
Data) © 2019- exetch, inc.
18.
データをたくさん いじる前に... © 2019- exetch,
inc.
19.
個⼈情報保護法 © 2019- exetch,
inc.
20.
個⼈情報の保護に関する法律。 利⽤者や消費者が安⼼できるように、 企業や団体に個⼈情報をきちんと ⼤切に扱ってもらった上で、 有効に活⽤できるよう共通のルールを定めた法律。 平成15年5⽉に公布 平成17年4⽉に全⾯施⾏ いくつか追加・修正されながら現在に⾄る © 2019- exetch,
inc.
21.
個⼈情報を含むデータは、 個⼈情報を削除してから扱った⽅が、無難 © 2019- exetch,
inc.
22.
収集 加⼯ 要約 データは⼿元あるが、中⾝を知らない データの所在がわからない いたるところに分散している…etc データに無駄な情報がある データを結合しようにも、定義が違う ファイルの拡張⼦が違う…etc 不要な情報や、無駄な情報がない 必要に応じて数値化できる グラフ化が容易にできる…etc © 2019- exetch,
inc.
23.
収集 要約 データは⼿元あるが、中⾝を知らない データの所在がわからない いたるところに分散している…etc 不要な情報や、無駄な情報がない 必要に応じて数値化できる グラフ化が容易にできる…etc 加⼯ データに無駄な情報がある データを結合しようにも、定義が違う ファイルの拡張⼦が違う…etc © 2019- exetch,
inc.
24.
加⼯ データに無駄な情報がある データを結合しようにも、定義が違う ファイルの拡張⼦が違う…etc データクレンジング © 2019- exetch,
inc.
25.
レコードセット, データベース, テーブル データクレンジング 破損または不正確なデータを 検出および修正するプロセス ©
2019- exetch, inc.
26.
破損または不正確なデータを 検出および修正するプロセス データの品質を把握する © 2019- exetch,
inc.
27.
破損または不正確なデータを 検出および修正するプロセス データの品質を把握する データのクレンジングをする前に、 データがどの程度、”綺麗”なのかを確認する © 2019- exetch,
inc.
28.
破損または不正確なデータを 検出および修正するプロセス データをクレンジングする © 2019- exetch,
inc.
29.
破損または不正確なデータを 検出および修正するプロセス データをクレンジングする ⽋損の補完や表記の揺れの標準化, ノイズの排除など ⽬的に適した⼿法を定義し、適⽤する必要あり © 2019-
exetch, inc.
30.
破損または不正確なデータを 検出および修正するプロセス データを名寄せ、統合する © 2019- exetch,
inc.
31.
破損または不正確なデータを 検出および修正するプロセス データを名寄せ、統合する 名寄せ(マッチング)によって重複データの特定 統合(マージ)を⾏う © 2019- exetch,
inc.
32.
名寄せ Tips 「株式会社」 © 2019- exetch,
inc.
33.
名寄せ 「株式会社」 Tips (株 株) 株] [株 Inc Corp Corp Co. Ltd K.K. カブシキガイシャ ㊑ ㍿ © 2019- exetch,
inc.
34.
様々なアプローチ (Different Approach) © 2019-
exetch, inc.
35.
例えば、⽋損データ。 © 2019- exetch,
inc.
36.
なんらかの理由により記録されなかった値 ⽋損データ 全ての変数の値が観測されている データを「完全データ」 ⽋損データ = 不完全データ ©
2019- exetch, inc.
37.
データが不完全, ⽋損データであると ⽋損データ 統計的処理が不可能になる 結果にバイアスが⽣じる データそのものが無駄になる © 2019-
exetch, inc.
38.
⽋損データを どのように扱いますか? © 2019- exetch,
inc.
39.
© 2019- exetch,
inc.
40.
⽋損データには、 いくつか⼿法があります。 © 2019- exetch,
inc.
41.
⽋損値の除去 予測値で補完する⽅法 尤度(確率)で補完する⽅法 © 2019- exetch,
inc.
42.
アプローチ具体例 (Approach example) © 2019-
exetch, inc.
43.
⽋損値の除去 予測値で補完する⽅法 尤度(確率)で補完する⽅法 © 2019- exetch,
inc.
44.
⽋損値の除去 © 2019- exetch,
inc.
45.
⽋損を含む部分を削除する ⽋損値の除去 簡単な⼿法ではあるが、 結果に⼤きな影響を与える可能性あり © 2019- exetch,
inc.
46.
© 2019- exetch,
inc.
47.
⽋損値 © 2019- exetch,
inc.
48.
© 2019- exetch,
inc.
49.
© 2019- exetch,
inc.
50.
© 2019- exetch,
inc.
51.
© 2019- exetch,
inc.
52.
© 2019- exetch,
inc.
53.
© 2019- exetch,
inc.
54.
時系列には適さない © 2019- exetch,
inc.
55.
© 2019- exetch,
inc.
56.
⽋損値 © 2019- exetch,
inc.
57.
© 2019- exetch,
inc.
58.
© 2019- exetch,
inc.
59.
© 2019- exetch,
inc.
60.
© 2019- exetch,
inc.
61.
結果が⼤きく左右するかも © 2019- exetch,
inc.
62.
なるべく⽋損させたくない © 2019- exetch,
inc.
63.
影響を与える可能性あり ⽋損値の除去 データ全体を俯瞰してみて、 ⽋損値がごくわずかであれば使える © 2019- exetch,
inc.
64.
予測値で補完する⽅法 © 2019- exetch,
inc.
65.
© 2019- exetch,
inc.
66.
⽋損値 © 2019- exetch,
inc.
67.
© 2019- exetch,
inc.
68.
© 2019- exetch,
inc.
69.
© 2019- exetch,
inc.
70.
© 2019- exetch,
inc.
71.
© 2019- exetch,
inc.
72.
© 2019- exetch,
inc.
73.
© 2019- exetch,
inc.
74.
⼀⾒、パターンが⾒えないもの © 2019- exetch,
inc.
75.
© 2019- exetch,
inc.
76.
© 2019- exetch,
inc.
77.
© 2019- exetch,
inc.
78.
© 2019- exetch,
inc.
79.
© 2019- exetch,
inc.
80.
© 2019- exetch,
inc.
81.
© 2019- exetch,
inc.
82.
© 2019- exetch,
inc.
83.
© 2019- exetch,
inc.
84.
© 2019- exetch,
inc.
85.
© 2019- exetch,
inc.
86.
© 2019- exetch,
inc.
87.
変化が⼀定であれば、可能 © 2019- exetch,
inc.
88.
変動が⼤きいと 予測による補完は厳しい © 2019- exetch,
inc.
89.
尤度(確率)で補完する⽅法 © 2019- exetch,
inc.
90.
© 2019- exetch,
inc.
91.
© 2019- exetch,
inc.
92.
© 2019- exetch,
inc.
93.
© 2019- exetch,
inc.
94.
© 2019- exetch,
inc.
95.
© 2019- exetch,
inc.
96.
© 2019- exetch,
inc.
97.
出現率を⾒て、補完。 © 2019- exetch,
inc.
98.
補完前後で、出現回数の 分布を確認する。 © 2019- exetch,
inc.
99.
⽋損データが⼤きいと 推論による補完は厳しい © 2019- exetch,
inc.
100.
次の予測値(確率値) 99.0% © 2019- exetch,
inc.
101.
100ステップ後の確率 © 2019- exetch,
inc.
102.
100ステップ後の確率 36.6% © 2019- exetch,
inc.
103.
元々のデータにバラつきあると 推論による補完は厳しい © 2019- exetch,
inc.
104.
⽋損データの割合が 全体に対して⼩さい場合 © 2019- exetch,
inc.
105.
有効 © 2019- exetch,
inc.
106.
データは... © 2019- exetch,
inc.
107.
⽋損だけではない © 2019- exetch,
inc.
108.
ホワイトノイズ ランダムウォーク ※詳しくは第3回で説明します © 2019- exetch,
inc.
109.
分析環境 (Analysis Environment) © 2019-
exetch, inc.
110.
“Excelでわかる機械学習 超⼊⾨ ―AIのモデルと アルゴリズムがわかる” © 2019-
exetch, inc.
111.
Excelでも良いけれど... © 2019- exetch,
inc.
112.
Excel、限界。 © 2019- exetch,
inc.
113.
Excelでできるのは、 集計とその結果の可視化 © 2019- exetch,
inc.
114.
ただし、データが 少ない時だけ。 © 2019- exetch,
inc.
115.
しかも、 © 2019- exetch,
inc.
116.
Excelには、 データセットがない。 © 2019- exetch,
inc.
117.
データサイエンス界隈で メインで扱われる⾔語 © 2019- exetch,
inc.
118.
R⾔語 Python⾔語 © 2019- exetch,
inc.
119.
R⾔語 © 2019- exetch,
inc.
120.
R⾔語とは 1. test_data <-
read.csv("hogehoge.csv") 統計を⽬的とした⾔語であり、 実際にそれを体現している⾔語。 統計に特化した⾔語。 © 2019- exetch, inc.
121.
Python⾔語 © 2019- exetch,
inc.
122.
Python⾔語とは 1. import pandas 2.
test_data = pandas.read_csv("hogehoge.csv") 統計もできるし、データベースへの 保存やWebサーバーのデプロイ、 また複雑なワークフローの実⾏も可能 © 2019- exetch, inc.
123.
両⾔語のデータ解析の ワークフローには 多くの類似性がある © 2019- exetch,
inc.
124.
RもPythonも 標準的なデータセットが ⽤意されている © 2019- exetch,
inc.
125.
周辺技術と知識 (Technology & Knowledge) ©
2019- exetch, inc.
126.
簡単に、まとめてみた。 © 2019- exetch,
inc.
127.
Python R ⾼校数学 微分積分
統計学 収集⼒ 客観的思考⼒ numpypandas scikit-learn Tensorflow Keras Caretggplot2 dplyer matplotlib CRAN R Studio Pycharm PyScripter Atom Visual Studio ⾃然⾔語 レコメンド 時系列 © 2019- exetch, inc.
128.
第3回へ、つづく。 © 2019- exetch,
inc.
129.
次回のアジェンダ 第2回のおさらい (Go over) データの加工 (Data Processing) データの前処理 (Data
Pre-processing) データの正規化 (Data Normalization) 予測と分類① (Forecasting & Classification1) 予測と分類② (Forecasting & Classification2) 2部1部 © 2019- exetch, inc.
130.
© 2019- exetch,
inc.
131.
EOS © 2019- exetch,
inc.
Download now