Submit Search
Upload
時系列データ分析とPython
•
Download as PPTX, PDF
•
12 likes
•
19,064 views
H
Hirofumi Tsuruta
Follow
時系列データの分析をPythonでやってみた。
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 20
Download now
Recommended
tmp
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Hideki Tsunashima
rogyzemi4th by nikku12312
情報統計力学のすすめ
情報統計力学のすすめ
Naoki Hayashi
MACHINE LEARNING Meetup KANSAI #4 https://mlm-kansai.connpass.com/event/119084/ での、能見さんの発表資料です。
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
「データとデータ分析」の初歩
1 データとデータ分析
1 データとデータ分析
Seiichi Uchida
東大数理有志研究会(takamatsu26)、機械学習勉強会(Math-iine Learning)での発表資料.
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
3月のマンスリーセミナーでは、機械学習を使った生存分析をテーマにワークショップを実施します。例えば、機械の不具合や生物の死といった、ある事象が起こるまでの時間を予測する手法を学ぶことができます。
機械学習による生存予測
機械学習による生存予測
Yasuaki Sakamoto
差分プライバシー (Differential privacy) という技術に関する入門スライドです
差分プライバシーとは何か? (定義 & 解釈編)
差分プライバシーとは何か? (定義 & 解釈編)
Kentaro Minami
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
Recommended
tmp
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Hideki Tsunashima
rogyzemi4th by nikku12312
情報統計力学のすすめ
情報統計力学のすすめ
Naoki Hayashi
MACHINE LEARNING Meetup KANSAI #4 https://mlm-kansai.connpass.com/event/119084/ での、能見さんの発表資料です。
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
「データとデータ分析」の初歩
1 データとデータ分析
1 データとデータ分析
Seiichi Uchida
東大数理有志研究会(takamatsu26)、機械学習勉強会(Math-iine Learning)での発表資料.
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
3月のマンスリーセミナーでは、機械学習を使った生存分析をテーマにワークショップを実施します。例えば、機械の不具合や生物の死といった、ある事象が起こるまでの時間を予測する手法を学ぶことができます。
機械学習による生存予測
機械学習による生存予測
Yasuaki Sakamoto
差分プライバシー (Differential privacy) という技術に関する入門スライドです
差分プライバシーとは何か? (定義 & 解釈編)
差分プライバシーとは何か? (定義 & 解釈編)
Kentaro Minami
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
人工知能学会 SWO研究会ワークショップ 「ナレッジグラフ推論チャレンジ2019技術勉強会」 https://kgrc2019ws.peatix.com/
ナレッジグラフ入門
ナレッジグラフ入門
KnowledgeGraph
機械学習における主成分分析について説明するとともに、実際のデータを用いた処理について説明しました。 2018-05-17 誤字修正のため、再アップ それまでのログ:view: 6934, like 4, download: 35
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
異常検知のまとめ
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
ぱんいち すみもと
NAIST知能コミュニケーション研究室で行われたM1勉強会(2018)の「論文の読み方・書き方」で発表したスライドです 訂正:p.16のCHI勉強会のリンクが間違ってました。正しくはこちらです(http://sigchi.jp/seminar/chi2018/)
AHC-Lab M1勉強会 論文の読み方・書き方
AHC-Lab M1勉強会 論文の読み方・書き方
Shinagawa Seitaro
[第3回分析コンペLT会 、オンライン開催] (https://kaggle-friends.connpass.com/event/220927/) での発表資料です。 画像コンペに出るうえで便利過ぎる timm(pytorch image models) の紹介をしました。
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
代表的な教師なし学習アルゴリズムであるクラスタリングについて説明する。これは、データの持つ性質の近いもの同士をまとめ上げるアルゴリズムである。また、そのために必要な距離と類似度についても説明する。
クラシックな機械学習の入門 8. クラスタリング
クラシックな機械学習の入門 8. クラスタリング
Hiroshi Nakagawa
最近の三次元表現やこれをニューラルネットワークのような深層学習モデルに入力,出力する際の工夫についてまとめています.気まぐれに一晩で作成したので,多少の粗さはお許しください.
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
情報処理学会連続セミナー2013
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
九州大学大学院システム情報科学研究院「データサイエンス実践特別講座」が贈る,数理・情報系『でない』学生さんのための「データサイエンス講義
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Seiichi Uchida
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
スペクトラル・クラスタリング (spectral clustering) の説明資料です。
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
FIT2012で行われた「ビジネスで生きる機械学習技術」セッションの招待講演資料です。 http://www.ipsj.or.jp/event/fit/fit2012/program/data/html/event/event_A-7.html 【講演概要】 世の中で得られる知見の多くは、何らかの観測対象の時間変化や、観測対象グループにおける珍しい個体の出現を捉えたものと考えることができます。特に急速な変化や異常な個体の検出するための異常検知技術は、ビジネスにおけるデータ収集・蓄積インフラの浸透とともに応用が広がっています。従来は、蓄積されたデータを目で見て確認する、閾値を設けてアラートを出す、あるいは経験に基づいて異常パターンをルール化する、などのアプローチが主流でした。しかしながら、収集できるデータの変数と量が飛躍的に増大する中で、比較的単純かつ過去に起きた異常のみ扱えるルールベース手法では不十分である場合が増えてきました。そこで最近研究と応用が進んでいるのが統計ベースと言われる最新のデータ解析技術を使ったアプローチであり、機械学習が中心的な役割を果たしています。その強みは未知の異常も扱えること、大量のデータを効率的に扱えること、可視化では人間が捉えられない複雑な隠れた異常も検出可能であることなどがあります。本講演では、実世界の異常検知問題を分類したあと、それぞれにおいて最近用いられている代表的な機械学習手法を説明し、実際のビジネスケースを紹介します。
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Shohei Hido
SGDの最新の拡張手法を紹介: Importance-aware UpdateやNormalized Online Learningなど.SGD+αはここまで出来る!
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
反実仮想機械学習の入門を兼ねたサーベイ資料 反実仮想機械学習に関する単独の解説資料をベースに、つながりが良くなるように整理した(つもり)。初学者の理解の手助けになれば幸いです。
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
ARISE analytics
多変数の間の直接相関をスパース推定する手法であるグラフィカル Lasso と、その異常検知への応用についてまとめました。
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
情報論的学習理論と機械学習研究会(IBISML), 京都大学, 2022年12月22日-23日
機械学習と機械発見:自然科学研究におけるデータ利活用の再考
機械学習と機械発見:自然科学研究におけるデータ利活用の再考
Ichigaku Takigawa
R初心者向け講座「Rによるやさしい統計学第20章『検定力分析によるサンプルサイズの決定』」20140222 TokyoR #36
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Takashi J OZAKI
Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
株式会社電通国際情報サービス 小川雄太郎 氏
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
AAAI2023「Are Transformers Effective for Time Series Forecasting?」と、HuggingFace「Yes, Transformers are Effective for Time Series Forecasting (+ Autoformer)」の紹介です。
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
GLMのモデル選択ー AICとモデルの予測の良さー
データ解析のための統計モデリング入門4章
データ解析のための統計モデリング入門4章
Hirofumi Tsuruta
「予測にいかす統計モデリングの基本」勉強会 第一章、2月24日
「予測にいかす統計モデリングの基本」勉強会 第一章
「予測にいかす統計モデリングの基本」勉強会 第一章
Takahiro Yoshinaga
More Related Content
What's hot
人工知能学会 SWO研究会ワークショップ 「ナレッジグラフ推論チャレンジ2019技術勉強会」 https://kgrc2019ws.peatix.com/
ナレッジグラフ入門
ナレッジグラフ入門
KnowledgeGraph
機械学習における主成分分析について説明するとともに、実際のデータを用いた処理について説明しました。 2018-05-17 誤字修正のため、再アップ それまでのログ:view: 6934, like 4, download: 35
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
異常検知のまとめ
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
ぱんいち すみもと
NAIST知能コミュニケーション研究室で行われたM1勉強会(2018)の「論文の読み方・書き方」で発表したスライドです 訂正:p.16のCHI勉強会のリンクが間違ってました。正しくはこちらです(http://sigchi.jp/seminar/chi2018/)
AHC-Lab M1勉強会 論文の読み方・書き方
AHC-Lab M1勉強会 論文の読み方・書き方
Shinagawa Seitaro
[第3回分析コンペLT会 、オンライン開催] (https://kaggle-friends.connpass.com/event/220927/) での発表資料です。 画像コンペに出るうえで便利過ぎる timm(pytorch image models) の紹介をしました。
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
代表的な教師なし学習アルゴリズムであるクラスタリングについて説明する。これは、データの持つ性質の近いもの同士をまとめ上げるアルゴリズムである。また、そのために必要な距離と類似度についても説明する。
クラシックな機械学習の入門 8. クラスタリング
クラシックな機械学習の入門 8. クラスタリング
Hiroshi Nakagawa
最近の三次元表現やこれをニューラルネットワークのような深層学習モデルに入力,出力する際の工夫についてまとめています.気まぐれに一晩で作成したので,多少の粗さはお許しください.
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
情報処理学会連続セミナー2013
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
Taiji Suzuki
九州大学大学院システム情報科学研究院「データサイエンス実践特別講座」が贈る,数理・情報系『でない』学生さんのための「データサイエンス講義
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Seiichi Uchida
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
Kohta Ishikawa
スペクトラル・クラスタリング (spectral clustering) の説明資料です。
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
FIT2012で行われた「ビジネスで生きる機械学習技術」セッションの招待講演資料です。 http://www.ipsj.or.jp/event/fit/fit2012/program/data/html/event/event_A-7.html 【講演概要】 世の中で得られる知見の多くは、何らかの観測対象の時間変化や、観測対象グループにおける珍しい個体の出現を捉えたものと考えることができます。特に急速な変化や異常な個体の検出するための異常検知技術は、ビジネスにおけるデータ収集・蓄積インフラの浸透とともに応用が広がっています。従来は、蓄積されたデータを目で見て確認する、閾値を設けてアラートを出す、あるいは経験に基づいて異常パターンをルール化する、などのアプローチが主流でした。しかしながら、収集できるデータの変数と量が飛躍的に増大する中で、比較的単純かつ過去に起きた異常のみ扱えるルールベース手法では不十分である場合が増えてきました。そこで最近研究と応用が進んでいるのが統計ベースと言われる最新のデータ解析技術を使ったアプローチであり、機械学習が中心的な役割を果たしています。その強みは未知の異常も扱えること、大量のデータを効率的に扱えること、可視化では人間が捉えられない複雑な隠れた異常も検出可能であることなどがあります。本講演では、実世界の異常検知問題を分類したあと、それぞれにおいて最近用いられている代表的な機械学習手法を説明し、実際のビジネスケースを紹介します。
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Shohei Hido
SGDの最新の拡張手法を紹介: Importance-aware UpdateやNormalized Online Learningなど.SGD+αはここまで出来る!
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Hidekazu Oiwa
反実仮想機械学習の入門を兼ねたサーベイ資料 反実仮想機械学習に関する単独の解説資料をベースに、つながりが良くなるように整理した(つもり)。初学者の理解の手助けになれば幸いです。
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
ARISE analytics
多変数の間の直接相関をスパース推定する手法であるグラフィカル Lasso と、その異常検知への応用についてまとめました。
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
Yuya Takashina
情報論的学習理論と機械学習研究会(IBISML), 京都大学, 2022年12月22日-23日
機械学習と機械発見:自然科学研究におけるデータ利活用の再考
機械学習と機械発見:自然科学研究におけるデータ利活用の再考
Ichigaku Takigawa
R初心者向け講座「Rによるやさしい統計学第20章『検定力分析によるサンプルサイズの決定』」20140222 TokyoR #36
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Takashi J OZAKI
Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
株式会社電通国際情報サービス 小川雄太郎 氏
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
AAAI2023「Are Transformers Effective for Time Series Forecasting?」と、HuggingFace「Yes, Transformers are Effective for Time Series Forecasting (+ Autoformer)」の紹介です。
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
What's hot
(20)
ナレッジグラフ入門
ナレッジグラフ入門
機械学習と主成分分析
機械学習と主成分分析
Anomaly detection 系の論文を一言でまとめた
Anomaly detection 系の論文を一言でまとめた
AHC-Lab M1勉強会 論文の読み方・書き方
AHC-Lab M1勉強会 論文の読み方・書き方
backbone としての timm 入門
backbone としての timm 入門
クラシックな機械学習の入門 8. クラスタリング
クラシックな機械学習の入門 8. クラスタリング
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
スペクトラル・クラスタリング
スペクトラル・クラスタリング
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
SGD+α: 確率的勾配降下法の現在と未来
SGD+α: 確率的勾配降下法の現在と未来
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
グラフィカル Lasso を用いた異常検知
グラフィカル Lasso を用いた異常検知
機械学習と機械発見:自然科学研究におけるデータ利活用の再考
機械学習と機械発見:自然科学研究におけるデータ利活用の再考
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Viewers also liked
GLMのモデル選択ー AICとモデルの予測の良さー
データ解析のための統計モデリング入門4章
データ解析のための統計モデリング入門4章
Hirofumi Tsuruta
「予測にいかす統計モデリングの基本」勉強会 第一章、2月24日
「予測にいかす統計モデリングの基本」勉強会 第一章
「予測にいかす統計モデリングの基本」勉強会 第一章
Takahiro Yoshinaga
Kobe.R #18 (2015-05-16 大阪) 発表資料。本の紹介: 久保拓也「データ解析のための統計モデリング入門: 一般化線形モデル・階層ベイズモデル・MCMC」(久保先生の通称「緑本」を前から紹介していきます。GLM あたりまで進めると嬉しいです。レベル==入門)
Kobe.R #18: 本の紹介: 通称「緑本」
Kobe.R #18: 本の紹介: 通称「緑本」
tnoda
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
洋資 堅田
「データ解析のための統計モデリング入門」 読書会 第4章 GLMとモデル選択 http://connpass.com/series/747/ #みどりぼん
みどりぼん読書会 第4章
みどりぼん読書会 第4章
Masanori Takano
2013年8月10~11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 1-6.変数選択とAIC 検定とAICを用いて変数選択する方法について説明します。
1 6.変数選択とAIC
1 6.変数選択とAIC
logics-of-blue
A Practical Guide to Support Vector Classification の解説資料
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
sleepy_yoshi
Lee Rainie, director of internet and technology research at Pew Research Center, presented these findings at the International Monetary Fund/World Bank’s Youth Dialogue and its program, “A World Without Work?” The findings tie to several pieces of research at the Center, including reports on the state of American jobs, automation in everyday life, and the future of jobs training programs.
10 facts about jobs in the future
10 facts about jobs in the future
Pew Research Center's Internet & American Life Project
Viewers also liked
(8)
データ解析のための統計モデリング入門4章
データ解析のための統計モデリング入門4章
「予測にいかす統計モデリングの基本」勉強会 第一章
「予測にいかす統計モデリングの基本」勉強会 第一章
Kobe.R #18: 本の紹介: 通称「緑本」
Kobe.R #18: 本の紹介: 通称「緑本」
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
みどりぼん読書会 第4章
みどりぼん読書会 第4章
1 6.変数選択とAIC
1 6.変数選択とAIC
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
10 facts about jobs in the future
10 facts about jobs in the future
時系列データ分析とPython
1.
時系列データ分析 と Python
2.
目次 • 時系列データの特性 • Pythonによる時系列データの取り扱い •
Pythonで解析やってみた!(解析例)
3.
時系列データとは 時間の推移とともに観測されるデータのことで、 観測される順序に意味があることが大きな特徴 である。 <例> 経済・ファイナンシャルデータ(GDP・株価など) 気象データ(気温・湿度・雨量など) 医療データ(脳波・心電図など) アクセスログデータ etc. http://www.kabu-1.jp/beginner/shikumi/kabuka-chart/
4.
統計手法の多くは、データを「同一の確率分 布から得られた、互いに独立な標本の集まり」 と見なしています。 時系列データでは成り立たない!
5.
よく見かける光景 その1 ヒストグラム ヒストグラムでは標本抽出の順序を考慮していないため、 毎回の標本抽出は互いに独立であることを認めているこ とになる。 時間情報の消失
6.
よく見かける光景 その2 最尤推定 観測点 𝑥
𝑛, 𝑦𝑛 が得られる確率 𝑁 𝑦 𝑛|𝑓 𝑥 𝑛 , 𝜎2 = 1 2𝜋𝜎2 exp − 𝑦𝑛 − 𝑓 𝑥 𝑛 2 2𝜎2 トレーニングセット 𝑥 𝑛, 𝑦𝑛 𝑛=1 𝑁 が得られる確率 𝑃 = 𝑁 𝑦1|𝑓 𝑥1 , 𝜎2 × ⋯ × 𝑁 𝑦 𝑁|𝑓 𝑥 𝑁 , 𝜎2 = 𝑛=1 𝑁 𝑁 𝑦 𝑛|𝑓 𝑥 𝑛 , 𝜎2 データが互いに独立と仮定している
7.
参考書 Pythonでやります!
8.
時系列解析に使えるPythonライブラリ • pandas • matplotlib •
statsmodels
9.
リッチなデータ構造と関数を提供 金融データ分析のために開発されたため、 時系列分析に最適 DataFrame:2次元データ
10.
データの可視化に有用 IPython + matplotlibは科学計算にとって非常に 生産的な環境を提供 最近はSeabornもよく見かけるが、いまだ デファクトスタンダード
11.
statsmodels statistical modeling and
econometrics in Python 数多くの統計モデリング手法を提供 (一般化線形モデル、状態空間モデル、etc.) scipy.statsなどもあるが、おそらく一番機能が 充実している。
12.
時系列解析やってみた! 東京都における火災件数の推移
13.
解析の目的 観測される現象の背後にある「しくみ」の理解 例えば・・・ 年々火災件数は減少している →住宅用火災警報機の普及 →IHコンロの普及 冬場は火災が多い →空気が乾燥していて火災が起きやすい →暖房器具が稼働している たまたま多い、たまたま少ないなどのノイズを 除去した形でデータを眺めたい・・
14.
状態空間モデル • 非常に幅広い概念で、もともとは物理システム の記述に使われていたが、1990年代頃から金 融データをはじめとする時系列データに対する 応用が盛んになる • 状態空間モデルは、観測できない隠れた「状態 モデル」と観測した結果である「観測モデル」 からなる。 •
状態空間モデルを利用する最大のメリットは、 モデリングの柔軟性と増減要因の説明力
15.
状態空間モデル 観測できない隠れた(状態モデル) xt-1 xt xt+1 隠れた状態から観測した結果(観測モデル) yt-1
yt yt+1 ローカルレベルモデル 𝑦𝑡 = 𝑥𝑡 + 𝜀𝑡 𝜀𝑡~𝑁 0, 𝜎 𝜀 2 :観測値撹乱項 𝑥𝑡+1 = 𝑥𝑡 + 𝜂𝑡 𝜂𝑡~𝑁(0, 𝜎 𝜂 2):状態撹乱項 𝑥𝑡:潜在変数
16.
すべてのデータ𝑦1:𝑇が与えられたもとでのす べての潜在変数(真の水準)を知りたい・・ 𝑝 𝑥1:𝑇|𝑦1:𝑇 事後同時分布 計算きびしい・・・ カルマンフィルタを使おう! 線形ガウス状態空間モデルに対する計算アルゴリズム
17.
予測とフィルタリング 条件付き分布を1時点ずつ更新して求めていく 逐次計算アルゴリズム カルマンフィルタのイメージ 時間 変数 t-1 t t+1 観測値 予測値 予測 フィルタリング
18.
解析結果
19.
解析結果
20.
今後 「予測にいかす統計モデリングの基本」より抜粋
Editor's Notes
時系列分析は、各時刻の観測値は前の時点から影響を受けており、独立なデータではない。例えば、株価の時系列モデルを考えた場合、前日の値動きはどうか、上昇傾向なのか、下落傾向なのかが重要だというのはイメージしやすいかと思う。
DataFrameから特定の行または列を取り出したものはSeries。
まず可視化から始める。いくつかの特徴がつかめる。①周期性がありそう②全体的に下がってる?③東日本大震災
観測値は真の水準xtに正規ホワイトノイズεが乗ることで生成される。
Download now