This document discusses using ARIMA models with BigQuery ML to analyze time series data. It provides an overview of time series data and ARIMA models, including how ARIMA models incorporate AR and MA components as well as differencing. It also demonstrates how to create an ARIMA prediction model and visualize results using BigQuery ML and Google Data Studio. The document concludes that ARIMA models in BigQuery ML can automatically select the optimal order for time series forecasting and that multi-variable time series are not yet supported.

1. BigQuery ML を用いた
時系列データの解析
ARIMAモデルを用いて
2021/11/27 機械学習の社会実装勉強会 第5回

2. - UX企画関連のソフトウェア開発に従事
- 統計・MLを用いた解析機能の開発及び運用を担当
自己紹介
岩澤幸太朗

3. 前回やったこと
- データ分析基盤の要件
- BigQuery MLの紹介
- ETLジョブとBigQueryMLの実演
【第4回】BigQueryを中心にした ML datapipelineの概要 - 2021/10/23

4. 本日の内容
- 時系列データ、ARIMAモデルの概説
- BigQuery MLによる予測モデル作成
- ARIMAモデルによる予測結果の可視化

5. 時系列データ
• 気温，気圧
• 株価
• GDP
• 血圧，脈拍, 体重
...
などの時間と共に変動するデータ{ } 時刻
体重

6. ARIMAモデル
時系列解析手法の一つ
AR 自己回帰
MA 移動平均
I 和分過程
ARモデル MAモデル
ARMAモデル
ARIMAモデル (ARMA + 和分過程)

7. ARモデル
◆ AR (Auto Regression: 自己回帰)
◆ AR(1) 1次の項のみ
時刻t の値 過去の値 ホワイトノイズ
過去の値を用いて予測

8. ◆ 次数選択
時系列解析（６） − ARモデルの推定 − 東京⼤学 数理・情報教育研究センター 北川 源四郎
◆ パラメータ推定
● Yule-Walker法
● 最尤法
● 最小二乗法
● PARCOR法
係数 と分散 の推定
(AICが最小となる)次数 n の選択
ARモデルの決定
モデルの最大対数尤度 パラメータの数(n)

9. MAモデル
◆ MA (Moving Average: 移動平均)
-> 過去のノイズ値を用いて予測
◆ MA(1): 1次の項のみ
時刻t の値 過去のノイズ

10. ◆ ARMA (Auto Regressive moving average: 自己回帰移動平均 )
ARMAモデル / ARIMAモデル
◆ ARIMA (Autoregessive integrated moving average: 自己回帰和分移動平均)
MAモデル ARモデル
ARMAモデル
-> AR + MA (それぞれの次数 p, q)
-> データの差分 (𝑦𝑡–𝑦𝑡–𝑑) に対してARMAを適用 (次数, p, d, q)
d個前の値との差分

11. https://cloud.google.com/bigquery-ml/docs/reference/standard-sql/bigqueryml-syntax-create-time-series
https://cloud.google.com/bigquery-ml/docs/reference/standard-sql/bigqueryml-syntax-create-time-series#time_series_modeling_pipeline
ARIMA model in BigQuery ML

12. データポータルによる可視化
Daily cases of COVID-19:
https://datastudio.google.com/reporting/394d315d-1775-492b-ad8c-8515d57ff874/page/1I6cC
各種サービスのデータを可視化
- Google SpreadSheet
- Google Analytics
- BigQuery
- ...
※日本では「データポータル」公式には「
Data Studio」と呼ばれている。
About COVID-19 Public Datasets:
https://console.cloud.google.com/marketplace/product/bigquery-public-datasets/covid19-public-data-program

13. まとめ
- ARIMAモデルはARモデル + MAモデルに和分過程を取り込んだ時系列データ解析モデル
- BigQueryの結果はDataPortalで容易に可視化できる
- BigQuery ML で時系列データ解析
- ARIMAモデルが使用可能
- 適切な次数を自動で選択(AICを最小とする)
- 多変量時系列データは非対応(2021/11現在)
※Vertex AI AutoML Forecastingなら可能（参考）

14. 参考資料
使用したコード
- https://github.com/kootr/ml-study-session/tree/main/20211127_arimamodel
- 経済・ファイナンスデータの計量時系列分析
- ホワイトノイズ
- 4-4 時系列データ解析 東京大学 数理・情報教育研究センター
- AICによるARモデルのモデル選択
- auto.arima() in R