HiFF 講演資料(エコモット)

Confidential © Ecomott, Inc. ALL RIGHTS RESERVED
自分でできるAI講座
～ディープラーニングで水温予測してみよう～
2018/07/12
第四回北海道総合ICT水産業フォーラム交流会

エコモット株式会社
代表者代表取締役入澤拓也
設立 2007年2月（決算期：3月）
資本金 1億円（2017年9月末現在）
本社
所在地
北海道札幌市中央区北1条東2丁目5-2
札幌泉第一ビル1F
従業員 74名（2017年12月現在）
事業概要 IoTインテグレーション事業
代表取締役入澤拓也
経歴
1980年北海道札幌市生まれ
2002年米ワシントン州HighlineCommunityCollege卒
2002年クリプトン・フューチャー・メディア株式会社入社
2007年クリプトン・フューチャー・メディア株式会社退職
2007年エコモット株式会社設立
2010年小樽商科大学大学院商学研究科
アントレプレナーシップ専攻修了経営学修士（MBA）
企業理念
未来の常識を創る
コーポレートスローガン
あなたの「見える」をみんなの安心に。
会社概要事業概要
当社は創業以来、IoTインテグレーション事業を専業としています
■「IoT」とは
Internet of Thingsの略で「モノのインターネット化」と訳され
「あらゆるモノ」をインターネットに接続、データ収集により
「現状の見える化」を実現すること
（出展）総務省「平成28年版情報通信白書」
Copyright © 2017 Ecomott, Inc. ALL RIGHTS RESERVED
札証アンビシャス市場へ上場（2017年6月21日）
■第四次産業革命とIoTとエコモット
・IoT、モバイル、クラウド、ビックデータ、AI等のIT技術発展
により、現在「第四次産業革命」の夜明けと言われています。
・今後の日本経済の指針である「新産業構造ビジョン」に
おいて「第四次産業革命」の社会実装が最大の鍵と
言われています。
東証マザーズ上場
（2018/6/22）

エコモットのIoTソリューション紹介
インテグレーションによるソリューション「ゆりもっと」（雪のIoT）
「現場ロイド」（土木工事のIoT）
Copyright © 2017 Ecomott, Inc. ALL RIGHTS RESERVED
「Pdrive」紹介（車のIoT）

世の中はこんな人を育成しようとしているらしい
図：データサイエンティストに求められるスキルセット（データサイエンティスト協会）
無理ゲー

最近、データサイエンティストやAIだったりがにぎわっている。
• 毎日のように話題になっている
• みんな興味はある
• 自らやろうとする人は少ない
↑やらない壁がある（身近ではない？）
• やってみた人も、挫折しやすい落とし穴がたくさん！
• インストール
• Python
• チュートリアル
• 数式
• ・・・・
↑やれない壁もある
• ここをクリアしてもいろいろ試すとなると結構面倒！

スーパーマンじゃなくても、やれることある
エクセルが
あれば何とか

みんなの想い
ディープラーニングも
何とかならないの？

It’s a Sony.
Neural Network
Console
商用クオリティのDeep Learning応用技術（画
像認識機等）開発のための統合開発環境
コーディングレスで効率の良いDeep Learning
の研究開発を実現
クラウド版、Windows 版（無償）
dl.sony.com

戻って、いじってみた。
なんかいいかも

非技術者向け社内展開してみた
• 非技術者向けにAIハンズオン的な社内勉強会を実施
• 日経平均株価を使ったAI予測
• ダイジェストを公開
• Sapporo Tech Bar （インサイトテクノロジー）
• Ecomott Tech Blog（エコモット）
https://www.ecomott.co.jp/tech_blog/?p=2424
• 札幌AI勉強会（ムラタオフィス）
• db analytics showcase 2018 （インサイトテクノロジー）
https://www.slideshare.net/InsightTechnology/db-analytics-
showcase-sapporo-2018-a33ainnc

今日ディープラーニングできるようになります！・・・宣言
• 今日は、成果発表ではありません！
• 内容はハンズオンの超超ダイジェストです
•みなさんがディープラーニングできる
ように始め方をデモします。
• HiFFに参加するような勉強熱心マニアックな方なら、
家に帰ってすぐにできます。

お得！• これで始められなきゃ、もうあきらめてください

今日の流れ：自分で動かせるようになるまでをデモンストレーション
• インストール
• 水温データで予測に挑戦
• 教師データ・評価データの作成
• ネットワーク作成と実行と評価

ではインストールしましょう
• https://dl.sony.com/ja/にアクセスして登録
• アプリは、Windows版しかない
• linux/MacOSの方はクラウド版を使ってください。
• neural_network_console_120.zipをダウンロード
• Zipを適当な場所※に展開してください
※C:¥User¥ユーザー名¥neural_network_console_120
• このフォルダー内に環境設定が入ります。
• 環境設定にどのGPUつかうとか、CPU使うとかを記述
• GPUを使う場合
• 最新のドライバーをインストールしてください
⇒ 完了

デモって
•水温データを使って予測してみましょう。
• やること：
• 前5日間のデータから1日分のデータを予測する
• 教師データ（訓練用、評価用）の作成
• ネットワークの作成
• 実行、評価

そもそも水温予測の考え方
• 物理法則をもとにモデル化
• 大気循環モデル＋海洋循環モデル＋・・・
• 移流拡散モデル・・・
• 確率分布をもとにモデル化
• AR（自己回帰モデル）
• ある時点のデータは過去データの重み付き和とノイズで表されるよ
• MA（移動平均モデル）
• ある時点のデータは過去ノイズの重み付き和と現在ノイズと平均で表されるよ
• ARMA（自己回帰移動平均モデル）
• 上記二つを合わせた
• ARIMA（自己回帰和分移動平均モデル）
• トレンドを含む非定常データでもn階差分を使うことで、ARMAを使えるようにした
• SARIMA（季節自己回帰和分移動平均モデル）
• ARIMAに周期変動を取り入れた
• 状態空間モデル
• 上記のモデルなどを包括したモデル。観測と状態を交互に推定し、補正しながらモデルを構築。

そもそも水温予測の考え方２
•機械学習
• 従来
• 人間が特徴を定義する
• 専門性（ドメイン知識・計算知識）が必要
• ニューラルネットワーク・深層学習
• 特徴自体が自動的に抽出される
• 少なくともドメイン知識はなくてもいい

JpGU2018
マシンのためのビッグデータ可視化技術：特徴ベクトルの
自動選択とデータ解析法の野蛮化
統計数理研究所樋口知之
• これまでのデータ解析
• 生データの持つ特性と解析目的に沿った解析法の慎重かつ適切な
選択が成功の肝であった。
• これからのデータ解析
• すべて画像化・音声化するといった、データ解析の目的からすると遠回りに見え
る、“野蛮”なデータ解析が普通感覚になっていくかも知れない。

JpGU2018
マシンのためのビッグデータ可視化技術：特徴ベクトルの
自動選択とデータ解析法の野蛮化
統計数理研究所樋口知之
• これまで特徴ベクトルの構成法は、ほぼ人間の知的作業に委ねられている
• 特徴ベクトル構成法は、機械学習の『匠の技』
• 機械学習にもかかわらず人間の判断が最も性能向上に大切
• 深層学習は『匠の技』の習得からユーザを解放した
• 深層学習では、“生”データを直接入力とすることで、この特徴ベクトルの
構成作業を省略しながらも大きな成果を上げている。深層学習を使えば、
ユーザは特徴ベクトルの選択・決定に悩まずに最高の予測・判別性能を得るこ
とができる。
• この方針をさらに進め、前処理などをすべて省いた生データから、最終的な目的
まで直接、深層ネットワークでつないだEnd-to-Endという研究も加速している。
• さらには、この力を逆手に取り、生データを深考無しにとりあえず可視化および
画像化し、あわせて、データ処理に関わる諸作業の様子を撮像するなどにより、
大量の画像や動画を作成すれば、特徴ベクトルの選択問題を回避しつつ目的
を達成することも原理的には可能である。

データセット

データセット作成例１：その１・・・いらないデータを消す
選択
削除

教師データを作る
０．水温の時系列（↓行方向1日1観測）
１．一つ下から全部を横にづらしながら５回コピペする
２．下にある横方向が揃っていないデータを削除
３．ラベルを付ける（x__0~４、y）
４．訓練用と評価用（８：２ぐらい）に分けて保存

データセット作成例１：その２・・・時系列を作る
1つずらしてコピペ
1つずらし
てコピぺ
1つずらし
てコピぺ
1つずらし
てコピぺ
繰返す

データセット作成例１：その３・・・変数名を付ける
変数名__次数
変数名アンダーバーアンダーバー次元数
この場合、変数名ｘ次元数 0～4
正解
入力
1日目 2日目 3日目 4日目 5日目 6日目

データセット作成例１：その４・・・裾をそろえる
選択＆削除

訓練データと評価データに分ける
• 評価データ
• 学習に使ったデータを使わず、他のデータで確認する
• 汎化性能
• 学習に使ったデータの１～２割
• 学習－評価のイメージ
• 問題集で勉強（訓練）・・・たくさん回す
• 模試受ける（評価）・・・知らない問題でチェック
• 評価が良ければ、評価に見合ったところを受験（本番）

NNCを開く
• クリエイト・プロジェクト
• データ読込
• ネットワーク作成
• 訓練開始
• グラフの味方
• 評価
• エクセルでグラフ化して確認

その前に
ニューラル
ネットワーク
のおさらい

ネットワーク作成
• まず基本形から行きます。
• 三層パーセプトロン・・・入力層、隠れ層、出力層の三層
ノード

深層ニューラルネットワークの模式図
X1
X2
X3
X4
b1
b2
b3
b4
e
ｆ（bX+e）ｆ( ) 活性化関数：反応するかしないか

万能近似定理
• どんな関数でも近似できるニューラルネットワークが存在
する
• Hornik et al.(1989):Multilayer feedforward
networks are universal approximators
• Cybenko(1989):Approximation by
Superpositions of a Sigmoidal Function
近似器ニューラル
ネットワーク

• 三層パーセプトロン
• 入力層⇒隠れ層⇒出力層
• 入力層
• 入力数に合わせてノードを決める
• 今回は、End-to-end 学習なので、正規化しない
• 隠れ層
• ノード数は、今は気にしない
• 活性化関数 ⇒ とりあえずReLU
• 出力層
• Affineで出力数を決める
• 損失関数 ⇒ とりあえずHuberLoss

• 三層パーセプトロン

デモ１01_0

読み方
訓練データで
の二乗誤差
評価データで
の二乗誤差
学習のサマリ
BestValidationが
重要
エポック：学習回数

MSE:0.150089 （±0.387）
-5
0
5
10
15
20
25
1
13
25
37
49
61
73
85
97
109
121
133
145
157
169
181
193
205
217
229
241
253
265
277
289
301
313
325
337
349
361
373
385
397
409
421
433
445
457
469
481
493
505
517
529
541
553
565
577
589
601
613
625
637
649
評価データの予測結果
y y'

情報を増やして学習する
• 【海の状態】
• aa ベタ凪、無風、ウネリもない。
• a 凪、風が殆どないか微風で、海面は僅かに動いている。
• b 弱風、磯船で出漁できる程度。
• c 強風、波はあるが大型漁船なら出漁できる。
• d 暴風、大波で漁船は出漁できない。
• dd 台風などの大暴風。
• 【天候】
• B 晴天
• C 曇
• F 霧
• R 雨
• S 雪
• ０ベタ凪、無風、ウネリもない。
• １凪、風が殆どないか微風で、海面は僅かに動いている。
• ２弱風、磯船で出漁できる程度。
• ３強風、波はあるが大型漁船なら出漁できる。
• ４暴風、大波で漁船は出漁できない。
• ５台風などの大暴風。
• 【天候】
• ０晴天
• １曇
• ２霧
• ３雨
• ４雪
• 【風向】
０ N ５ＳＷ
１ NE ６ W
２ E ７ NW
３ SE
４ S

データセット作成例２

先ほど同様、“1段ずらしてコピペ”の繰り返し

先ほどと同様、MLPでもいいのですが・・・
• 今度は、構造的なデータだと思って扱ってみましょう
• 構造的なデータ
• 画像や分布図のように位置と値が関係しているようなデータ
•ディープラーニングは、画像が得意！

ネットワーク作成２
•畳み込みニューラルネットワーク
• Convolutional Neural Network,CNN
• 基本的な構成：
• 入力層⇒Conv.層⇒（プーリング層⇒全結合層）⇒出力層
• 入力層
• 画像として扱うため、変形させます → 5行5列
• 画像のコンボリューションは3次元を要求
• 25 ⇒ 1,5,5 （RGB、縦、横）
• コンボリューション層
• カーネル（フィルターのことだと思っておいて）
• 数⇒とりあえず16
• Shape⇒1,2でもいいし、1,3とかでもいい

データ
input: x
output: y
Reshape(1,5,5)
畳み込み ReLU
．
．
．
FC

デモ２01_0

5日分の環境観測から３日後の水温を予測

5日分の環境観測から３日後の水温を予測
-5
0
5
10
15
20
25
1
14
27
40
53
66
79
92
105
118
131
144
157
170
183
196
209
222
235
248
261
274
287
300
313
326
339
352
365
378
391
404
417
430
443
456
469
482
495
508
521
534
547
560
573
586
599
612
625
638
651
三日後の実測と予測
y y'

デモ３3rd_0

次の日の海の状態を予測
• ０ベタ凪、無風、ウネリもない。
• １凪、風が殆どないか微風で、海面は僅かに動いている。
• ２弱風、磯船で出漁できる程度。
• ３強風、波はあるが大型漁船なら出漁できる。
• ４暴風、大波で漁船は出漁できない。
• ５台風などの大暴風。
• 分類問題・・・６分類
• 損失関数を分類用に変えるだけ

分類問題のネットワークと誤差曲線
分類用の出力層
とりあえず回帰と
同じネットワーク
でやってみる

分類結果
予測精度：47.7%
実
際
の
海
況
予測された海況

NNCに感動！
•視覚的で簡単
•開発環境でつまずかない
•Deep Learningの話が
すぐできる
• コード化可能で、Console⇒Librariesへ移行
• Librariesでは、分散環境が使える
• 複数のCPU・GPUが利用できる ⇒ 早い

まとめなど
• 深く考えなくてもそれなりの成果が出る
• データ量と学習回数が精度に影響
• GPUとか無くてもできるものが多い
• NNCのようなノンプログラミングツールの登場
• コモディティー化
• ノイズの少ない大量のデータが重要
• HiFFの存在価値
• データの流通から学習済みネットワークの流通にシフト

ご清聴ありがとうございました

HiFF 講演資料(エコモット)

Recommended

Recommended

More Related Content

Featured

Featured (20)

HiFF 講演資料(エコモット)