Downloaded 11 times
![[学位(修士)論文公開審査会] 入力支援機能を備えた日本語表記による初学者向けプログラミング学習環境の構築](https://cdn.slidesharecdn.com/ss_thumbnails/05-130128013516-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
tfug-kagoshima
- 1.
- 2. 自己紹介 新村 拓也（Takuya Shimmura） ・鹿児島県姶良市出身 ・シンギュラリティ株式会社CTO ・著書「TensorFlowではじめるDeepLearning実装入門」
- 3.
- 4. これから話すこと • 巷で話題の機械学習、深層学習とは何か？ • よく用いられる深層学習の手法、モデル •TensorFlowに関する横断的な解説
- 5.
- 6.
- 7.
- 9. 機械学習とは？ • 推論と正解の誤差を用いてモデルを構成するパラメータを自動更新 するシステム 入力 モデル 部屋の広さ：80m^2 駅からの距離： 100m 築年数: 3年 階数: 10階 5000万円！ 推論 正解 9000万円 誤差 4000万円 モデル更新（学習）
- 10. 機械学習のモデル • 機械学習のモデルにもいろいろなものがある 決定木法 線形回帰、ロジスティック回帰 SVM ニューラルネットワーク K-means,階層型クラスタリング, MeanShift pLSI, NMF, LDA PFM 混合ガウス分布 Lasso回帰、Ridge回帰、Elastic Net
- 11.
- 12. ニューラルネットワークとは？ • 形式ニューロンを用いてモデルを構築した機械学習手法 𝑥1 𝑥2 𝑥3 入力 出力y 𝑤3 𝑏 𝑤2 活性化関数 𝑤1 𝑦 = 𝑓(𝑤1 𝑥1 + 𝑤2 𝑥2 + 𝑤3 𝑥3 + 𝑏)
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19. DCGAN • 画像の生成やスタイル変換を行うことも可能 D G Z (noise) G(Z)X real fake VanillaGAN X Y G F Z (noise) G(Z) Z’ (noise) G(Z) Dy real fake real fake Dx Cycle GAN
- 20.
- 21. RNNの手法 h c x U W ・ 中間層入力（ ） ・ 中間層出力（ ） ・ 中間状態（ ） の 3 つがそれぞれのゲート を制御 h c x Long Short Term Memory (LSTM) Attention Mechanism Bi-directional RNN
- 22. 深層強化学習 • Deep QNetwork • A3C • PPO
- 23. AutoML • ニューラルネットワークの構造をRNN+強化学習で生成 • 現在GoogleCloud Platformでα版リリース
- 24.
- 25. TensorFlowとは？ • Googleより2015年11月に公開されたOSS • 高性能数値演算ライブラリ •様々な言語やプラットフォームで動作 • 2018年5月現在v1.8.0
- 26.
- 27. TensorFlowの特徴 • 計算グラフを用いた宣言型プログラミング(命令型もサポート) • 低レベルなものから高レベルなものまで様々なAPIを提供 •充実したエコシステム • 様々な言語やデバイスで動作 • 大規模分散処理のための様々な機能 • その知名度がために圧倒的な利用ユーザ数、活発なコミュニティ
- 28. TensorFlowの特徴 • 計算グラフを用いた宣言型プログラミング(命令型もサポート) • 低レベルなものから高レベルなものまで様々なAPIを提供 •充実したエコシステム • 様々な言語やデバイスで動作 • 大規模分散処理のための様々な機能 • その知名度がために圧倒的な利用ユーザ数、活発なコミュニティ
- 29. 計算グラフ • 計算過程をノードとエッジによるグラフで表したもの • ノードが演算処理（Operation）を表す •エッジがやりとりされる数値（Tensor）を表す const1 val1 add 定数：4 変数：初期値0 加算の結果 a = tf.constant(4) b = tf.Variable(0) add = tf.add(a, b) ・どのTensorがどのオペレーションへの入力である ・出力に対する入力の勾配式 のような、各種メタ情報を保持している。
- 30. Why 計算グラフ？ • 自動微分の効率化 •局所計算ができる 勾配計算のたびに lim ℎ→0 𝑓 𝑥+ℎ −𝑓(𝑥) ℎ をパラメータの数計算する 局所的に微分計算をしておき、それを伝播させることで算出 𝑥 𝑦 𝐸 𝜕𝑦 𝜕𝑥 𝐸 VS
- 31. 宣言型プログラミング • Define andRunともいう • 対義語は命令型プログラミング（Define by Run） 命令型 宣言型 処理の記述は計算グラフを構築しているだけであり計算は行わない。 5 出力
- 32. Why 宣言型？ • 計算の最適化 •こういうモデルにしてということだけ記述して、最適化はTFにお任せ • 分散処理も記述しやすい • 欠点 • 動的なモデルが組めない • デバッグが困難
- 33.
- 34. TensorFlowの特徴 • 計算グラフを用いた宣言型プログラミング(命令型もサポート) • 低レベルなものから高レベルなものまで様々なAPIを提供 •充実したエコシステム • 様々な言語やデバイスで動作 • 大規模分散処理のための様々な機能 • その知名度がために圧倒的な利用ユーザ数、活発なコミュニティ
- 35. 様々なAPI • メリット：ニューラルネットワーク以外にも様々な計算が行える • tf.distributions・・・確率分布を用いた計算 •tf.spectral・・・フーリエ変換 • tf.contrib.learn.SVM・・・サポートベクトルマシーン • デメリット：同じようなAPIがありどれを使えばいいのか分からない • tf.layer.conv2d と tf.contrib.layers.conv2d • TFのWrapperの「Keras」 と tf.keras
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44. Estimatorパッケージで • ネットワーク構築も１ステップで可能 ４層で、中間層のユニット10, 10,クラス数3 EstimatorはPre-made EstimatorとCustomEstimatorの２種類
- 45. どのAPIを使えばいいの？ • Estimator • 簡単なモデルですぐに試したい •GCPのCloudMLと連携 • Keras • 標準的なログや成果物を出力して楽に開発 • tf.layers • 訓練自体の制御を行いたい（ログの選定など） • 低レベルAPI • 独自レイヤー開発
- 46. その他のAPI • DatasetAPI(tf.data) • データセットの整形、バッチ化をサポートしてくれる超便利API •Contrib (tf.contrib) • 超便利だけどバグとかあったらゴメンね！ • ちゃんと確認したら正式版に移行するかもしれないAPI群 訓練 バッ チ処理 キュ ーに追加 データ 取得 整形・ バッ チ作成 訓練用のスレッ ド Qu eu e（ 待ち行列） データ セッ ト 作成用のスレッ ド
- 47. TensorFlowの特徴 • 計算グラフを用いた宣言型プログラミング(命令型もサポート) • 低レベルなものから高レベルなものまで様々なAPIを提供 •充実したエコシステム • 様々な言語やデバイスで動作 • 大規模分散処理のための様々な機能 • その知名度がために圧倒的な利用ユーザ数、活発なコミュニティ
- 48. TFX（TensorFlow Extended） • MLはただ学習する以外にもやることが多い Configuration DataCollection Data Verification Feature Extraction Process Management Tools Analysis Tools Machine Resource Management Serving Infrastructure Monitoring ML Code TensorFlow Serving TensorFlow Transform TensorFlow Model Analysis TFを基盤として周辺機能開発をサポート
- 49.
- 50.
- 51. TensorFlowの特徴 • 計算グラフを用いた宣言型プログラミング(命令型もサポート) • 低レベルなものから高レベルなものまで様々なAPIを提供 •充実したエコシステム • 様々な言語やデバイスで動作 • 大規模分散処理のための様々な機能 • その知名度がために圧倒的な利用ユーザ数、活発なコミュニティ
- 52.
- 53.
- 54.
- 55. TensorFlowの特徴 • 計算グラフを用いた宣言型プログラミング(命令型もサポート) • 低レベルなものから高レベルなものまで様々なAPIを提供 •充実したエコシステム • 様々な言語やデバイスで動作 • 大規模分散処理のための様々な機能 • その知名度がために圧倒的な利用ユーザ数、活発なコミュニティ
- 56. Distributed TensorFlow モデルパラレル GPU1 で実行GPU２ で実行 データパラレル • 複数のサーバー、複数のデバイスで分散して処理を行うことが可能。
- 57. TensorFlowの特徴 • 計算グラフを用いた宣言型プログラミング(命令型もサポート) • 低レベルなものから高レベルなものまで様々なAPIを提供 •充実したエコシステム • 様々な言語やデバイスで動作 • 大規模分散処理のための様々な機能 • その知名度がために圧倒的な利用ユーザ数、活発なコミュニティ
- 58. 活発なオープンソースコミュニティ 開発速度の速さ 1,400+ 開発に貢献した人数 200+ 平均コミット数/週 エコシステムの充実度 8,000+ Stack Overflow の質問に対する回答数 100+ コミュニティが報告したGitHub issues に対するレスポンス数/週 ユーザ数の多さ 98,000+ GitHub のスターの数 33,000+ 「TensorFlow」でヒットする GitHub レポジトリの数
- 59.
- 60.
- 61. 分科会/地域TFUG 分科会 地域TFUG ● 論文を読む会 ●ハード部 ● モバイル部 ● Aizu ● Utsunomiya ● Kansai その他にも初心者向けハンズオンやアイディアソン、ハッカソンも開催
- 62. まとめ • TensorFlowは開発が盛んなオープンソースプロジェクト • TensorFlowの目指すところ •Googleと同じレベルの機械学習を実現できるツール • 大規模データを使った分散学習への対応 • 研究開発に使えるレベルの柔軟性 • プロダクションへの投入 • 様々なデバイスで動作/ 強力な可視化ツール/ 様々なレベルのAPI • 皆さんもどんどん使ってTFUG鹿児島を盛り上げていきましょう！