C12

1. 教師あり学習教師あり学習は　⼊入⼒力と正解(教師信号）のペア（例題）　を元に学習を⾏行う。例題を元に例題の中にあるルールを学習し、　例題以外の問題に対しても、　　　それらしい答えを出すことを⽬目指す。 ‫޹׃‬ɡʩ ƏƏӌࡌ

2. [テーマ] 　講義の構成汎化と過学習バックプロパゲーション Rによる計算例モデルの拡張まとめ

3. モデルの拡張 ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h = 1

4. モデルの拡張 1 x y 2 x w2 w1 wn n+1 x x wn+1 n (=1) 0 1 a: ੒ ࢡ a: u y 0.5 fu

5. 1 -au

6. exp 1+ 離散値から連続値へシグモイド関数 u = n+1 ! i=1 wixi y = f(u)

7. ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h =1 階層型ネットワーク⼊入⼒力から出⼒力への⽅方向のみ多⼊入⼒力多出⼒力の関数 1 x y 2 x w2 w1 wn n+1 x x wn+1 n (=1) u = n+1 ! i=1 wixi y = f(u)

8. バックプロパゲーション ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h = 1

9. バックプロパゲーション ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h =1 ௬ອৰ ઺Ԩৰ ࡰອৰ 出⼒力教師信号⼊入⼒力 x(p) =         x (p) 1 x (p) 2 . . . x (p) n x (p) n+1(= 1)         y(p) =       y (p) 1 y (p) 2 . . . y (p) m       , ŷ(p) =      ˆ y1 (p) ˆ y2 (p) . . . ˆ ym (p)     

10. ルールを抽出するとは？・電話帳からいくつかの電話番号と名前を覚える　 学習していない⼈人の電話番号はわからない・気温や湿度から海の家の売上を予測する・過去数⽇日の天気から次の⽇日の天気を予測する　  何らかのルールに従って変動している　　　と考えることができるものに対して⽤用いる ‫޹׃‬ɡʩ ƏƏӌࡌ

11. ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h =1 ௬ອৰ ઺Ԩৰ ࡰອৰ wihnl バックプロパゲーション Ep = m ! k=1 (y (p) k − ŷ (p) k )2 E = N ! p=1 Ep ∆w = −! ∂E ∂w 誤差の計算個々の結合荷重が　　誤差に与える影響

12. ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h =1 ௬ອৰ ઺Ԩৰ ࡰອৰ wihnl バックプロパゲーション Ep = m ! k=1 (y (p) k − ŷ (p) k )2 E = N ! p=1 Ep ∆w = −! ∂E ∂w 誤差の計算個々の結合荷重が　　誤差に与える影響

13. 最急降下法 w Error A B C L1 L2 L3

24. 最急降下法局所解（ローカルミニマム）に収束初期値によって結果が異なる w Error A B C L1 L2 L3 w Error A B C L1 L2 L3

27. 最急降下法 w Error A B C L1 L2 L3 プラトー（高原状態）

28. バックプロパゲーション最急降下法とは結合荷重が誤差に与える影響を計算し、　誤差が減る⽅方向に結合荷重を修正する。・必ずしも最⼩小値を取るとは限らない。・初期値によって異なった結果になることもある。・プラトーによって学習が停滞することもある。 ‫޹׃‬ɡʩ ƏƏӌࡌ

29. 汎化と過学習 ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h = 1

30. 汎化と過学習ー教師信号教師信号が誤差を含むことがある ௡ຢ ࡥຢ D

31. ๲২ ௡ຢ ࡥຢ ָޮࣿ‫܃‬ F

33. ௡ຢ ࡥຢ

34. 汎化と過学習ー学習結果(1) ௡ຢ ࡥຢ D

35. ௡ຢ ࡥຢ E

36. ௡ຢ ࡥຢ F

39. ௡ຢ ࡥຢ E

40. ௡ຢ ࡥຢ F

43. ௡ຢ ࡥຢ E

44. ௡ຢ ࡥຢ F

47. ௡ຢ ࡥຢ E

48. ௡ຢ ࡥຢ F

51. ௡ຢ ࡥຢ E

52. ௡ຢ ࡥຢ F

55. ௡ຢ ࡥຢ E

56. ௡ຢ ࡥຢ F

58. ௡ຢ ࡥຢ D

59. ௡ຢ ࡥຢ E

60. ௡ຢ ࡥຢ F

61. 汎化と過学習ー学習結果学習が不十分過学習

62. 　Rによる計算例 ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h = 1

63. Rによる計算例 2. バックプロパゲーションによる学習 1. データの準備とデータの読み込み 3. 学習後の検証 4. グラフの作成 R

64. ĎēĕĚęÒÆ ĔĚęĕĚę ÖÔÖ×ÛÒÆ ÖÔÛÖÖß×ØÝØÚ ÖÔ×ÖÛÒÆ ÖÔÙÖÚßØÝÖÚÙ ÖÔ×ßÛÒÆ ÖÔØØÙßßßÞÞÙ ÖÔØÞÛÒÆ ÖÔ×ÞÛÚÛÛÞÞÜ ÖÔÙÝÛÒÆ ÖÔÙÖ×ØÚÜÞÚÜ ÖÔÚÜÛÒÆ ÖÔÚÖßß×Û×Û ÖÔÛÛÛÒÆ ÖÔÜØ×ÙÞÛÝÞÛ ÖÔÜÚÛÒÆ ÖÔÝÙØÙÜÝÝÞ× ÖÔÝÙÛÒÆ ÖÔÞÛÚÞÚÖ×ßÚ ÖÔÞØÛÒÆ ÖÔÝÛÙÚÝØÜßÛ ÖÔß×ÛÒÆ ÖÔÜÛÝÝÖÝ××Û ĎēĕĚęÒÆ ĔĚęĕĚę ÖÔÖØÛÒÆ ÖÔÚÛÙÖÜßÜÜ ÖÔÖÛÒÆ ÖÔÚÖÝØßÚßÖØ ÖÔÖÝÛÒÆ ÖÔÙÜÙÞÖØÞÛ ÖÔ×ÒÆ ÖÔÙØÙÜÜÚÚØÚ ÖÔ×ØÛÒÆ ÖÔØÞÝÞÜÝßÜÜ ÖÔ×ÛÒÆ ÖÔØÛÝØßÚßÖØ ÖÔ×ÝÛÒÆ ÖÔØÙØÜßÞÖÚÙ ÖÔØÒÆ ÖÔØ×ÚÜÞÙÖÚÛ ÖÔØØÛÒÆ ÖÔØÖÙÜßÙÚßÞ ÖÔØÛÒÆ ÖÔØ ÆÆÆÆÆÆÆÆ データについて訓練用データ検証用 R

65. train - read.csv( sin1.csv ,header=T) valid - read.csv( sin2.csv ,header=T) バックプロパゲーションによる学習 sin1 - nnet(output ~ input, data=train, size=1,maxit=1000) yosoku1 - predict(sin1,valid) R

66. バックプロパゲーションによる学習 train - read.csv( sin1.csv ,header=T) valid - read.csv( sin2.csv ,header=T) sin1 - nnet(output ~ input, data=train, size=1,maxit=1000) yosoku1 - predict(sin1,valid) R

67. バックプロパゲーションによる学習 points ( valid$input, yosoku1,pch=16, col= 4 ) lines ( valid$input, yosoku1) plot ( valid, type= b , pch=16, ylim=c(0,1)) points (train, pch=16, col= 2 ) R

68. まとめ ym xn y1 whojk x1 wihij 1 x = n+1 l+1 h1 h = 1

69. まとめ汎化と過学習バックプロパゲーション教師あり学習例題を元にルールを抽出するローカルミニマム、プラトー中間層の個数

C12

Recommended

Recommended

More Related Content

More from anonymousouj

More from anonymousouj (14)

Recently uploaded

Recently uploaded (20)

C12