Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

A ROBUST MODELING FOR MULTIPLE NONLINEAR REGRESSION USING BEZIER SURFACE

838 views

Published on

  • Be the first to comment

A ROBUST MODELING FOR MULTIPLE NONLINEAR REGRESSION USING BEZIER SURFACE

  1. 1. 國立雲林科技大學 工業工程與管理研究所 論文計劃 貝 曲面之複迴歸模式建立與分析玆貝 曲面之複迴歸模式建立與分析玆 研 究 生:簡俊能 口試委員:童超塵 博士 口試委員:鄭博文 博士 指導教授:袁明鑑 博士 中華民國九十一年一月十四日
  2. 2. 報 告 大 綱 一、研究背景、動機與目的 二、研究步驟 三、文獻探討 四、研究方法 五、預期成果與研究進度 SimLabSimLab 22
  3. 3.  迴歸模型是探討兩個或兩個以上變數之間的關係故 其可以廣泛的應用在工程,商學,社會科學等領域  各種迴歸方法皆有其模式假設與限制  線性迴歸模型分析必須事先假設迴歸函數但是通常 在無充足知識前提之下假設迴歸模式是不適當且困 難的  貝玆曲面的幾何性質能以控制點調整建立曲面參數式  將資料點當作控制點描述貝玆迴歸曲面並建立複迴 歸模型 SimLabSimLab 33 一、研究背景、動機與目的 研究背景及動機
  4. 4.  研究目的 1. 建立貝玆曲面與複迴歸模型結合方法 2. 提供不需要事先假設模式的複迴歸模型 3. 驗證貝玆迴歸模型的統計分析能力 4. 證明貝玆迴歸的收斂性質 5. 比較各種迴歸方法的優缺點 SimLabSimLab 44 研究背景、動機與目的
  5. 5. SimLabSimLab 55 二、研究 驟步二、研究 驟步 研究動機與目的 結論 文獻探討 與傳統回歸做比較 建立模型 •貝玆曲面的幾何性質 •貝玆迴歸模式的假設 與建立 •變異數之估計與分析 •Goodness of fit test •收斂性質的證明估計 預測區間與信賴區間 貝玆曲線參數性質 傳統迴歸模型 各種迴歸方法
  6. 6. 三、文 獻 探 討 SimLabSimLab 66 傳統線性迴歸 簡單迴歸 複迴歸 幾何模型 貝茲曲線 貝茲曲面 各種迴歸模式 Fuzzy 模糊迴歸理論 GMDH(group method of data handling)  類神經網路 無母數迴歸
  7. 7. 傳統線性迴歸 : 文 獻 探 討 SimLabSimLab 77 2 R 求樣本數 檢 數據是否有異常查 值 算出相關係數矩陣決定可刪除的變數 判定自變項與應變項應有何種曲線關係 對所有可能模式進行 forward 、 backward 、 stepwise 分 析視情況而定  以 Cp 、 MSE 、 PRESS 或 為指標、選取適當 模式 若模式不適合再尋求其他可能因素實驗之蒐集新資料、檢驗模式及其預估結果 利用 Hold-out sample 檢驗模式及其預估效果 2. 模式選 擇: 1. 資料收集 3. 模式驗證 4. 限制 預測變數無線性相關 殘差項滿足平均 為零之常態分布值 觀察 無自我相關現象值
  8. 8. 各種迴歸模式 文 獻 探 討 SimLabSimLab 88 Fuzzy 模糊迴歸理論 自變數與應變數呈線性關係,且可以依模式設定做不同形式之轉換 模糊參數只模糊迴歸中的迴歸係數為模糊數。所有的解釋變數的係 數均為 L-type 的模糊數,模糊迴歸最主要的概念是在某各水準下 , 實際觀測 的截集能被估計 的截集所包含值 值 GMDH(group method of data handling) .GMDH 方法由 Ivakhnenko 所提出,其基本構想為利用起始變 數為出發點,將所有解釋變數藉 之二次多項 式 求出 Y 之迴歸方程式以建立較複雜新方程式,同時從其中選擇較 佳之方程式,使得新方程式更能適當描述此系統 . ),...,,( 21 mxxx
  9. 9. 各種迴歸模式 文 獻 探 討 類神經網路 (BACK-error Propagation Neural Network) 1. 類神經網路於 1986 年由 Rumelhart 提出後才廣為人知 ,BPN 屬於類神經網路中的監督式學習網路, 是第 i 個輸入層支入 變數經過隱藏層與輸出層算出網路的輸出變數 Y ,從學習範例 的目標輸出變數值 T 與網路輸出變數值 Y 比較球出誤差 , BPN 的主要特色為加入隱藏層與使用非線性活化函數 . iX SimLabSimLab 99 無母數迴歸 無母數迴歸分析最主要是從一種具有干擾資料中,估計迴歸函數 以及找出原函數資料原有特性之平滑法,是一種近年來常用的資 料分析方法 smoother 是用來表示反應變數 Y 與一個或多個預測 變數之間關係的一項工具一般常見的 smoother 包括 Bin smoothers 、 Runnning-mean smoother 、 running-line smoother 、 kerner smoother
  10. 10. 幾何模型 文 獻 探 討  B é z i e r Curve 的定義 稱之為 Bernstein 多項式基底 ),...,( 10 nxxxx ≡PitBtP n i n i ⋅= ∑= )()( 0 ]1,0[∈ t ),...,( 10 nyyyy ≡ inin i tt ini n tB − − − ≡ )1( )!(! ! )( 定義 其中 SimLabSimLab 1010 假設 {}np p p p,.., , ,2 1 0 為 n+1 個控制點 (control points) 由此控制點集形成的貝茲曲 線定義如下:}0|),{( niyxP iii <<= 當參數 t 由 0 變化 至 1 時其軌跡即為 貝茲曲線
  11. 11. 幾何模型 文 獻 探 討 SimLabSimLab 1111 B é z i e r Curve 的特性 (1) 基底函數均為正實數 (2) 定義曲線之多項式次數較定義多邊形少一 (3) 摻合函數 (blending function) 的最大值 發生於 t=i/n ( i=0,1, …,n) (4) 曲線必通過第一和最後一個控制點 (5) 該曲線必包含於控制點所形成的凸殼中 (convex hull) 中 (1) 基底函數均為正實數 (2) 定義曲線之多項式次數較定義多邊形少一 (3) 摻合函數 (blending function) 的最大值 發生於 t=i/n ( i=0,1, …,n) (4) 曲線必通過第一和最後一個控制點 (5) 該曲線必包含於控制點所形成的凸殼中 (convex hull) 中 )(tBn i
  12. 12. 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 B é z i e r Curve 性質 幾何模型 文 獻 探 討 SimLabSimLab 1212 當控制點上 移時曲線形 狀被向上吸 引 當控制點下 移時曲線形 狀被向下吸 引 當控制點 右移時曲 線形狀被 向右吸引 貝茲曲線 外型由控 制點所決 定
  13. 13. 幾何模型 文 獻 探 討 20 30 40 50 60 70 80 90 100 -1 -0.5 0 0.5 1 1.5 2 ·í±±¨îÂI¼Æ¬°n+1=100-Ó 0 10 20 30 40 50 60 70 80 90 100 -3 -2 -1 0 1 2 3 ·í±±¨îÂI¼Æ¬°n+1=100-Ó 0 10 20 30 40 50 60 70 80 90 100 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 ·í±±¨îÂI¼Æ¬°n+1=100-Ó 0 10 20 30 40 50 60 70 80 90 100 -4 -3 -2 -1 0 1 2 3 4 ·í±±¨îÂI¼Æ¬°n+1=100-Ó SimLabSimLab 1313 控制點數為 100 控制點個數為 5 控制點個數為 10 控制點數為 1000 被茲曲線近近收斂於 y=0
  14. 14. 0 10 20 30 40 50 60 70 80 90 100 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 ·í±±¨î I¼Æ ¬°n+1=100-Ó 0 10 20 30 40 50 60 70 80 90 100 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 ·í±±¨î I¼ Æ ¬°n+1=100-Ó 幾何模型 文 獻 探 討 SimLabSimLab 1414 貝茲曲線對於曲線的收斂性更加優越
  15. 15. 四、 研究方法 B é z i e r surface 特性 B é z i e r 迴歸之收斂性質 B é z i e r 迴歸基本假設 B é z i e r 迴歸之統計分析 B é z i e r 迴歸實驗 SimLabSimLab 1515
  16. 16. B é z i e r Surface 特性 方法論 定義 假設 { }njmizyxQ ijijijij <<<<= 0,0|),,(3 RQij ∈ 為 (m+1)*(n+1) 個控制點集, B é z i e r 曲面形完全由這些控 制點所決定茲將 B é z i e r 曲面定義如下 : Let U(u,v) 2 R∈ 作一線性映射至 空間形成一參數曲面 3 R 32 : RRU →⊂ℵ ]1,0[, ∈vu ij n j n j m i m i QvBuBvuS ∑∑ == = 00 )()(),( imim i uu imi m uB − − − ≡ )1( )!(! ! )( jnjn j vv jnj n vB − − − ≡ )1( )!(! ! )( ]1,0[∈u ]1,0[∈v 稱之為 Bernstein 多項式基底 SimLabSimLab 1616
  17. 17. ),( *** vuS∀ in S can representation 如下 : ij m i n j n j m i QvBuBvuS ∑∑= = = 0 0 ***** )()(),( ( ) ( ) )(** 0 )(* 0 * )1()1( )()( jmn j m i jm n j m i vvuu ji − = − = −−= ∑∑ B é z i e r Surface 特性 方法論 S(U,V) 其為一 regular surface by χ.a χ.b 1 . − χc Is differentiable. Is homomorphism. Is continous. SimLabSimLab 1717
  18. 18. B é z i e r Surface 特性 方法論 SimLabSimLab 1818 貝茲曲面的收斂過程 z=f(x,y)=0 當控制點為 10*10=100 個
  19. 19. B é z i e r Surface 特性 方法論 SimLabSimLab 1919 貝茲曲面的收斂過程 z=f(x,y)=0 當控制點為 33*33=999 個
  20. 20. B é z i e r Surface 特性 方法論 SimLabSimLab 2020 貝茲曲面的收斂過程 z=f(x,y)=0 當控制點為 70*70=4900 個
  21. 21. B é z i e r Surface 特性 方法論 SimLabSimLab 2121 貝茲曲面的收斂過程 z=f(x,y)=0 當控制點為 100*100=10000 個
  22. 22. B é z i e r Surface 特性 方法論 一階導數性質 B é z i e r Surface 的一階導數 )()( ),( ' vBuB u vuB n j m i= ∂ ∂ ( ){ } )()1()()1( 11 vBuuimuiu n j imiimim i −−−− −−−−= )()(),( vBuBvuB m j m i=令 ∑∑ ∑∑ = = m i ij n j n j m iu m i ij n j n j m iu QvBuBvuS QvBuBvuS )()(),( )()(),( ' ' )()( )1( )( vBuB uu mui n j m i − − = )()( ),( ' vBuB v vuB n j m i= ∂ ∂ ( ){ } )()1()()1( 11 uBvvjnvjv m i jnjjnjn j −−−− −−−−= )()( )1( )( vBuB vv nvj n j m i − − = SimLabSimLab 2222
  23. 23. B é z i e r Surface 特性 方法論 二階導數性質 ∑∑ ∑∑ = = m i ij n j n j m iu m i ij n j n j m iuu QvBuBvuS QvBuBvuS )()(),( )()(),( '' '' )()(),( vBuBvuB m j m i=令 )()( ),(),( '' 2 2 vBuB u vuB u vuB n j m i=      ∂ ∂ ∂ ∂ = ∂ ∂ )(*)( )1( )21()( 22 22 vBuB uu uimumui n j m i       − −−−− = )()( ),(),( '' 2 2 vBuB v vuB v vuB n j m i=      ∂ ∂ ∂ ∂ = ∂ ∂ )(*)( )1( )21()( 22 22 vBuB vv vjnvnvj n j m i       − −−−− = SimLabSimLab 2323
  24. 24. B é z i e r Surface 迴歸基本假設 方法論 B é z i e r Surface 之複迴歸模式假設 假設反應變數與預測變數關係式如下: 1. 對於不同之 ),|( ijij yxzf 所對應的 (m+1)(n+1) 個參數再由所對應的 ijZ ),( ijij yx 所對應的 Y 值都屬於同一機率分 配 2. 變數定義 : ),0(~ 2 σε Nij 且互相獨立 ijijijij yxfZ ε+= ),( 觀察值 預測變數 誤差項 此實驗之真實函數 ji vu , ijij YX , ijε f 以觀察值為控制點的 B é z i e r Surface 所估計的 f(x,y) 如下 ∑∑= = ∧ = m k n s j n si m kijij vBuByxf 0 0 )()(),( 其中 ∑∑ ∑∑ = = = = = = m k ij n s j n si m kij m k ij n s j n si m kij YvBuBY XvBuBX 0 0 0 0 )()( )()( 滿足 By ijij YX , 透過估計式求出 ijZ SimLabSimLab 2424 ijZ ),( ji vu ijZ ∧
  25. 25. B é z i e r Surface 迴歸基本假設 方法論 B é z i e r Surface 之複迴歸模式矩陣表示 法 ],...,,[ 210 m T zzzzZ = ],...,,[ 210 mjjjj T j zzzzZ = nj ,...2,1,0= jij ZBsfZ ⋅== ∧∧ jnjimin j m is vv jnj n uu imi m vBuBB −− − − − − ≡= )1( )!(! ! )1( )!(! ! )()(此處 多項式所加權估計經由是由反應變數 bernsteinZij ∧ f 所對應之值是由預測變數 ijYvu ,X),( ij ],...,,[ 210 ∧∧∧∧∧ = mjjjj zzzzf 為估計值 為觀察值中的反應變數 SimLabSimLab 2525
  26. 26. B é z i e r Surface 迴歸基本假設 方法論 B é z i e r Surface 之複迴歸模式矩陣表示 法 = ∧ f                            ∑ ∑ ∑ ∑ ∑ ∑ ∑ = = = = = = = n j n n jm m n j n jm m n j n jm m n j n j m n j n j m n j n j m n j n j m vBuB vBuB vBuB vBuB vBuB vBuB vBuB 0 0 0 10 0 00 0 110 0 010 0 100 0 000 )()( )()( )()( )()( )()( )()( )()( ∑ ∑ ∑ ∑ ∑ ∑ ∑ = = = = = = = n j n n jm m n j n jm m n j n jm m n j n j m n j n j m n j n j m n j n j m vBuB vBuB vBuB vBuB vBuB vBuB vBuB 0 0 0 10 0 00 0 110 0 010 0 100 0 000 )()( )()( )()( )()( )()( )()( )()(                            ∑ ∑ ∑ ∑ ∑ ∑ ∑ = = = = = = = n j n n jm m n j n jm m n j n jm m n j n j m n j n j m n j n j m n j n j m vBuB vBuB vBuB vBuB vBuB vBuB vBuB 0 0 0 10 0 00 0 110 0 010 0 100 0 000 )()( )()( )()( )()( )()( )()( )()(                                        mj j j j Z Z Z Z 2 1 0 SimLabSimLab 2626
  27. 27. B é z i e r Surface 迴歸之收斂性質 SimLabSimLab 2727 )()()(lim * 0 * xfxftB i n i n in =∑− ∞→ 假設觀察 產生是由一連續函數值 f 且隨機誤差為 0 ,則當樣本數 n 足 大時且等距分布在夠 x 範圍時 ,以觀察 為控制點之值 bezier curves 將收斂於觀察 的真實函數亦即值 : j n j xtBxt ∑= = 0 *** )(滿足此處 iiiji n i j n in exfYxfYYtB +===∑− ∞→ )(),()(lim ^ 0
  28. 28. B é z i e r Surface 迴歸之統計分析 貝茲曲面所建立的複回歸模式的統計分析是為了驗證其統計性質 其中包含了反應變數的預測,變異數分析,殘差分析, MSE 適合 度檢定等將建立一完整統計分析架構 . •反應變數的估計 •變異數的估計 根據貝茲多項式的定義,反應變數如下式估計 : ∑∑= = ∧ = m k n s j n si m kijij vBuByxf 0 0 )()(),( 其中 ji vu , 滿足 ∑∑ ∑∑ = = = = = = m k ij n s j n si m kij m k ij n s j n si m kij YvBuBY XvBuBX 0 0 0 0 )()( )()( )1)(1( )( 0 2 0 −− − = ∑∑= = ∧ nm ZZ X m k ij n s ij ij ( ) )1)(1( −−−= nmZZB T jjs SimLabSimLab 2828 ijZ ∧
  29. 29. B é z i e r Surface 迴歸之統計分析 •MSE 的自由 度 •適合度檢定 我們必須對於貝茲回歸曲面所建立之赴回歸模式作殘差分析與 統計檢定: 觀察值知數目為 (m+1)(n+1) 個,其自由 度為 (m+1-2)(n+1-2)=(m-1)(n-1) 1 變異數是否一 致2. 資料是否獨立 3. 隨機誤差是否具常態性 4. 是否有極端值 )1)(1( )1)(1()( 0* ++ ++− = ∑∑= = ∧ nmMSE nmZZ t m oi ij n j ij•T 檢定 •F 檢定 )1)(1( )1)(1()( 2 0* ++         ++− = ∑∑= = ∧ nmMSE nmZZ F m oi ij n j ij SimLabSimLab 2929
  30. 30. B é z i e r Surface 實驗設計 SimLabSimLab 3030 模擬重複實驗 1000 次 以各種函數型態加上適當的 常態誤差項產生觀察值 分別個常態誤差參數實驗 分別以不同觀察 個數實驗值 以貝茲迴歸模型估計 以傳統或其他回歸模型估計 統計指標分析 問題探討與結論
  31. 31. 五、甘特圖 SimLabSimLab 3131 工作任務 9 月 10 月 11 月 12 月 1 月 2 月 3 月 4 月 5 月  文獻彙整 建立曲面迴歸模型 曲面程式撰寫 建立 n 維複迴歸模型 建立統計分析程序 模擬實驗與分析 論文撰寫

×