metod naymenshih kvadrativ in Excel

1. 206
ЛЕКЦІЯ 16. МЕТОДИ ОБРОБКИ ДАНИХ: МЕТОД НАЙМЕНШИХ
КВАДРАТІВ
16.1. Постановка задачі
Визначення виду функціональних залежностей, що одержано у фізичному експериме-
нті, має дуже важливе значення. Так, у результаті експериментів часто одержують сукупність
точок    1 1 N Nx , y ... x , y , абсциси яких  kx різні. Одне із призначень чисельних методів –
визначення формули виду  y f x , що пов’язує ці змінні, точніше – вибір класу припусти-
мих формул, коефіцієнти в яких повинні бути визначені.
Якщо всі чисельні значення  kx ,  ky відомі з декількома знаками точності, то інтер-
поляційний поліном може бути з успіхом використаний, інакше це неможливо. У деяких екс-
периментах застосовується спеціалізоване устаткування, що дозволяє одержати вимірювані
точки, принаймні, з п’ятьма знаками точності. Однак більшість експериментів проводиться на
устаткуванні, що надійно дає тільки три або менше знаки точності. Часто у вимірі присутнє
експериментальна помилка. І хоча записуються три цифри для значень  kx ,  ky мається на
увазі, що справжнє значення  kf x задовольняє рівності:
 k k kf x y   (16.1)
де k – помилка виміру.
Для визначення кращого наближення функції до отриманих точок, проведемо дослі-
дження помилок (які також можна називати відхиленнями або залишками):
 k k kf x y   , для 1 k N  . (16.2)
Існує декілька норм, які можна використати із залишками в (16.22), щоб виміряти, на-
скільки далеко від даних лежить крива  y f x .
Максимальна помилка:     k k
1 k N
E f max f x y
 
  (16.3)
Середня помилка:    
N
1 k k
k 1
1
E f f x y
N 
   (16.4)
Середньоквадратична помилка:    
1
N 2
2
2 k k
k 1
1
E f f x y
N 
 
   
 
 (16.5)
Розглянемо це на прикладі.
Приклад.
Порівняти максимальну, середню і середньоквадратичну помилки для лінійного набли-
ження функції  y f x 8 ,6 1,6 x    (рис. 16.1) по заданих крапках  1;10 ,  0;9 ,  1;7 ,
 2;5 ,  3;4 ,  4;3 ,  5;0 і  6; 1 .

2. 207
-2
0
2
4
6
8
10
12
-2 -1 0 1 2 3 4 5 6 7
Yk
f(xk)=8,6-1,6*xk
Рис. 16.1. Графік функції  y f x 8 ,6 1,6 x    з нанесеними крапками
Знайдемо помилки, використовуючи значення функції  kf x і k , отримані в таблиці 16.1.
Таблиця 16.1
Обчислення для знаходження  1E f і  2E f
kx ky  k kf x 8 ,6 1,6 x   k 2
k
-1 10 10,2 0,2 0,04
0 9 8,6 0,4 0,16
1 7 7,0 0,0 0,00
2 5 5,4 0,4 0,16
3 4 3,8 0,2 0,04
4 3 2,2 0,8 0,64
5 0 0,6 0,6 0,36
6 -1 -1,0 0,0 0,00
 2,6 1,40
   E f max 0 ,2;0 ,4 ;0 ,0 ;0 ,4 ;0 ,2;0 ,8;0 ,6 ;0 ,0 0 ,8  
   1
1
E f 2,6 0,325
8
  
 
1
2
2
1,4
E f 0,41833
8
 
  
 
Зрозуміло, що максимальна помилка найбільша і якщо одна крапка погана, те її зна-
чення визначає  E f
. Середня помилка  1E f – просто середнє абсолютних величин по-
милок різних крапок. Вона часто використовується завдяки простоті обчислення. Помилку
 2E f часто використають при вивченні помилок статистичної природи.
Найкраща побудована лінія визначається шляхом мінімізації однієї з величин, заданих
виразами (16.3) – (16.5). Таким чином, можна знайти три лінії, побудовані щонайкращим об-
разом. Традиційно обирається третя норма  2E f тому, що її набагато легше мінімізувати.

3. 208
16.2. Метод найменших квадратів
Нехай залежність між змінними x та y представлена таблицею даних, отриманих в експе-
рименті:
X 1x 2x … Nx
Y 1y 2y … Ny
Потрібно отримані дані описати деякою функціональною залежністю вигляду  y f x
. Така залежність повинна відбити основну тенденцію зміни змінної y зі зміною змінної x і
згладити випадкові погрішності вимірів, які є неминучими в експерименті.
Задача знаходження емпіричної формули складається із двох основних етапів.
На першому етапі необхідно встановити вигляд залежності  y f x , тобто вирішити чи є
вона лінійною   0 1f x a a x   , квадратичною   2
0 1 2f x =a +a x+a x  , логарифмічною
   0 1f x =a +a ln x або який-небудь іншою. Для цього експериментальні точки наносять на коор-
динатну площину і по їх розташуванню висувають гіпотезу про вигляд емпіричної залежності.
На другому етапі, коли загальний вид емпіричної функції обрано, необхідно визначити
числові значення її параметрів 0 1 2 na , a , a ,..., a . Критерієм вибору значень параметрів є метод
найменших квадратів (МНК).
Метод найменших квадратів – один з методів теорії помилок для оцінки невідомих
величин за результатами вимірів, що містить випадкові помилки. Застосовується при
обробці спостережень.
У методі найменших квадратів апроксимація відбувається на підставі того, що сума
квадратів відхилень по всіх крапках повинна бути найменшою. Тобто:
  
N N
2
k k k
k 1 k 1
F f x y min
 
     , (16.6)
де k – відхилення (рис. 16.2).
Рис. 16.2. Набор початкових точок, лінійна апроксимуюча функція та відхилення для
методу найменших квадратів
Якщо взяти поліном у вигляді:
0
0,5
1
1,5
2
2,5
3
3,5
0 0,5 1 1,5 2 2,5 3
Yi
Yi Линейная (Yi)
δ
1
δ
2
k

4. 209
  2 m
0 1 2 mf x =a +a x+a x +...+a x   , (16.7)
то  0 1 mF F a ,a ,...,a
Помітно, що ступінь поліному m повинна бути менше числа крапок n. (у випадку
m N 1  одержимо поліном Лагранжа).
Лінійна апроксимація
У цьому випадку m 1 , тоді апроксимуюча функція буде мати вигляд:
  0 1f x =a +a x (16.8)
Згідно МНК значення її параметрів підбираються таким чином, щоб відхилення експе-
риментальних точок  k kx ; y від обраної кривої було мінімальним. Тобто параметри 0a , 1a
повинні бути такими, щоб сума квадратів відхилень спостережуваних значень ky від розра-
хованих за функцією (16.8), була мінімальною. Сума квадратів відхилень від лінійної функції
(16.8) має вигляд:
   
N
2
0 1 0 1 k k
k 1
F a ,a a a x y min

     (16.9)
Величина  o 1F a ,a є функцією двох змінних. Необхідною умовою екстремуму такої
функції є рівність нулю всіх її окремих похідних:
 o 1
0
F a ,a
0
a



 o 1
1
F a ,a
0
a



(16.10)
Вони мають вигляд:
 
 
 
 
N
0 1
0 1 k k
k 10
N
0 1
0 1 k k k
k 11
F a ,a
2 a a x y 0
a
F a ,a
2 a a x y x 0
a



    



      


(16.11)
Таким чином, після перетворення маємо нормальну систему двох лінійних рівнянь щодо
невідомих параметрів регресії 0a , 1a .
N N
0 1 k k
k 1 k 1
N N N
2
0 k 1 k k k
k 1 k 1 k 1
a N a x y
a x a x y x
 
  

   


     

 
  
(16.12)
Рішення системи – значення параметрів 0a , 1a можна знайти методом зворотної матриці.
Представимо систему (16.12) у матричній формі:
N N
k k
k 1 k 10
N N N
2 1
k k k k
k 1 k 1 k 1
N x y
a
a
x x y x
 
  
   
    
     
        
   
 
  
або 0
1
a
A B
a
 
  
 
Відповідно:
0 1
1
a
A B
a
 
  
 
(16.13)
Знайдені параметри регресії 0a , 1a підставляють у рівняння (16.8) і в такий спосіб одер-
жують емпіричне лінійне рівняння, яке найкращим чином описує експериментальні дані.

5. 210
Квадратична апроксимація
Якщо m 2 , то одержуємо функцію:
  2
0 1 2f x a a x a x     (16.14)
У цьому випадку нормальна система має вигляд:
 
 
 
 
 
 
N
0 1 2 2
0 1 k 2 k k
k 10
N
0 1 2 2
0 1 k 2 k k k
k 11
N
0 1 2 2 2
0 1 k 2 k k k
k 12
F a , a ,a
2 a a x a x y 0
a
F a , a ,a
2 a a x a x y x 0
a
F a , a ,a
2 a a x a x y x 0
a




      


       


        




(16.15)
Після перетворення маємо нормальну систему трьох рівнянь щодо невідомих парамет-
рів регресії 0a , 1a , 2a :
N N N
2
0 1 k 2 k k
k 1 k 1 k 1
N N N N
2 3
0 k 1 k 2 k k k
k 1 k 1 k 1 k 1
N N N N
2 3 4 2
0 k 1 k 2 k k k
k 1 k 1 k 1 k 1
a N a x a x y
a x a x a x x y
a x a x a x x y
  
   
   

     


      


      

  
   
   
(16.16)
розв’язавши систему (16.16) щодо параметрів 0a , 1a , 2a одержуємо конкретний вид функції
(16.14). Зміна кількості параметрів не призведе до зміни суті самого підходу, а виразиться в
зміні кількості рівнянь у системі (16.16).
Значення різниць
 k 0 1 2 ky F a ,a ,a   (16.17)
Називають відхиленнями обмірюваних значень від обчислених за формулами (16.8) або
(16.16).
Сума квадратів відхилень
N
2
k
k 1
 

  (16.18)
Відповідно до принципу найменших квадратів для заданого виду функції, що наближає,
повинна бути найменшої.
Із двох різних наближень однієї й тієї ж табличної функції кращим вважається те, для
якого (16.18) має найменше значення.
Аналогічно можна записати систему для полінома будь-якого ступеня m N :
  2 m
0 1 2 mf x a a x a x ... a x        (16.19)
При цьому, якщо m N , то точкова середня квадратична апроксимація алгебраїчним
багаточленом збігається з лагранжевою інтерполяцією. Таким чином, підвищення ступеню ап-
роксимуючого полінома на певному кроці приведе до погіршення якості. Інший шлях підви-
щення якості апроксимації пов’язано з вибором замість алгебраїчних поліномів інших ортого-
нальних поліномів, а також функцій виду:
b x
by a x y a b
y a
x1 x
y y
y a lg xa x b a x b
   
 
 
    
(16.20)
та інших, які легко лінеаризуються шляхом логарифмування або заміни змінних (табл. 16.2,
рис. 16.3).

6. 211
Таблиця 16.2
Заміна змінної (змінних) для метода лінеаризації даних
Функція,  y f x Лінеаризована форма,
Y A x B  
Заміна змінної (змінних) і
постійних
A
y B
x
 
1
y A B
x
  
1
X
x
 , Y y
D
y
x C


 
1 D
y x y
C C

    X x y  , Y y ,
1
C
A

 ,
B
D
A


1
y
A x B

 
1
A x B
y
   X x ,
1
Y
y

x
y
A x B

 
1 1
A B
y x
   1
X
x
 ,
1
Y
y

 y A ln x B    y A ln x B    X ln x , Y y
A x
y C e 
     ln y A x ln C   X x ,  Y ln y ,
B
C e
A
y C x       ln y A ln x ln C    X ln x ,  Y ln y ,
B
C e
 
2
y A x B

  
1
2
y A x B

   X x ,
1
2
Y y


D x
y C x e 
  
 
y
ln D x ln C
x
 
    
 
X x ,
y
Y ln
x
 
  
 
,
B
C e ,
D A 
A x
L
y
1 C e 

   
L
ln 1 A x ln C
y
 
    
 
X x ,
L
Y ln 1
y
 
  
 
,
B
C e и L – постійні, що
повинні бути задані

7. 212
Рис. 16.3. Можливі криві, що використовують при лінеаризації даних
Реалізація метода найменших квадратів в MS Excel
Приклад 1
Методом найменших квадратів побудувати:
1. Лінійну функцію вигляду y1 = ax + b
2. Квадратичну функцію вигляду y2 = a1x2 + a2x + a3
Для кожної з побудованих функцій знайти середньоквадратичні відхилення.

8. 213
На діаграму нанести вихідні дані, а також графіки отриманих лінійної та квадратичної
функції.
Приклади реалізації методу найменших квадратів у середовищі Microsoft Excel наве-
дено на рис. 16.4 та 16.5.
Приклад 2
Для заданого набору значень незалежної змінної та функції визначити найкраще лі-
нійне наближення у вигляді прямої з рівнянням y1 = ax + b
На рис. 16.6 наведено реалізацію з використанням вбудованих функцій.
Рис. 16.6. Приклад реалізації метода найменших квадратів в Microsoft Excel з вико-
ристанням вбудованих функцій.
Реалізація метода найменших квадратів в MathCAD
На рис. 16.7 та 16.8 наведено реалізацію метода найменших квадратів в програмному
комплексі MathCAD

9. 214
Рис. 16.4. Приклад реалізації метода найменших квадратів в Microsoft Excel: вид листа Microsoft Excel

10. 215
Рис. 16.5. Приклад реалізації метода найменших квадратів в Microsoft Excel: формули, що розташовано в комірках листа Microsoft
Excel

11. 216
Рис. 16.7. Приклад реалізації метода найменших квадратів в Mathcad: лінійна апрок-
симація

12. 217
Рис. 16.8. Приклад реалізації метода найменших квадратів в Mathcad: квадратична
апроксимація