Метод наименьших квадратов используется для нахождения обобщенного многочлена, минимизирующего среднеквадратичное уклонение от функции. Система функций считается линейно независимой, если определитель Грама не равен нулю, что обеспечивает существование и единственность решения для многочлена наилучшего приближения. В практике метод применяется при наличии большого количества точек данных с погрешностями, когда функция не обладает достаточной гладкостью.

1. Метод наименьших квадратов
Пусть в эвклидовом пространстве E дана система функций 0, 1, …,m
Определитель
(0, 0)( 1, 0)… ( m, 0)
(0, 1)( 1, 0)… ( m, 1)
…………………………..
(0, m)( 1, m)… ( m, m)
составленный из скалярных произведений, называется определителем Грама системы
функций 0, 1, …,m
Лемма. Определитель равен нулю тогда и только тогда, когда система функций
0, 1, …,m линейно зависима
Доказательство. Пусть {i} линейно зависима
0 ii
Умножим на i скалярно и получим
0(0, 0)+ 1( 1, 0)+… +m( m, 0)=0
………………………………….………
0(0, m)+ 1( 1, m)+…+ m ( m, m)
Это однородная система, имеющая ненулевое решение, следовательно, определитель
равен нулю.
Предположим, что определитель Грама равен нулю. Докажем, что {i} линейно
зависима. Т.к. определитель равен нулю, то 1 не равен нулю.
Систему можно записать
(0, 00, +1 1+…+ m m)
(1, 00, +1 1+…+ m m)
…………………………..
(m, 00, +1 1+…+ m m)
Умножим их на i и сложим
||00, +1 1+…+ m m)||2
=0

2. тогда 0 ii ч.т.д.
Функция
m(x)=c00(x), +c1 1(x)+…+ cm m(x)
где ci-числовые коэффициенты, называются обобщенным многочленом по системе
функций i
Пусть fE. Найти многочлен m(x), для которого (f1m) - среднеквадратичное
уклонение m от f минимально. Тогда m называется многочленом наилучшего
среднеквадратичного приближения функции f0.
Покажем, что если система функций 0, 1, …,m линейно независима, то для
любой функции fE многочлен наилучшего среднеквадратичного приближения
существует и притом единственный.
 

m
j
jikj
m
kj
kjmmmm fcccffffffS
00,
22
),(2),(),(),(),( 
S2
(f, m)- квадратичная форма относительно коэффициентов.
Квадратичная форма достигает своего неотрицательного минимума. Одновременно
с S2
(f, m) минимума достигает и расстояние.
Приравняем частные производные по cj к нулю, получим
c0(0,0), +c1(1,0)+…+ cm(m,0)=(f, 0)
c0(0,1), +c1(1,1)+…+ cm(m,1)=(f, 1)
c0(0,m), +c1(1,m)+…+ cm(m,m)=(f, m)
Система называется нормальной. По лемме 1 определитель Грама не равен нулю,
поэтому система имеет единственное решение.
Итак, если система i линейно независима, то коэффициенты построенного по ней
единственного многочлена среднеквадратичного приближения функции fE находится в
виде решения нормальной системы линейных алгебраических уравнений.
На практике часто применяется среднеквадратичные приближения функций
алгебраическими многочленами, т.е. в качестве 0, 1, …,m берутся 1,x,x2
, …,xm
. Система
этих функций линейно независима в с, в Rn+1
она линейно независима, если m<n.
Метод наименьших квадратов чаще применяют в дискретном варианте, т.е.
возникают сложности с вычислением скалярного произведения(f, i). При этом
необходимо, чтобы точек в 1,5-2 раза больше степени многочлена.
Если m=n, то найденный в дискретном варианте методов наименьших квадратов
многочлен n-й степени совпадает с интерполяционного многочлена от заданной функции
на множестве точек {xi}равно нулю, а меньше быть не может.

3. Метод используют, когда функция не обладает достаточной гладкостью и для нее не
удается построить подходящего интерполяционного многочлена или сплайна, а также,
если значения функции известны в достаточно большом числе точек, но со случайными
ошибками.