1
M nimos Cuadrados
El trmino mnimos cuadrados generalmente describe un mtodo frecuentemente e e usado para resolver sistemas de ecuaciones sobredeterminados (ms ecuaciones que a incgnitas) con un enfoque de aproximacin. En vez de resolver de manera exacta o o el sistema, se busca solamente minimizar la suma de los cuadrados de los residuales. El criterio de m nimos cuadrados tiene una interpretacin importante en eso tad stica. Veremos una factorizacin de matrices conocida como ortogonal que es de o suma importancia para el enfoque de sistemas sobredeterminados. Modelos y ajuste de curvas Una fuente comn de m u nimos cuadrados es el ajuste curvas. Sea t la variable independiente y sea y(t) que denote una funcin desconocida de t que necesitamos o aproximar. Supongamos que tenemos m observaciones, es decir, valores de y medidos en valores espec cos de t. yi = y(ti ), i = 1, 2, , m
La idea entonces es modelar y(t) mediante una combinacin lineal de n funciones o base, y(t) 1 1 (t) + + n n (t) La matriz conocida como de diseo es una matriz X rectangular de orden m n n cuyos elementos son xi,j = j (ti ) Esta matriz generalmente tiene ms las que columnas. En notacin vectorial tendr a o amos y X Ejemplo 1 Supongamos que se tienen los datos t 1 y(t) 1 y queremos ajustar el modelo y(t) 1 t + 2 Calcular la matriz de diseo X y escribir cmo queda el modelo y X. n o Solucin 1 En este caso 1 (t) = t y 2 (t) = 1. Necesitamos calcular los elementos o de X, xi,j = j (ti ). Los elementos de la matriz X son tales que xi,j = j (ti ). Claramente X tiene dos columnas. Cuando j = 1 dicha columna es 1 2 5 9 13 2 3 5 7 9 5 13 2
2 y cuando j = 2, 1 1 1 1 1 entonces X= 1 2 5 9 13 1 1 1 1 1
si denotamos ) ( 1 = 2 entonces y X Las funciones base j (t) pueden ser funciones no lineales de t, ms no para los a parmetros j . El sistema lineal y X se llama sobredeterminado si hay ms a a ecuaciones que incgnitas. o Las funciones base pueden tambin tener algunos parmetros no lineales, 1 , , e a p . El problema se dice separable si tales funciones tienen parmetros tanto lineales a como no lineales. Si el modelo tiene la forma y(t) 1 1 (t, ) + + n n (t, ) los elementos de la matriz de diseo depender tanto de t como de . n a A continuacin citamos algunos modelos comunes o 1. Linea recta. y(t) 1 t + 2 2. Polinomial. Los j aparecen de manera lineal. j (t) = tnj , j = 1, 2, , n y(t) 1 tn1 + + n1 t + n
3 3. Funciones racionales. Los coecientes en el numerador aparecen linealmente y los del denominador no. j (t) = tnj 1 tn1 + + n1 t + n 1 tn1 + + n1 t + n y(t) 1 tn1 + + n1 t + n
4. Exponenciales. La tasa de decaimiento j , aparece no lineal. j (t) = ej t y(t) 1 e1 t + + n en t 5. Log-lineal. y(t) Ket log y 1 t + 2 ,
con 1 = , 2 = log K
6. Gaussianas. Las medias y las varianzas aparecen no lineales.
(
j (t) = e
tj j
)2 )2
y(t) 1 e Normas
t1 1
+ + n e (
tn n
Los residuales son las diferencias entre las observaciones y el modelo, r i = yi
n 1
j j (ti , ),
i = 1, 2, , m
Entonces se necesita encontrar las y que hagan los residuales tan pequeos como n sea posible. Qu se entiende por pequeo? o Qu queremos decir cuando usamos e n e el s mbolo ? Para medir los residuales usaremos el enfoque de m nimos cuadrados, esto es, minimizar la suma de los cuadrados de los residuales r2 =
m 1 2 ri
4 Ejemplos de modelos Veremos unos de los modelos ms utilizados: el de la recta de regresin, con un a o plus que tiene que ver con el buen condicionamiento de la matriz que surge para el sistema de ecuaciones lineales, situacin que puede darse si los datos son grandes o como el caso de censusgui.m. Mostraremos el procedimiento para la obtencin de o tal recta. Sean los datos (xk , yk ), k = 1, 2, n, cuyas abscisas xk son distintas. Queremos encontrar la recta y = ax + b en el sentido de m nimos cuadrados que ajuste los datos. Denotemos al error residual como E(a, b), entonces E(a, b) =
n k=1
(yk (axk + b))2
el valor m nimo de E(a, b) se determina igualando a cero las derivadas parciales E/a y E/b y resolviendo las ecuaciones que resultan. Entonces tenemos
n n E(a, b) (xk yk ax2 bxk ) 2(yk (axk + b))xk = 2 = k a k=1 k=1 n n E(a, b) (yk axk b) 2(yk (axk + b)) = 2 = b k=1 k=1
si igualamos a cero y aplicamos la propiedad distributiva de la sumatoria llegamos a 0 = 0 =
n k=1 n k=1
(xk yk
ax2 k
bxk ) = a
n k=1
n k=1
x2 k
n k=1
xk +
n k=1
xk yk
(yk axk b) = a
xk nb +
n k=1
yk
El sistema de ecuaciones lineales se puede escribir de manera estndar como a ( n ) ( n ) n 2 xk b = xk yk xk a +
k=1
( n
k=1
k=1
k=1 n k=1
xk
a + nb =
yk
5 Ejemplo 2 Ajustar una recta de regresin para los datos o xk yk x2 k -1 10 1 0 9 0 1 7 1 2 5 4 3 4 9 4 3 16 5 0 25 6 -1 36 20 37 92 xk yk -10 0 7 10 12 12 0 -6 25
Como vemos la tabla ya tiene las sumas necesarias para plantear el sistema lineal de ecuaciones, siendo este 92a + 20b = 25 20a + 8b = 37 La solucin de este sistema es: a = 1.6071429 y b = 8.6428571. Entonces la recta o de regresin es o y = 1.6071429x + 8.6428571 A continuacin mostramos la grca de la recta y los datos. o a
Recta de regresin 12 10 8 6 4 2 0 2 4 2 y
2 x
Figura 1: Si queremos utilizar el modelo para predecir un valor de x digamos 1.6, simplemente lo evaluamos. En este caso se obtiene y(1.6) = 1.6071429(1.6) + 8.6428571 = 6.07143
