Hemos visto cómo solucionar sistemas de ecuaciones lineales. Sin embargo, hay en ocasiones que los sistemas no tiene solución. En estos casos podemos buscar el punto más cercano a la solución. Recordemos que todo sistema podemos plantearlo en su forma matricial como
\[ A\ x=\ \textbf{b},\]
donde \(A\in\mathcal{M}_{m\times n}(\mathbb{R})\), \(x\in\mathcal{M}_{n\times 1}(\mathbb{R})\) y \(\textbf{b}\in\mathcal{M}_{m\times 1}(\mathbb{R})\).
Cuando se necesita una solución pero no hay ninguna, lo mejor que puede hacerse es encontrar una solución \(x\) que deje a \(A\ x\) tan cercana a \(\textbf{b}\) como sea posible.
Sea \( A\in\mathcal{M}_{m\times n}(\mathbb{R})\), \( x^t\in\mathbb{R}^n\) y \(\textbf{b}^t\in\mathbb{R}^m\), llamamos solución por mínimos cuadrados de la ecuación, a una aproximación \( \hat{x}^t\in\mathbb{R}^n\), tal que
\[\parallel\textbf{b}-A\ \hat{x}\parallel\leq \parallel \textbf{b}-A\ x\parallel\ \forall\ x^t\in\mathbb{R}^n.\]
El conjunto de soluciones por mínimos cuadrados de \( A\ x=\ \textbf{b}\) coincide con el conjunto no vacío de soluciones de
\[ A^t A\ x=\ A^t\textbf{b},\]
De la propiedad anterior se deduce un resultado concluyente:
Si las columnas de \(A\) son linealmente independientes, entonces \(A^t A\) es invertible y la ecuación \(A\ x=\ \textbf{b}\) tiene solamente una solución por mínimos cuadrados dada por
\[ \hat{x}=\ (A^t A)^{-1} A^t\textbf{b}.\]
Ejercicio: Encontrar una solución por mínimos cuadrados del sistema incompatible \[\begin{array}{r} x -y=-1, \\ x-2y=-2, \\ 3x+y=2.\end{array}\]
Para que el sistema tenga solución debe cumplirse que \[\mathbf{rank}\begin{bmatrix}1 & -1\\
1 & -2\\ 3 & 1\end{bmatrix}=\mathbf{rank}\begin{bmatrix}1 & -1 & -1\\ 1 & -2 & -2\\ 3 & 1 & 2\end{bmatrix}\]
Como vemos no se cumple que ambos rangos son iguales, luego el sistema no tiene solución. Nuestro propósito es encontrar \(\hat{x}\) la solución que más se aproxime a la requerida. Para nuestro propósito primero calculamos \(A^tA\):
\[\begin{bmatrix}1 & 1 & 3\\ -1 & -2 & 1\end{bmatrix}\begin{bmatrix}1 & -1\\ 1 & -2\\ 3 & 1\end{bmatrix}=\begin{bmatrix}11 & 0\\ 0 & 6\end{bmatrix}.\]
El siguiente paso es calcular su inversa:
\[\begin{bmatrix}11 & 0\\ 0 & 6\end{bmatrix}^{-1}=\begin{bmatrix}\frac{1}{11} & 0\\ 0 & \frac{1}{6}\end{bmatrix}.\] Ya tenemos lo que necesitamos para calcular
\[ \hat{x}=\begin{bmatrix}\frac{1}{11} & 0\\ 0 & \frac{1}{6}\end{bmatrix}\begin{bmatrix}1 & 1 & 3\\ -1 & -2 & 1\end{bmatrix}\begin{bmatrix}-1\\ -2\\ 2\end{bmatrix}=\begin{bmatrix}\frac{3}{11}\\ \frac{7}{6}\end{bmatrix}.\] La solución que buscamos es \(\hat{x}\).
Ejercicio: Determinar si el sistema es compatible y calcular su solución por mínimos cuadrados en caso contrario: \[\begin{array}{r}x-2 y=3\\ 2 y-x=1\\ 3 y=-4\\ 5 y+2 x=2\end{array}\]
Es fácil comprobar que el rango de la matriz ampliada no coincide con el rango de la matriz de coeficientes, luego el sistema no tiene solución. Debemos encontrar la más cercana por el método de mínimos cuadrados.
Ejercicio: Encontrar una solución por mínimos cuadrados del sistema incompatible \[\begin{array}{r} x-y=1\\ y-2 z=-1\\ z+3 y+x=2\\ x-z=2\end{array}\]
De nuevo, el rango de la matriz ampliada no coincide con el rango de la matriz de coeficientes, luego el sistema no tiene solución. Debemos encontrar la más cercana por el método de mínimos cuadrados.
Observar que \(A\ \hat{x}\) nos determina la solución del sistema que más se aproxima a la solución pedida. El error que estamos cometiendo es \[ \| A\ \hat{x}-\ \textbf{b}\|.\]
Ejercicio: Cuál es el error de la solución por mínimos cuadrados del sistema incompatible \[\begin{array}{r} x -y=-1, \\ x-2y=-2, \\ 3x+y=2.\end{array}\]
Con anterioridad hemos visto que la solución por mínimos cuadrados del sistema es:
\[\hat{x}=\begin{bmatrix}\frac{3}{11}\\ \frac{7}{6}\end{bmatrix}\]
luego el error será:
\[\|A\hat{x}-\mathbf{b}\|=\left\| \begin{bmatrix}1 & -1\\
1 & -2\\
3 & 1\end{bmatrix}\begin{bmatrix}\frac{3}{11}\\ \frac{7}{6}\end{bmatrix}- \begin{bmatrix}-1\\
-2\\
2\end{bmatrix}\right\|\left\| \begin{bmatrix}\frac{7}{66}\\ -\frac{2}{33}\\ -\frac{1}{66}\end{bmatrix} \right\|= \frac{1}{\sqrt{66}}\]
Ejercicio: Cuál es el error de la solución por mínimos cuadrados del sistema: \[\begin{array}{r}x-2 y=3\\ 2 y-x=1\\ 3 y=-4\\ 5 y+2 x=2\end{array}\]
Con anterioridad hemos visto que la solución por mínimos cuadrados del sistema es:
\[\hat{x}=\begin{bmatrix}\frac{4}{3}\\ -\frac{1}{3}\end{bmatrix},\]
luego el error será:
\[\|A\hat{x}-\mathbf{b}\|=\left\| \begin{bmatrix}1 & -2\\ -1 & 2\\ 0 & 3\\ 2 & 5\end{bmatrix}\begin{bmatrix}\frac{4}{3}\\ -\frac{1}{3}\end{bmatrix}-\begin{bmatrix}3\\
1\\ -4\\ 2\end{bmatrix}\right\|=\left\| \begin{bmatrix}-1\\ -3\\ 3\\ -1\end{bmatrix} \right\|= 2\sqrt{5}\]
Ejercicio: Cuál es el error de la solución por mínimos cuadrados del sistema incompatible \[\begin{array}{r} z+y+x=1\\ y+x=3\\ z+x=8\\ z+x=2\end{array}\]
En el ejercicio anterior vimos que la solución por mínimos era:
\[\hat{x}=\begin{bmatrix}7\\-4\\-2\end{bmatrix},\]
luego el error será:
\[\|A\hat{x}-\mathbf{b}\|=\left\|\begin{bmatrix}1 & 1 & 1\\ 1 & 1 & 0\\ 1 & 0 & 1\\ 1 & 0 & 1\end{bmatrix}\begin{bmatrix}7\\-4\\-2\end{bmatrix}-\begin{bmatrix}1\\ 3\\ 8\\ 2\end{bmatrix}\right\|=\left\|\begin{bmatrix}0\\ 0\\ -3\\ 3\end{bmatrix}\right\|=3 \sqrt{2}\]
Bibliografía
Capítulo 6 del libro Álgebra lineal y sus aplicaciones. 4º edición, David C. Lay. Pearson
Ejercicio: Cuál es el error de una solución por mínimos cuadrados del sistema incompatible dado por las matrices \(A\):[[4,0,1],[1,-5,1],[6,1,0],[1,-1,-5]], \(b^t\):[9,0,0,0].
El sistema no tiene solución, debemos encontrar una por mínimos cuadrados: