OLS的理论推导

基于线性代数的一些基本知识，现对OLS进行推导

1.1 一元函数的最小二乘法

我们假设：现有一组相对应的数据$X_i、Y_i$
我们想建立Y对X的线性回归方程：$$y_i=kx_i+b+u_i$$
其中，$k,b$是方程的系数，$u_i$是对应的残差
令残差平方和为L：$$L=\sum_{i=1}^{n(y_i-kx_i-b)}2$$
我们总希望方程的拟合程度最好。用数据表征，即我们希望求得一组最佳估计值$\hat{k},\hat{b}$，使得残差平方和L达到最小：
即求出：$$\hat{k},\hat{b}=arg\min_{k,b}\sum{\hat{u}_i^{2}=arg\min_{k,b}\sum_{i=1}}n{(y_i-kx_i-b)^2}$$
用矩阵的写法来表示L：

$$L=[y_1-kx_1-b,y_2-kx_2-b,\cdots,y_n-kx_n-b]\begin{bmatrix}y_1-kx_1-b\\y_2-kx_2-b\\\vdots\\y_n-kx_n-b\end{bmatrix}$$

那么，令矩阵：$$Y=\begin{bmatrix}y_1\y_2\\vdots\y_n\end{bmatrix},X=\begin{bmatrix}1&x_1\1&x_2\\vdots&\vdots\1&x_n\end{bmatrix},\beta=\begin{bmatrix}b\k\end{bmatrix}$$
则能推导出：$$X\beta=\begin{bmatrix}b+kx_1\b+kx_2\\vdots\b+kx_n\end{bmatrix},Y-X\beta=\begin{bmatrix}y_1-kx_1-b\y_2-kx_2-b\\vdots\y_n-kx_n-b\end{bmatrix}$$
不难发现：$$\begin{aligned}
\text{L}& =(Y-X\beta)^T(Y-X\beta) \
&=(Y^T-\betaTX^T)(Y-X\beta) \
&=Y^TY-YTX\beta-\beta^TXTY+\beta^TXTX\beta
\end{aligned}$$
则：$$\hat{\beta}=\begin{bmatrix}\hat{b}\\hat{k}\end{bmatrix}=arg\min_{\beta}(Y^TY-YTX\beta-\beta^TXTY+\beta^TXTX\beta)$$

$$\frac{\partial L}{\partial\beta}=-\left.X^TY-X^TY+2X^TX\beta=0\right.\Rightarrow\left.X^TX\beta\right.=\left.X^TY\right.$$

所以解得：$$\widehat{\beta}=(X^TX){-1}X^TY$$
这样，我们就完成了对$\hat{k},\hat{b}$的估计。