Các suy luận thống kê cho hồi quy tuyến tính

Trong bài này, ta xét mô hình tuyến tính

$$ Y =  X \beta + \epsilon, $$

với $\epsilon$ có kì vọng là vector $n$ chiều 0, phương sai $\sigma^2 I_n$ (tức sai số của mỗi quan sát có trung bình bằng 0, phương sai bằng $\sigma^2$ và chúng không tương quan với nhau), $X$ là ma trận thiết kế, $\beta = [\beta_0, \beta_1,\dots, \beta_p]$ là các hệ số. Ta sẽ xem xét một số tính chất thống kê khi ước lượng $\beta$ của mô hình này.

Ở bài hồi quy tuyến tính, ta đã biết rằng khi $X$ có full rank cột thì $\beta$ tối ưu có thể xác định duy nhất bởi

$$\hat{\beta} = (X'X)^{-1}X' Y.$$

Với giả thiết về $\epsilon$ như trên, điều đầu tiên ta có thể biết là $\hat{\beta}$ là "tốt", theo nghĩa sau:

• $\hat{\beta}$ là ước lượng không chệch, tức $E\hat{\beta} = \beta$.
• Định lí Gauss-Markov: $\hat{\beta}$ là ước lượng tuyến tính không chệch có variance nhỏ nhất. 

Ma trận covariance của $\hat{\beta}$ được xác định bởi:

$$\text{cov}(\hat{\beta}) =  \sigma^2 (X'X)^{-1}$$

Nếu giả thiết thêm nữa là $\epsilon$ tuân theo phân bố chuẩn thì ta có 3 loại kiểm định giả thiết: Z-test, t-test và F-test.