線性迴歸

進入模型的世界

2018.03.05

杜岳華

Outline

資料之間的關係
Contingency table
Scatter plot（散佈圖）
Least square problem and linear regression
統計觀點
線性代數觀點
最佳化觀點
Multivariate linear regression
更多迴歸模型

統計！然後呢？

我們上次講了統計會關心：

集中趨勢
離散趨勢

統計想要解的問題不僅止於看資料的趨勢！

資料（變數）之間的關係

變數之間的關係

問題：我們好奇左撇子跟右撇子的人數，在男生跟女生中有沒有差別？

隨機變數：

$X$ ：慣用手，{左撇子, 右撇子}
$Y$ ：性別，{男生, 女生}

假設

Independent and identically distributed

Identically distributed
- 樣本是從同一個母體來的
Independent
- 樣本之間互相獨立

假設

$X$ ：慣用手，{左撇子, 右撇子}

X \overset{i i d}{\sim} B e r n o u l l i (p_{1})

$X\ \overset{iid}{\sim}\ Bernoulli(p_1)$

$Y$ ：性別，{男生, 女生}

Y \overset{i i d}{\sim} B e r n o u l l i (p_{2})

$Y\ \overset{iid}{\sim}\ Bernoulli(p_2)$

Raw data

ID	地址	性別	慣用手
001	~~	男生	右撇子
002	~~	男生	左撇子
003	~~	女生	右撇子
...

Contingency table

慣用手\性別	男生	女生	Total
右撇子	43	44	87
左撇子	9	4	13
Total	52	48	100

hypothesis test: $\chi^2\ test$

Joint probability distribution

After normalized...

慣用手\性別	男生	女生	Total
右撇子	0.43	0.44	0.87
左撇子	0.09	0.04	0.13
Total	0.52	0.48	1.00

Joint probability distribution

$P(X=x, Y=y)$

quiz
$P(X={左撇子}, Y={男生}) = ?$

Marginal probability distribution

慣用手\性別	男生	女生	Total
右撇子	----	----	0.87
左撇子	----	----	0.13
Total	0.52	0.48	1.00

Marginal probability distribution

$P(X=x) = \sum_y P(X=x, Y=y)$

$P(Y=y) = \sum_x P(X=x, Y=y)$

Marginal probability distribution

$P(X=右撇子) = 0.87$
$P(X=左撇子) = 0.13$
$P(Y=男生) = 0.52$
$P(Y=女生) = 0.48$

Raw data

ID	地址	身高	體重
001	~~	167	65
002	~~	187	80
003	~~	159	75
...

Scatter plot

變數之間的關係是什麼？

$y = f(x)$

Y = f (X)

$Y = f(X)$

我們看看資料！

線性關係

$Y = f(X) = aX + b$

材料

data: {( $x_1$ , $y_1$ ), ( $x_2$ , $y_2$ ) ...}
$Y = aX + b$

Least square problem

Residuals:
- $ax_i + b - y_i$
Sum of residuals: $\sum_i (\hat{y} - y_i)$
Sum of square:
- $\sum_i (ax_i + b - y_i)^2$

Linear regression

Least square:

$arg\,min_{\theta}\ \sum_i (\hat{y} - y_i)^2$

Linear regression:

a r g m i n_{a, b} \sum_{i} (a x_{i} + b - y_{i})^{2}

$arg\,min_{a,b}\ \sum_i (ax_i + b - y_i)^2$

統計觀點

隱藏假設：Gaussian error

統計觀點

隱藏假設：Constant variance (homoscedasticity）

線性代數

$y = ax + b$

[\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix}] = a [\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{matrix}] + b

$\begin{bmatrix}y_1 \newline y_2 \newline \vdots \newline y_n\end{bmatrix} = a\begin{bmatrix}x_1 \newline x_2 \newline \vdots \newline x_n\end{bmatrix} + b$

線性代數

$\begin{bmatrix} y_1 \newline y_2 \newline \vdots \newline y_n \end{bmatrix} = a \begin{bmatrix} x_1 \newline x_2 \newline \vdots \newline x_n \end{bmatrix} + b \begin{bmatrix}1 \newline 1 \newline \vdots \newline 1 \end{bmatrix}$

線性代數

$\begin{bmatrix} y_1 \newline y_2 \newline \vdots \newline y_n \end{bmatrix} = \begin{bmatrix}a & b\end{bmatrix} \begin{bmatrix} x_1 & 1 \newline x_2 & 1 \newline \vdots & \vdots \newline x_n & 1 \end{bmatrix}$

向量表示：

w = [\begin{matrix} a \\ b \end{matrix}]

$\mathbf{w} = \begin{bmatrix}a \newline b\end{bmatrix}$ ,

y = w^{T} x

$\mathbf{y} = \mathbf{w}^T \mathbf{x}$

線性代數觀點

因為資料有noise，點都不在同一平面上， $\mathbf{y} = \mathbf{w}^T \mathbf{x}$ 沒有解！

那怎麼辦？