今天我們來談談 activation function 吧！
先談談線性轉換
談 activation function 之前先要談談線性轉換。
有上到比較後面的線性代數的同學，應該有爬過 SVD 這座高山。
推薦可以看周老師的線代啟示錄 奇異值分解 (SVD)
我們可以知道一個矩陣可以被看成線性轉換，而矩陣這個線性轉換可以被分解成 3 個矩陣：
繼續閱讀Convolution layer
這邊我們回到我們的 convolution layer，如果把以上的一維向量拓展到二維的矩陣資料會長什麼樣子呢？
我們先來看二維的 cross-correlation 長什麼樣子。
繼續閱讀熱身運動都做好了，接下來我們就一路往影像處理上的重要技術 CNN 前進啦！
Convolutional neural network，顧名思義，他是一種神經網路架構，裡頭包含著 convolution 的運算。
那為什麼 convolution 這麼重要，重要到要放在名稱上呢？
繼續閱讀我們來更具體一點講 multi-layer perceptron (MLP)。
最簡單的版本莫過於 linear MLP，不過不太會有人去用他，其實只是每層 layer 的 activation function 都是採用 identity。你可以想像他是有很多的線性轉換所疊起來的模型。
繼續閱讀既然前一篇提到學習特徵是一件重要的事，那麼我們就來講講 autoencoder 吧！
Autoencoder 就是一個 unsupervised 方法，試圖學習出可以用的特徵。雖然不少人可能會說他是一個壓縮的方法或是一個降維的方法，其實他都是。
繼續閱讀機器學習的技術已經發展了非常久的時間，我們有非常多的模型可以幫我們做預測，包含像是 regression、classification、clustering、semi-supervised learning、reinforcement learning。這些都可以幫助我們去做出預測，或是從資料當中去挖掘知識跟資訊。這些模型需要數學與統計作為基礎。
當你使用這些模型之後你會發現，你輸入的資料會大大的影響整個成效，像是你給的特徵不夠好，模型的表現就變得很糟糕，或是模型要預測的資訊根本不在這些資料當中，那麼模型根本就預測不出來，所以玩過機器學習的人就會知道特徵工程的重要性。
繼續閱讀我們前面介紹了線性模型跟基本的神經網路模型。
可能有的人會覺得我怎麼不放神經網路的圖，看數學式子看的很痛苦。
是的，我的確沒打算放圖。一來神經網路的圖在各大網站或是 google 上遍地都是我實在沒有必要再放一張，二來因為這個模型的核心根本不是哪些圖，那些圖只是幫助理解，理解之後就都是看數學式了，再回去看圖就太小兒科了。
神經網路的概念在於將多個模型串接起來，也就是前面提到的堆疊的概念。
繼續閱讀我們把線性模型們都大統一了。
$$
y \overset{f}{\longleftrightarrow} \mathbb{E}[y] \leftrightarrow \eta = \mathbf{w}^T\mathbf{x} + b
$$
接下來就要進入到令人興奮的神經網路模型了！
繼續閱讀