我們今天就來談談一些常見的拓樸。

AI 是什麼？

很多人探討 AI 會追隨前人的探討，去探討什麼是智慧？或是什麼樣的是強人工智慧？

當然我也做過一樣的事情，只是今天我想從比較 技術層面、比較 務實 的角度切入這一大類技術。

從比較技術層面跟務實的角度切入，就表示我想討論的是現今人工智慧的實作層面，也就是 AI 是怎麼被做出來的？（how），並非討論 AI 是什麼？(what)

AI 是什麼？ 這議題會牽涉到什麼是智慧？而智慧這種事情連人類自身都說不清楚，有的人從哲學層面討論智慧，動物有動物的智慧，人類有人類的智慧，憑什麼說人類的『智慧』才稱為智慧？有的人從生物角度切入， 從大腦的結構與神經元的連結，到神經元的觸發，這一系列的科學探索，或許我們未來可以回答智慧是什麼？但目前仍舊是一個大謎團。

我今天要談的都不是這些，我要談的是深度學習的核心，不！是機器學習的核心… 嗯…等等，所以那是什麼？

今天我們來談談 activation function 吧！

前言

在神經網路模型（neural network）及深度學習（deep learning）中，activation function 一直扮演重要的角色。

網路模型中的層的概念基本上是由以下的式子構成：

$$
\sigma(Wx + b)
$$

其中 $Wx$ 的矩陣相乘是大家在線性代數中常見的線性運算（linear operation），$Wx + b$ 嚴格來說是稱為仿射運算（affine operation）。相對應線性空間，仿射運算會構成仿射空間，不過兩者只差一個位移 $b$ 而已，但是大家都把它叫做線性（其實是錯誤的阿阿阿阿阿阿阿阿）。最後就是最外層的 $\sigma$ 了。這就是我們今天要談的 activation function。大家應該知道 activation function 會提供神經網路模型非線性的特性，而在沒有非線性特性前的神經網路長什麼樣子呢？

仿射？線性？

其實是可以將仿射看成線性的。假設

$$
Wx + b = \begin{bmatrix}
w_{11}& w_{12}& \cdots& w_{1n} \\
\vdots& \vdots& \ddots& \vdots \\
w_{m1}& w_{m2}& \cdots& w_{mn} \\
\end{bmatrix}
\begin{bmatrix}
x_{1} \\
\vdots \\
x_{n} \\
\end{bmatrix} + \begin{bmatrix}
b_{1} \\
\vdots \\
b_{m} \\
\end{bmatrix}
$$

然後把 $W$ 跟 $b$ 合併，有點像高中學的增廣矩陣那樣，就變成了：

$$
= \begin{bmatrix}
w_{11}& w_{12}& \cdots& w_{1n}& b_{1} \\
\vdots& \vdots& \ddots& \vdots& \vdots \\
w_{m1}& w_{m2}& \cdots& w_{mn}& b_{m} \\
\end{bmatrix}
\begin{bmatrix}
x_{1} \\
\vdots \\
x_{n} \\
1
\end{bmatrix} = W’x’
$$

這樣就可以把 $b$ 吸收到 $W$ 裡面，整體就變成線性的了。

先談談線性轉換

談 activation function 之前先要談談線性轉換。去除掉 activation function 後的神經網路層只剩下 $Wx + b$ 的部份，而如果講這部份看成線性，我們就可以用線性代數裡的東西來解釋它。

有上到比較後面的線性代數的同學，應該有爬過 SVD 這座高山。基本上，SVD 是一種矩陣分解的技巧，可以適用各式的矩陣（只要是可分解的）。SVD 可以告訴我們一些關於線性運算的特質。

推薦可以看周老師的線代啟示錄 奇異值分解 (SVD)

我們可以知道一個矩陣可以被看成線性轉換，而矩陣這個線性轉換可以被分解成 3 個矩陣：

上一篇介紹完基本的拓樸結構，接下來我們來看基底（basis）的部份。

有上過線性代數的朋友們應該會知道，向量如果滿足線性獨立可以 span 到整個空間，而一個空間有他們的基底。

你可以把向量看成一種數學物件，空間的話就是很多這種數學物件的集合，那相對基底的話就是要擴展成整個空間的基本元素。

拓樸也是一樣的，開集（open set）也是一種數學物件，一個拓樸空間中所包含的元素就是開集，那麼就會很自然的想知道他的基底是什麼？

我們終於來到拓樸學的大門口了！

（謎：前面走那麼多圈是在幹什麼的！

拓樸其實是幾何學的拓展，他往更基礎的方向去，當我們在探討幾何學的時候，其實我們研究的是空間關係。

我們已經遇到一些無限集（infinite set），接下來會討論他的一些特性，然後會自然地討論到選擇公理（axiom of choice）。

Theorem

$A$ 是一個集合，以下的命題等價：

1. $\exists \enspace injective \enspace f: \mathbb{N} \rightarrow A$
2. $B \subset A, \exists \enspace bijective \enspace f: A \rightarrow B$
3. $A$ is infinite

前面有提到正整數可以用來作為有限集的原型，我們會把所有正整數的集合稱為 可數無限集（countably infinite sets）。

接下來我們會來討論幾個常見的概念，像是有限集及無限集、可數集及不可數集。

有限集（finite set）：

Def.

A set A is finite if

$$
\exists f: A \rightarrow \{ 1, …, n \}, f \enspace is \enspace bijective.
$$

這時我們會說 set $A$ 的 cardinality 是 n。

前面我們定義了集合的笛卡爾積，這邊我們來定義一個更廣義的，$\mathcal{A}$ 是一個非空集合（collection of sets）：

Def.

$$
A \enspace indexing \enspace function \enspace is \enspace a \enspace surjective \enspace function \enspace f: J \rightarrow \mathcal{A},
$$

$$
J \enspace is \enspace called \enspace index \enspace set.
$$

$$
The \enspace collection \enspace with \enspace the \enspace indexing \enspace function \enspace f \enspace is \enspace called \enspace indexed \enspace family \enspace of \enspace sets.
$$