$
\Omega \subset \mathbb{R}^2, f: \Omega \rightarrow \mathbb{R}^2
$
$$
f(x, y) = (u(x, y), v(x, y))
$$
$$
J(x, y) =
\begin{bmatrix}
\frac{\partial u}{\partial x}& \frac{\partial u}{\partial y} \\
\frac{\partial v}{\partial x}& \frac{\partial v}{\partial y}
\end{bmatrix}
$$
$
(x, y) \in \Omega, J(x, y) = s(x, y)R(x, y)
$
$s$ is a non-zero scalar.
$R$ is a $2 \times 2$ rotation matrix.
$\mathcal{prop.}$
- $f: \Omega \rightarrow \mathbb{R}^2 \text{ and } g: f(\Omega) \rightarrow \mathbb{R}^2$ are conformal map, then $g \circ f$ is conformal map
- $f: \Omega \rightarrow \mathbb{R}^2$ is conformal map, $f^{-1}$ is conformal map
一般我們數學上稱 $f: \mathbb{R} \rightarrow \mathbb{R}$ 為函數 function。
然而,如果一個函數可以接受另一個函數作為他的輸入變數,而輸出是一個純量,$F: S \rightarrow \mathbb{R}$ 泛函 functional,其中 $S$ 是一個向量空間,函數是一種廣義的向量。
在最佳化理論或是機器學習當中最常遇到的就是損失函數 $\mathcal{L}$,他其實是一個泛函。
$$
\mathcal{L}[f] = \frac{1}{N} \sum_{i=1}^{N} (y_i - f(x_i))^2
$$
當我們有不同的資料,需要計算這些資料的 mean square error 的時候就會寫成像上面這個樣子。
$$
\mathcal{L}[f] = \lim_{n \rightarrow \infty} \int_b^a |f(x) - \sum_{i=1}^N a_i f_i(x)|^2 dx
$$
如果我們處理的不是資料,而是一段連續的空間,那我們就可以用以上這個連續的版本。
ex.
consider $X, Y \in V$
- $g: X \rightarrow \mathbb{R}$ is functional
- $g: X \rightarrow \mathbb{R}^n$ is functional
- $g: X \rightarrow Y$ is operator
Clustering | Embedding | |
---|---|---|
Target space | discrete | continuous |
Target dimension | $d$ | $\mathbb{R}^d$ |
Transformed result can be | composable | correlated |
Assumption | globally static context (dataset) | globally dynamic context (dataset) |
在 autoencoder 的模型裏面,會希望以一個 unsupervised 方法來做到特徵萃取的目的。
你也可以說他是一種降維的方法或是有損壓縮的方法。
基本上就是透過一個線性轉換將原來的特徵,映射到比較低維度的特徵空間上。
繼續閱讀原本是算到今天就會發完 30 天的文章了,不過系統似乎把第一天跟第二天的文章判定是第一天的了。
我記得我最早參加鐵人賽的時候,一次接受兩個挑戰,分別寫了 Julia 語言以及基礎的機器學習。
這次的系列文章是在基礎之上,讓大家得以理解不同模型之間的來龍去脈以及變化性,這樣才有辦法更進一步進展到深度學習的領域。
完成這次鐵人賽的意義在於讓大家理解模型的來龍去脈,以及為什麼要用什麼樣的數學元件去兜一個模型。
當你遇到問題的時候,不可能會有一個 ready-to-use 的模型等在那邊給你用,對於人工智慧的技術應用,你必須要為自己所面對的問題和狀況自己去量身訂作自己的模型。
是的!你沒看錯,必須要由領域專家去理解自己要的是什麼,然後自己做出專門給這個情境的模型。
當你的情境非常特殊的時候,讓深度學習專家來深入其他知識領域是非常花時間的。如果以領域專家及深度學習專家之間以合作模式進行,那將會花費更高的成本在溝通上,因為人工智慧的技術應用需要對特定領域非常敏感。我個人認為只有領域專家繼續鑽研成為深度學習專家才有辦法徹底解決特定領域的問題。當然這條路非常的漫長,等於是需要一個特定領域的博士,以及深度學習的博士的等級。這些問題,只有當領域專家自己 理解 之後,不是只有 解決 問題,才能夠算是真正的 解決 了。
這系列文獻給擁有機器學習基礎,想繼續晉升到深度學習領域的朋友們。
感謝大家的支持!