Functional

一般我們數學上稱 $f: \mathbb{R} \rightarrow \mathbb{R}$ 為函數 function。

然而，如果一個函數可以接受另一個函數作為他的輸入變數，而輸出是一個純量，$F: S \rightarrow \mathbb{R}$ 泛函 functional，其中 $S$ 是一個向量空間，函數是一種廣義的向量。

在最佳化理論或是機器學習當中最常遇到的就是損失函數 $\mathcal{L}$，他其實是一個泛函。

$$
\mathcal{L}[f] = \frac{1}{N} \sum_{i=1}^{N} (y_i - f(x_i))^2
$$

當我們有不同的資料，需要計算這些資料的 mean square error 的時候就會寫成像上面這個樣子。

$$
\mathcal{L}[f] = \lim_{n \rightarrow \infty} \int_b^a |f(x) - \sum_{i=1}^N a_i f_i(x)|^2 dx
$$

如果我們處理的不是資料，而是一段連續的空間，那我們就可以用以上這個連續的版本。

ex.

consider $X, Y \in V$