Weierstrass逼近定理证明

Weierstrass逼近定理：闭区间上的连续函数可被多项式逼近，使用数学语言叙述如下。

对于在闭区间$[a,b]$上连续的$f(x)$，有

$$\forall \varepsilon > 0, \exists P(x),s.t.||f(x)-P(x)||_{\infty}<\varepsilon$$

其中$||f(x) - P(x)||_{\infty} = \max_{a \leq x \leq b}{|f(x) - P(x)|}$

显然，“$f(x)$可被多项式逼近”与“存在多项式序列一致收敛到$f(x)$”互为充分必要条件，后者叙述如下。

$$\forall \varepsilon > 0, \exists \{P_n(x)\},N,\forall n > N, ||f(x)-P_n(x)||_{\infty}<\varepsilon$$

这里补充一致收敛的定义：

$$f_n(x) \rightrightarrows f(x) \Longleftrightarrow \forall \varepsilon > 0, \exists N \in \mathbb{N}, \forall n > N, ||f(x) - f_n(x)||_{\infty} < \varepsilon$$

下面对Weierstrass逼近定理进行证明。

【引理1】如果函数$f_j(x)(j=1,…,J)$在$[a,b]$上可被多项式逼近，且$c_j\in \mathbb{R}(j=1,…,J)$，则$\sum_{j=1}^{J}{c_jf_j(x)}$在$[a,b]$上可被多项式逼近.

由于$f_j(x)(j=1,…,J)$在$[a,b]$上可被多项式逼近，则有

$$\forall \varepsilon_j > 0,\exists P_j(x), ||f_j(x) - P_j(x)||_{\infty} < \varepsilon_j,j=1,...,J$$

因此对于$\sum_{j=1}^{J}{c_jf_j(x)}$，存在多项式$\sum_{j=1}^{J}{c_jP_j(x)}$，有

$$\begin{aligned} ||\sum_{j=1}^{J}{c_jf_j(x)} - \sum_{j=1}^{J}{c_jP_j(x)}||_{\infty} &= ||\sum_{j=1}^{J}{c_j(f_j(x)-P_j(x))}||_{\infty} \\ &\leq \sum_{j=1}^{J}{c_j||f_j(x)-P_j(x)||_{\infty}} \\ &<\sum_{j=1}^{J}{c_j\varepsilon_j} \end{aligned}$$

Q.E.D.

【引理2】如果函数序列$\{f_n(x)\}$满足$\forall n$，$f_n(x)$在$[a,b]$上可被多项式逼近，并且$f_n(x) \rightrightarrows f(x)$，则$f(x)$在$[a,b]$上可被多项式逼近.

由于$f_n(x) \rightrightarrows f(x)$，则有

$$\forall \varepsilon > 0, \exists N \in \mathbb{N}, \forall n > N, ||f(x)-f_n(x)||_{\infty} < \varepsilon$$

由于$\forall n$，$f_n(x)$在$[a,b]$上可被多项式逼近，因此$\forall n$，对于上述的$\varepsilon$，有

$$\exists P_n(x), ||f_n(x) - P_n(x)||_{\infty}<\varepsilon$$

因此，结合上述两者，有

$$\forall \varepsilon > 0, \exists N \in \mathbb{N}, \forall n > N, ||f(x) - P_n(x)||_{\infty} \leq ||f(x) - f_n(x)||_{\infty} + ||f_n(x) - P_n(x)||_{\infty} < 2\varepsilon$$

Q.E.D.

【引理3】$\forall c \in \mathbb{R}, \exists \{P_n(x)\}, s.t.P_n(x)\rightrightarrows|x-c|$，收敛半径为任意闭区间.

首先需要承认如下两个事实。

事实1：$(1+t)^{\alpha}$通过泰勒公式得到的幂级数展开式为$\sum_{n=0}^{\infty}{\begin{pmatrix}\alpha \\ n\end{pmatrix}t^n}$，其收敛半径为$[-1,1]$

事实2：$f(x)$的幂级数展开式的部分和序列$\{S_n(x)\}$在收敛半径内一致收敛到$f(x)$

基于事实1，可以有如下推导

$$|x|=[1+(x^2-1)]^{\frac{1}{2}}=\sum_{n=0}^{\infty}{\begin{pmatrix}\frac{1}{2} \\ n\end{pmatrix}(x^2-1)^n},-1\leq x\leq 1$$

基于事实2，如果令$\sum_{n=0}^{\infty}{\begin{pmatrix}\frac{1}{2} \\ n\end{pmatrix}(x^2-1)^n}$的部分序列和的序列为$\{S_n(x)\}$，那么应当有$S_n(x)\rightrightarrows |x|$。

根据【引理2】，由于$\{S_n(x)\}$是多项式序列，因此$|x|$在$[-1,1]$上可被多项式逼近，即

$$\forall \varepsilon > 0, \exists N \in \mathbb{N}, \forall n > N, ||f(x) - S_n(x)||_{\infty} < \varepsilon, \\ s.t. \exists P(x) = S_n(x),||f(x) - P(x)||_{\infty} < \varepsilon$$

考虑从$\{S_n(x)\}$中挑选出新的序列$\{Q_n(x)\}$，使得序列$\{Q_n(x)\}$能够满足

$$||Q_n(x)-|x|||_{\infty} < \frac{1}{n^2}$$

这就是说，依次将$\varepsilon$设置为$\frac{1}{1},\frac{1}{4},\frac{1}{9},\frac{1}{16},…$，分别找到能够满足这些$\varepsilon$的$S_n(x)$，组成新的序列$\{Q_n(x)\}$。

由此，构造$P_n(x) = nQ_n(\frac{x-c}{n})$，则有

$$\begin{aligned} ||P_n(x) - |x-c|||_{\infty} &= ||nQ_n(\frac{x-c}{n})-|x-c|||_{\infty} \\ &= n||(Q_n(\frac{x-c}{n})-|\frac{x-c}{n}|)||_{\infty} \\ &< \frac{1}{n} \end{aligned}$$

因此，只要使$\frac{x-c}{n} \in [-1,1]$，即$x \in [c-n,c+n]$这一段区间能够覆盖特定区间$[A,B]$，即$n > \max\{c-A,B-c\}$，就能够保证在任意闭区间$[A,B]$上，有

$$\forall \varepsilon > 0, \exists P(x) = P_{\max\{n, \frac{1}{\varepsilon}\}}(x),||P(x) - |x-c|||_{\infty} < \frac{1}{\max\{n, \frac{1}{\varepsilon}\}} < \varepsilon$$

Q.E.D.

【引理4】$H(x)=\max\{x,0\}$在任意闭区间上可被多项式逼近.

根据【引理2】和【引理3】，$|x|$在任意闭区间上可被多项式逼近。

根据【引理1】，$H(x)=\frac{x+|x|}{2}$在任意闭区间上可被多项式逼近。

Q.E.D.

【引理5】如果$g(x)$在$[a,b]$上连续且分段线性，则$g(x)$可以表示为$g(x)=g(a)+\sum_{i=1}^{n}{c_iH(x-x_{i-1})}$，其中$x \in [a,b], c_i \in \mathbb{R}, i=1,2,…,n$

对于$g(x) \in C[a,b]$，如果存在$[a,b]$的分割$\Delta:a=x_0 < x_1 < … < x_n=b$，使得$g(x)$在$[x_{i-1}, x_{i}],i=1,2,…,n$均为线性函数，称$g(x)$在$[a,b]$上分段线性。

显然。

Q.E.D.

【引理6】对于$f(x) \in C[a,b]$，存在分段线性函数序列$\{P_n(x)\}$使得$P_n(x) \rightrightarrows f(x)$.

这一引理的一个充分条件是

$$\forall \varepsilon > 0, \exists \Delta:a=x_0 < x_1 < ... < x_n=b, \sum_{i=1}^{n}{\omega_i\Delta x_i} < \varepsilon$$

其中$\omega_i = \max_{x_{i-1} < x < x_i}{f(x)} - min_{x_{i-1} < x < x_i}{f(x)}$，$\Delta x_i = x_i - x_{i-1}$。

这一充分条件在数学分析学科的定积分理论中是显然的，但为了保证博客的完整性，这里给出一个简要的证明。

根据Cantor定理（一致连续性定理），$f(x)$在$[a,b]$上连续，则在$[a,b]$上一致连续，即

$$\forall \varepsilon > 0, \exists \delta > 0, \forall x^{\prime}, x^{\prime\prime} \in [a,b]且|x^{\prime} - x^{\prime\prime}| < \delta,则|f(x^{\prime}) - f(x^{\prime\prime})| < \varepsilon$$

不妨设$M_i = \max_{x_{i-1}\leq x\leq x_i}f(x) = f(x_{i}^{\prime}), m_i = \min_{x_{i-1}\leq x\leq x_i}f(x)=f(x_{i}^{\prime\prime})$，于是$\forall \varepsilon > 0, \exists \delta > 0, \forall \Delta:a=x_0 < x_1 < … < x_n = b$满足$\lambda(\Delta) < \delta$，则$\forall x_i^{\prime},x_i^{\prime\prime} \in [x_{i-1},x_i]$，有$|x_i^{\prime}-x_i^{\prime\prime}|<\varepsilon$，从而$M_i - m_i < \varepsilon$。其中$\lambda(\Delta)=\max_{1\leq i\leq n}(x_i - x_{i-1})$。

观察到$\omega_i = M_i - m_i$，于是有

$$\sum_{i=1}^{n}{\omega_i \Delta x_i} = \sum_{i=1}^{n}{(M_i - m_i)\Delta x_i} < \varepsilon \sum_{i=1}^{n}{\Delta x_i} = (b-a)\varepsilon$$

Q.E.D.

【Weierstrass逼近定理】闭区间上的连续函数$f(x)$可被多项式逼近.

根据【引理6】，可以找到$[a,b]$上的一列分段线性函数$\{g_m(x)\}$，使得$g_m(x) \rightrightarrows f(x)$。

根据【引理5】，对于分段线性函数$g_m(x)$，存在$[a,b]$的分割$\Delta_m:a=x_0^{(m)} < x_1^{(m)} < … < x_n^{(m)}=b$，使得

$$g_m(x) = g_m(a) + \sum_{i=1}^{n_m}{c_i^{(m)}H(x-x_{i-1}^{(m)})}$$

根据【引理4】，$H(x-x_{i-1}^{(m)})$在$[a,b]$上可被多项式逼近。

根据【引理1】，$g_m(x)$因此在$[a,b]$上也可被多项式逼近。

根据【引理2】，$f(x)$在$[a,b]$上可被多项式逼近。

Q.E.D.