cours-ing1/maths/approximations.tex

\chapter{Approximations}

\section{Introduction}

Le but de ce chapitre est de donner les premières notions de la théorie de
l'approximation permettant d'aborder la résolution de problèmes tels que :
\begin{itemize}
  \item soit $f(x)$ continue sur $[a;b]$, déterminer dans l'espace des polynôme
    de degré $n$ celui rend~: $|f(x)-P_n(x)|$ le plus petit possible~;
  \item déterminer les coefficients $a_k$ qui minimisent la valeur $\int^b_a
    (f(x).\sum^{n^2}_{k=0}a_k.\varphi_k)^2.\omega(x)dx$ où $\omega(x)$ est le
    poid.
  \item Soit $f$ continue et $(n+1)$ points $X_0, X_1, ..., X_n$~:\\
    $\exists? P_n(x)/P_n(X_i)=f(X_i)\quad\forall i=0..n$\\
    $P_n(x)$ est le polynôme d'interpolation de $f(x)$.
\end{itemize}

\section{Approximation dans un espace métrique} % 1.1 pour le prof !!!

$(E,d)$ est un espace métrique~: il existe une distance $d$~:
$$d:E_x E\longmapsto\mathbb{R}_{+}$$
$$(f,\Phi)\longmapsto d(f,\Phi)$$

\begin{enumerate}[(i)]
  \item $d(f,\Phi)=0\Rightarrow f=\Phi$
  \item $d(f,\Phi)=d(\Phi,f)$
  \item $d(f,\Phi)\leq d(f,\psi)+d(\psi,\Phi)\quad\forall f,\Phi,\psi\in E$
\end{enumerate}

\paragraph{Problème} Soit $(E,d)$ un espace métrique~: $F\subset E$ (sous
espace-vectoriel de $E$).

Déterminer $\Phi^{*}\in F/d(f,\Phi^{*})=Min d(f,\Phi)\qquad\Phi\in F$. S'il
existe, cet élément $\Phi^{*}$ sera appelé meilleur approximation (ou  sens de
la distance $d$) de $f\in E$.

\paragraph{Définition} $E$ est un espace vectoriel normé s'il existe une norme
$||f(f)||$, $\forall f\in E$.\\
$d(f,\Phi)=||f-\Phi||$ distance sur $E$.

On suppose que $dim(E)<+\infty$

$$||f-\Phi^*||=Min(||f-\Phi||)\qquad\Phi\in F$$

\section{Approximation uniforme}

Soit $E=\mathcal{C}([a,b]\in\mathbb{R})={f\text{~continue~}
  [a,b]\rightarrow\mathbb{R}}$.\\
$E$ est normée $||f||=Max|f(x)|\quad a\leq x\leq b$

$$d(f,\Phi)=||f-\Phi||=Max|f(x)-\Phi(x)|$$

Soit $\mathbb{C}_n$ un sous espace vectoriel de $E$, de dimension $n$.\\
La meilleur approximation uniforme $\Phi^{*}\in\mathcal{E}_n$ de $f\in E$ est
donc la fonction définie par~:

$$f-\Phi^{*}=Min(Max|f(x)-\Phi(x)|)\qquad\Phi\in\mathcal{E}_n$$

Soit ${\varphi_1,\varphi_2,...,\varphi_n}$ une vase de $\mathcal{E}_n$~:

$$\Phi^{*}=\sum^n_{i=1}a_i^{*}.\varphi_i$$

$$||f-\Phi^*||=Min(Max|f(x)-\Phi(x)|)\qquad\Phi\in\mathcal{E}, a\leq x\leq b$$

\subsection{Polynôme de Chibyshev}

Les polynômes sont définis pour~:

%$${^{T_{n+1}(x)=2x.T(x)-T_{n-1}(x)}_{T(x)=1, T_1(x)=x}$$

$$T_2=2X.T_1(x)-T(x)=2x^2-1$$

$$T_3=2x.T_2(x)-T_1(x)=2x(2x^2-1)-x=4x^3-3x$$

$$T_4(x)=8^4-8x^2+1$$

\paragraph{Propriétés}

\begin{enumerate}[(i)]
  \item $T_n(x)=cos(n.\theta)\qquad -1\leq x\leq 1$ où
    $x=cos(\theta)\Leftrightarrow\theta=cos(x)\qquad 0\leq\theta\leq\pi$
  \item Le coefficient dominant de $T_n(x)$ est $a_n=2^{n-1}$,
    $T_n(x)=2^{n-1}.X^n...$
  \item ${T_0,T_1,T_2,...,T_n}$ est un ensemble de polynômes orthogonaux sur
    $[-1,1]$ relativement à la fonction poids
    $\omega(x)=\frac{1}{\sqrt{1-X^2}}$
    $$<T_n,T_m>=\int^1_{-1}\frac{T_n(x).T_m(x)}{\sqrt{1-X^2}}dx=0\quad\forall
    n\neq m\qquad p\text{p. scalaire}$$
  \item $T_n(x)=+1;-1;+1;-1;...$\\
    Pour $X=1, cos(\frac{\pi}{n}), cos(\frac{2\pi}{n}), cos(\frac{k\pi}{n})$
\end{enumerate}

\paragraph{Théorème} Dans l'ensemble des polynômes de degré $n$ ayant le
coefficient de tête égal à 1, c'est $T_n^*=\frac{T_n}{2^{n-1}}$ qui réalise la
meilleure approximation uniforme de la fonction nulle sur $[-1;1]$.
$$||T_n^*||=max|T_n^*(x)|=\frac{1}{2^{n-1}}\qquad -1\leq x\leq 1$$
$$\mathcal{P}_n={\text{polynôme~:~} X^n+a_{n-1}.X^{n-1}+...+a_0}$$

\paragraph{Démonstration}

On veut montrer que $||T_n^*||=Min||R_n||\quad R_n\in P_n$.

Supposons le contraire~: $\exists R_n\in P_n$ tel que
$||R_n||<||T_n^*||=\frac{1}{2^{n-1}}$, $T_n^*-R_n=P_{n-1}$ polynôme de degré
$\leq n-1$.

$$X_0=1\qquad P_{n-1}(1)=T_n^*(1)-R_n(1)=\frac{1}{2^{n-1}}-R_n(1)>0$$
$$X_1=cos(\frac{\pi}{n})\quad
P_{n-1}(X_1)=T_n^*(X_1)-R_n(X_1)=\frac{-1}{2^{n-1}}-R_n(X_1)<0$$
$$X_2=cos(\frac{2\pi}{n})\quad
P_{n-1}(X_2)=T_n^*(X_2)-R_n(X_2)=\frac{1}{2^{n-1}}-R_n(X_2)>0$$
$$\vdots$$
$$X_n=cos(\pi)=-1\quad
P_{n-1}(X_n)=T_n^*(X_n)-R_n(X_n)=\frac{1}{2^{n-1}}-R_n(X_n)^<_>0$$

Les $(n+1)$ points $X_0=1,...,X_n$ pour lesquels $T_n^*$ prend les valeurs
$\frac{1}{2^{n-1}};\frac{1}{2^{n-1}};...$

Donc $P_{n-1}(x)$ possède au moins $n$ racines dans $[-1,1]$. Ceci n'est pas
possible car le degré $P_{n-1}\leq n-1$.

Donc $||T_n^*||=Min||R_n||\quad R_n\in P_n$.\\

\paragraph{Théorème} Si $P_n\in\mathbb{P}_n={\text{polynôme de degré}\leq n}$
est tel que la fonction erreur $\epsilon_n=f-P_n$ atteint les \emph{valeurs
  extrêmes alternées} $M;-M;M;...$ à $M=||\epsilon_n||$ en \emph{au moins
  $n+2$} points $X_1,X_2,...,X_{n+2}\in[a,b]$ alors $P_n$ est le polynôme qui
réalise la meilleure approximation de $f$ sur $[a,b] (P_n=P_n^*)$

\paragraph{Démonstration} (Par l'absurde)

Supposons $\exists q_n\in\mathbb{P}_n/||f-q_n||<||f-P_n||=||\epsilon_n||=M$,
$Max|f(x)-q_n(x)|<M\Leftrightarrow-M<f(x)-q_n(x)<M\quad a\leq x\leq
b\quad\forall x\in[a,b]$

$$r_n=q_n-p_n\text{degré de~}r_n\leq n$$
$$r_n=f-P_n+q_n-f=\epsilon_n+q_n-f$$

$$r_n(x_1)=\epsilon_n(x_1)+q_n(x_1)-f(x_1)=M+q_n(x_1)-f(x_1)>0$$
$$r_n(x_2)=\epsilon_n(x_2)+q_n(x_2)-f(x_2)=M+q_n(x_2)-f(x_2)<0$$
$$\vdots$$
$$r_n(x_{n+2})=\epsilon_n(x_{n+2})+q_n(x_{n+2})-f(x_{n+2})=M+q_n(x_{n+2})-f(x_{n+2})^>_<0$$

$r_n(x)$ change au moins $(n-1)$ fois de signe dans $[a,b]$ en raison de
l'aternance de $\epsilon_n\Rightarrow r_n$ possède au moins $(n+1)$ racines ce
qui est impossible.

\paragraph{Exercice 1} Polynôme de Chebyshev\\

$$\begin{cases}
    T_{n+1}(x) & =\quad2x.T_n(x)-T_{n-1}(x)\\
    T_0(x) & =\quad 1, T_1(x)=x\\
  \end{cases}$$

\begin{enumerate}
  \item Montrer que $T_n(x)=cos(\theta)\quad|x|\leq 1\quad\theta=arccos(x)$
  \item Montere que le coefficient dominant de $T_n$ est $a_n=2^{n-1}$
  \item Montrer que $T_n(x)=\frac{1}{2}((x+\sqrt{x^2-1})^n+(x-\sqrt{x^2}-1)^n)
    \forall x\in\mathbb{R}$
  \item Montrer que
    $\int^1_{-1}\frac{T_n(x).T_m(x)}{\sqrt{1-x^2}}dx=0\quad\forall n\neq m$
\end{enumerate}

\begin{enumerate}[1.]
  \item Par récurence sur $n$~:
\end{enumerate}
$$\begin{cases}
    n=0 & T_0(x)=cos(0)=1\\
    n=1 & T_1(x)=x=cos(\theta) \\
  \end{cases}$$

\paragraph{Hypothèse} Supposons que $T_k(x)=cos(k\theta)$
$$T_{n+1}(x)=2x.T_n(x)-T_{n-1}(x)=2.cos(\theta).cos(n\theta)-cos(n-1)\theta$$
$$=2.cos(\theta).cos(n\theta)-(cos(n\theta).cos(\theta)+sin(\theta).
sin(n\theta))$$
$$=cos(\theta).cos(n\theta)-sin(\theta).sin(n\theta)=
cos(n+1)\theta$$

\vspace{1em}

\begin{enumerate}[2.]
  \item
\end{enumerate}
$$\begin{cases}
    T_{n+1}(x) & =\quad 2x.T_n(x)-T_{n-1}(x)\\
    T_0(x) & =\quad 1, T_1(x)=x\\
  \end{cases}$$

Supposons que le coefficient dominant de $T_n$ est $a_n=2^{n-1}$

$$T_{n+1}(x)=2x.T(x)-T_{n-1}(x) = 2x.(2^{n-1}.X^n+R_{n-1}(x))-T_{n-1}(x)$$
$$\Rightarrow a_{n+1}=2.2^{n-1}=2^n$$

\vspace{1em}

\begin{enumerate}[3.]
  \item
\end{enumerate}

$$T_{n+1}=2x.T_n-T_{n-1}$$
$$T_{n+1}-2x.T_n+T_{n-1}=0 \text{(équation récurente)(*)}$$

L'équation caractéristique~: $r^2-2xr+1=0$

2 solutions particulières de l'équation (*)~: $r_1^n$ et $r_2^n$.

En effet $r_1^{n+1}-2x.r_1^n+r_1^{n-1}=r_1^{n-1}(r_1^{n-1}-2x.r_1+1)=0$, de
même pour $r_2^n$.

La solution générale de $(*)$ est $T_n=\alpha.r_1^n+\beta.r_2^n$ où $\alpha$ et
$\beta$ sont déterminées par les conditions initiales.

\vspace{1em}

\begin{enumerate}[4.]
  \item
\end{enumerate}

$$T_{n+1}(x)=2\times T_n(x)-T_{n-1}(x)$$

$$T_n(x)=\cos(n.\theta)\qquad\theta=\arccos(x)\Leftrightarrow$$

$$X=\cos(\theta)\Rightarrow dx=-\sin(\theta)d\theta$$

$$\int^1_{-1}\frac{T_n(x)T_m(x)}{\sqrt{1-x^2}}dx=
\int^0_\pi\frac{\cos(n.\theta).\cos(m\theta)}{|\sin(\theta)|}(-\sin(\theta)d\theta)
=\int^\pi_0\cos(n\theta)cos(m\theta)d\theta$$
$$\int^\pi_0\cos(n\theta).\cos(m\theta)d\theta=
\frac{1}{2}\int^\pi_0\left(\cos(n+m)\theta+\cos(n-m)\theta\right)d\theta$$
$$=\frac{1}{2}\left[\frac{\sin(n+m)\theta}{n+m}+\frac{\sin(n-m)
\theta}{n-m}\right]=0$$

\begin{enumerate}[5.]
  \item
\end{enumerate}

$$T_n(x)=0\qquad|x|\leq1$$
$$\Leftrightarrow\cos(n\theta)=0\Leftrightarrow n.\Theta=\frac{\pi}{2}+k\pi
\Leftrightarrow\theta_k=\frac{\pi}{2n}+\frac{k\pi}{n}$$

Les racines de $T_n(x)$ soit~:

$$X_k=\cos(\frac{\pi}{2n}+\frac{k\pi}{n})\qquad k=0,1\quad n=1$$

\paragraph{Exercice 2} Polynôme de Legendre

On considère les polynômes~:

\[
\left\{
  \begin{array}{l l}
    P_0(x) & =1\\
    P_n(x) & =\frac{1}{2^n!}\frac{d^n}{dx^n}((x^2-1)^n)\quad\forall n\geq1\\
  \end{array} \right.
\]

Les polynômes vérifient la relation $P_n(x)=\frac{2n-1}{n}\times P_{n-1}(x)
-\frac{n-1}{n}P_n(x)\quad\forall n\geq2$.

\begin{enumerate}
  \item Montrer que $\int^1_{-1}x^k.P_n(x)dx=0\quad\forall k=0,1,...,n-1$.
  \item En déduire la relation d'orthogonalité~: $\int^{1}_{-1}P_n(x).P_m(x)dx
=0\quad\forall n\neq m$.
  \item Montrer que le coefficient dominant de $P_n(x)$ est~: $a_n=
\frac{(2.n)!}{2^n(n!)^2}$
  \item Montrer que $||P_n||=\sqrt{\frac{2}{2n-1}}$\\
    (Rappel~: $||P_n||=\sqrt{\int^1_{-1}P^2_n(x)dx}$)
\end{enumerate}

\begin{enumerate}[1.]
  \item
\end{enumerate}

$$\frac{1}{2^nn!}\int^1_{-1}x^k\frac{d^n}{dx^n}
\left(\left(x^2-1\right)^n\right)dx
\left\{
  \begin{array}{l l}
    u^1 & =\frac{d^n}{dx^n}\left(\left(x^2-1\right)^n\right)\\
    v & =x^k\\
  \end{array} \right.
$$
$$=\frac{1}{2^nn!}\left(\left[x^k\frac{d^{n-1}}{dx^{n-1}}\left(\left(x^2-1
\right)^n\right)\right]^1_{-1}\right)-k\int^1_{-1}x^{k-1}\frac{d^{n-1}}{dx^{n-1}
}\left(\left(x^2-1\right)^n\right)$$
$$=\frac{-k}{2^nn!}\int^{1}_{-1}x^{k-1}\frac{d^{n-1}}{dx^{n-1}}\left(\left(x^2-1\right)^n\right)dx$$

\subparagraph{Deuxième intégration par partie}

$$I=-\frac{k}{2^nn!}\int^1_{-1}x^{k-1}\frac{d^{n-1}}{dx^{n-1}}\left(\left(x^2-1\right)^n\right)dx$$
$$=-\frac{k}{2^nn!}\left(\left[X^{k-1}\frac{d^{n-2}}{dx^{n-2}}\left(\left(x^2-1\right)^n\right)\right]^1_{-1}
\frac{d^{n-2}}{dx^{n-2}}\left(\left(x^2-1\right)^n\right)dx\right)$$
$$I=\frac{k(k-1)}{2^nn!}\int^1_{-1}x^{k-2}\frac{d^{n-2}}{dx^{n-2}}\left(\left(x^2-1\right)^n\right)dx$$

Après $p$ intégration par parties, on obtient~:

$$I=\frac{(-1)^p.k(k-1)(k-2)...(k-p+1)}{2^nn!}\int^1_{-1}x^{k-p}\frac{d^{n-p}}{dx^{n-p}}\left(\left(x^2-1\right)^n\right)dx$$

Si $p=k$ ($k$ intégrations par partie)~:

$$I=\frac{(-1)^kk!}{2^nn!}\int^1_{-1}\frac{d^{n-k}}{dx^{n-k}}\left(\left(x^2-1\right)^n\right)dx$$
$$=\frac{(-1)^kk!}{2^nn!}\left[\frac{d^{n-k-1}}{dx^{n-k-1}}\left(\left(x^2-1\right)^n\right)\right]^1_{-1}=0$$

\begin{enumerate}[2.]
  \item
\end{enumerate}

$$\int^1_{-1}P_n(x).P_m(x)dx=\sum^n_{k=0}a_k\int^1_{-1}x^k.P_m(x)=^?0\quad\forall n\neq m$$

Supposons que $n<m$ $P_n(x)=\sum^n_{k=0}a_k.x^k$

$$\int^{1}_{-1}P_n(x).P_m(x)dx=\sum^n_{k=0}a_k\int^1_{-1}x^k.P(x)dx=0\quad\text{car }k<m\text{(première partie)}$$

\begin{enumerate}[3.]
  \item
\end{enumerate}

$$P_n(x)=\frac{(2n-1)}{n}x.P_{n-1}(x)-\frac{(n-1)}{n}P_{n-2}(x)\quad\forall n\geq 2$$
$$=n.x.\deg(n)-n.P_{n-2}(x)$$

$a_n$ est le coefficient dominant de $P_n(x)$.

$$a_n=\frac{(2n-1)}{n}a_{n-1}\quad a_{n-1}\text{ est le coefficient dominant de }P_{n-1}$$
$$\left\{
  \begin{array}{l l l}
    a_n & = & \frac{(2n-1)}{n}a_{n-1}\\
    a_{n-1} & = & \frac{(2n-3)}{n-1}a_{n-2}\\
    a_{n-2} & = & \frac{(2n-5)}{n-2}a_{n-3}\\
    \vdots & & \\
    a_2 & = & \frac{3}{2}a_{1}\\
  \end{array} \right.
$$

$$P_1(x)=\frac{1}{2}\frac{d}{dx}\left(x^2-1\right)=\frac{1}{2}\times 2x=x$$
$$P_1(x)=x$$
$$a_1=1$$

$$a_n=\frac{(2n-1)(2n-3)\ldots3.1}{n!}=\frac{(2n)!}{n!.2.4.5\ldots2n}=\frac{(2n)!}{2^n(n!)^2}$$

\begin{enumerate}[4.]
  \item
\end{enumerate}

$$
\left.
  \begin{array}{c l}
    ||P_n|| & = \sqrt{\int^{1}_{-1}P_n^2(x)dx}\\
    P_n(x) & = a_n.x^n+Q_{n-1}(x)\\
  \end{array} \right\}
||P_n||^2=\int^1_{-1}P_n^2(x)dx$$
$$=a_n\int^1_{-1}x^n.P_n(x)+\int^1_{-1}Q_{n-1}(x).P_n(x)dx$$
$$=a_n\int^1_{-1}x^n\frac{1}{2^nn!}\frac{d^n}{dx^n}\left(x^2-1\right)dx$$
$$=\frac{a_n}{2^nn!}\int^1_{-1}x^n\frac{d^n}{dx^n}\left(x^2-1\right)dx$$

En utilisant la première question avec $k=1$~:

$$\int^{1}_{-1}x^n\frac{d^n}{dx^n}\left(\left(x^2-1\right)^n\right)dx=(-1)^nn!
\int^1_{-1}(x-1)^ndx$$
$$||P_n||^2=\frac{a_n}{2nn!}(-1)^nn!\int^1_{-1}(x^2-1)^n dx
=\frac{a_n(-1)^n}{2^n}\int^1_{-1}\left(x^2-1\right)^n dx$$

Soit $I_n=\int^1_{-1}(x^2-1)^ndx$~:

$$\left\{
  \begin{array}{l l l l l}
    v & = & (x^2-1) & \rightarrow & v'=n(x^2-1)^{n-1}2x\\
    n' & = & 1 & \rightarrow & n = x\\
  \end{array} \right.
$$
$$I_n=\left[x(x^2-1)^n\right]^1_{-1}-2n\int^1_{-1}(x^2-1)^{n-1}x^2dx$$
$$=-2n\int^1_{-1}(x^2-1)^{n-1}x^2dx = -2n\int^1_{-1}(x^2-1)^{n-1}(x^2-1+1)dx$$
$$=-2n\int^1_{-1}(x^2-1)^{n}dx-2n\int^1_{-1}(x^2-1)^{n-1}dx$$

$$
  \begin{array}{l l l}
    (2n-1)I_n & = -2nI_{n-1} & \Rightarrow I_n=\frac{-2n}{2n+1}I_{n-1}\\
    & & \Rightarrow I_n=\frac{(-2)^nn!.I_0}{(2n+1)(2n-1)\ldots3}=\frac{(-1)^n.2^{n+1}n!}{(2n+1)!}2^nn!\\
  \end{array}
$$
$$||P_n||^2=\frac{(2n)!(-1)^n}{2^n(n!)^2 2^n}(-1)^n\frac{2^{2n+1}(n!)^2}{(2n+1)}=\frac{2}{2n+1}$$
$$\Rightarrow||P_n||=\sqrt{\frac{2}{2n+1}}$$

\section{Méthode des moindres carrés}

\section{Interpolation}

\subsection{Algo de Lagrange}

\subsection{Algo de Newton}

\section{Dérivation numérique}

\section{Intégration numérique}