Loi des grands nombres

PropriétéInégalité de Bienaymé-Tchebychev

Soit 

X

 une variable aléatoire définie sur un univers fini 

\Omega

.
Alors, pour tout réel 

\delta

 strictement positif, on a

P(|X-E(X)|\geqslant \delta)\leqslant \dfrac{V(X)}{\delta ^2}

.

Remarque

Cette inégalité illustre le fait que la variance permet de mesurer l'écart d'une variable aléatoire par rapport à son espérance.

Exemple 1

Soit 

X

 une variable aléatoire d'espérance 10 et de variance 1.
D'après l'inégalité de Bienaymé-Tchebychev, on a

P(|X-10|\geqslant 4) \leqslant \dfrac{1}{4^2}

(en prenant \(\delta=4\)), ce qui peut également s'écrire 

P(X \not\in ]6;14[)\leqslant \dfrac{1}{16}

. 
En passant au complémentaire, on a alors 

P(X \in ]6;14[) \geqslant \dfrac{15}{16}

.

Exemple 2

On lance 180 fois un dé équilibré à 6 faces, numérotées de 1 à 6.
On appelle 

X

la variable aléatoire qui compte le nombre de 1 obtenus.

X

suit une loi binomiale de paramètres 

n=180

et

p=\dfrac{1}{6}

.
Ainsi, 

E(X)=180 \times \dfrac{1}{6}=30

et

V(X)=180 \times \dfrac{1}{6} \times \left(1-\dfrac{1}{6}\right)=25

.

L'espérance s'interprète comme une moyenne si l'on répète un grand nombre de fois une expérience aléatoire. Ainsi, si on lance 180 fois un dé, on s'attend en moyenne àobtenir30 fois le numéro 1.

Seulement, tout ceci n'est qu'une moyenne, et il est rare de tomber exactement 30 fois sur la face numéro 6. Ce que l'on peut affirmer toutefois, c'est qu'il y a une grande probabilité que le nombre de fois que nous obtenons ce numéro 1 soit proche de 30, et l'inégalité de Bienaymé-Tchebychev peut nous fournir une minoration de cette probabilité.

On souhaite par exemple minorer la probabilité que 

X

soit compris entre 21 et 39. 
Or, 

X\in[21;39] \Leftrightarrow X\in [30-9;30+9]\Leftrightarrow|X-30|\leqslant 9

.
Puisque la variable aléatoire 

X

 prend uniquement des valeurs entières, ceci est équivalent à 

|X-30|<10

.

D'après l'inégalité de Bienaymé-Tchebychev, on a 

P( |X-E(X)| \geqslant 10) \leqslant \dfrac{V(X)}{10^2} =\dfrac{25}{100}=\dfrac{1}{4}

.
Ainsi, puisque 

P( |X-E(X)| <10)+P( |X-E(X)|\geqslant 10)=1

, on a que 

P( |X-E(X)| < 10)=1-P( |X-E(X)| \geqslant 10)

  et donc 

P( |X-E(X)| < 10) \geqslant \dfrac{3}{4}

.

Si l'on lance 180 dés, la probabilité d'obtenir entre 21 et 39 fois le numéro1 est supérieure à 0,75.

Remarque

Cette borne n'est pas optimale. En l'occurrence, en réalisant les calculs avec un tableau par exemple, on s'aperçoit que

P( |X-E(X)| < 10) \simeq 0,9434

.

Inégalité de concentration

PropriétéInégalité de concentration

Soit

(X_1,\ldots,X_n)

un échantillon de 

n

variables aléatoires indépendantes et 

M_n

la variable aléatoire moyenne de cette échantillon.
Alors, pour tout réel 

\delta

strictement positif, 

P(|M_n-E(X_1)|\geqslant \delta ) \leqslant \dfrac{V(X_1)}{n\delta^2}

.

Démonstration

On applique l'inégalité de Bienaymé-Tchebychev à la variable aléatoire 

M_n

.
Pour tout réel strictement positif 

\delta

, on a alors 

P(|M(_n)-E(M_n)|\geqslant \delta) \leqslant \dfrac{V(M_n)}{\delta ^2}

.
Or, 

E(M_n)=E(X_1)

et

V(M_n)=\dfrac{V(X_1)}{n}

.
On a donc bien

P(|M_n-E(X_1)|\geqslant \delta ) \leqslant \dfrac{V(X_1)}{n\delta^2}

Exemple

Soit 

X

une variable aléatoire d'espérance 3 et de variance 100.
Soit

n

 un entier naturel non nul.
On considère un échantillon

(X_1, \ldots, X_{n})

 de variables aléatoires indépendantes de même loi que 

X

et on note

M_{n} = \dfrac{1}{n} (X_1+X_2+\ldots + X_{n})

.
Pour tout réel 

\delta

strictement positif, on a alors 

P(|M_n-E(X_1)|\geqslant \delta ) \leqslant \dfrac{V(X_1)}{n\delta ^2}

.
C'est-à-dire, 

P(|M_n-3|\geqslant \delta ) \leqslant \dfrac{100}{n\delta ^2}

.
En particulier, pour

n=100\,000

et \(\delta=0,1\), on a 

P(|M_n-3|\geqslant 0,1 ) \leqslant \dfrac{100}{100\,000\times 0,1^2}

 c'est-à-dire 

P(|M_n-3|\geqslant 0,1 ) \leqslant 0,1

.
En passant par le complémentaire, on obtient : 

P(|M_n-3| < 0,1 ) = 1 - P(|M_n-3|\geqslant 0,1 ) \geqslant 0,9

.

Bien que la variable aléatoire 

X

ait une grande variance, si l'on répète un grand nombre de fois l'expérience aléatoire, la moyenne des résultats est très proche de l'espérance de 

X

: avec une probabilité supérieure à 0,9, la moyenne se situe entre 2,9 et 3,1.

Loi faible des grands nombres

ThéorèmeLoi faible des grands nombres

Soit

(X_1,...,X_n)

un échantillon de 

n

variables aléatoires indépendantes et 

M_n

la variable aléatoire moyenne de cet échantillon.
Pour tout réel 

\delta

strictement positif, on a 

\displaystyle \lim_{n \to + \infty} P(|M_n-E(X_1)|\geqslant \delta )=0

.

Démonstration

On applique l'inégalité de concentration à cet échantillon : 

P(|M_n-E(X_1)|\geqslant \delta ) \leqslant \dfrac{V(X_1)}{n\delta^2}

.
Or,

\displaystyle \lim _{n \to + \infty} \dfrac{V(X_1)}{n\delta^2}=0

. De plus,

P(|M_n-E(X_1)|\geqslant \delta ) \geqslant 0

.D'après le théorème des gendarmes, on a donc

\displaystyle \lim_{n \to + \infty} P(|M_n-E(X_1)|\geqslant \delta )=0

.