5. ESTIMATEURS DE VRAISEMBLANCE




COURS DE STATISTIQUES


1. Echantillons
2. Moyennes
2.1. Moyenne arithmétique
2.2. Médiane
2.3. Moyenne quadratique
2.4. Moyenne harmonique
2.5. Moyenne géométrique
2.6. Moyenne mobile/glissante
2.7. Moyenne pondérée
2.8. Moyenne fonctionnelle
2.9 Propriétés des moyennes
3. Types de variables
3.1. Variables discrètes
3.1.2. Espérance discrète
3.1.3. Variance discrète
3.1.4. Variable centrée réduite
3.1.5. Covariance discrète
3.1.6. Coefficient de corrélation
3.2. Variables continues
3.2.1. Densité de probabilité
3.2.2. Espérance continue
3.2.3. Variance continue
4. Fonctions de distributions
4.1. Fonction discrète uniforme
4.2. Fonction de Bernoulli
4.3. Fonction Géométrique
4.4. Fonction Binomiale
4.5. Fonction hypergéométrique
4.6. Fonction multinomiale
4.7. Fonction de Poisson
4.8. Fonction de Gauss-Laplace/Loi Normale
4.8.1. Somme de deux variables aléatoires normales
4.8.2. Produit de deux variables aléatoires normales
4.8.3. Loi Normale Centré Réduite
4.8.4. Droite de Henry
4.9. Fonction Log-Normale
4.10. Fonction uniforme continue
4.11. Fonction triangulaire
4.12. Fonction de Pareto
4.13. Fonction exponentielle
4.14. Fonction de Cauchy
4.15. Fonction bêta
4.16. Fonction gamma
4.17. Fonction de khi-deux
4.18. Fonction de Student
4.19. Fonction de Fisher-Snedecor
4.20. Fonction de Benford
5. Estimateurs de vraisemblance
5.1. Estimateurs de la loi Normale
5.2. Estimateur de la loi de Poisson
5.3. Estimateur de la loi de Binomiale
5.4. Estimateurs de la loi de Weibull
6. Intervalles de confiance
6.1.1. I.C. sur la moyenne avec avec variance théorique connue
6.2.2. I.C. sur la variance avec avec moyenne théorique connue
6.3.3. I.C. sur la variance avec avec moyenne empirique connue
6.4.4. I.C. sur la moyenne avec avec moyenne empirique connue
7. Loi faible des grands nombres
7.1.1. Inégalité de Markov
7.2.2. Inégalité de Bienaymé-Tchebychev
8. Fonction caractéristique
9. Théorème central limite
10. Tests d'adéquations (tests d'hypothèses)
10.1. Analyse de la variance (ANOVA à un facteur)
10.2. Test d'ajustement du khi-deux
11. Calculs d'erreurs
11.1. Incertitudes relatives et absolues
11.2. Erreurs statistiques
11.3. Propagation des erreurs
11.4. Chiffres significatifs

Ce qui va suivre est d'une extrême importance en statistiques et est utilisé énormément en pratique. Il convient donc d'y accorder une attention toute particulière!

Nous supposons que nous disposons d'observations equation qui sont des réalisations de variables aléatoires non biaisées (dans le sens qu'elles sont choisies aléatoirement parmi un lot) indépendantes equation de loi de probabilité inconnue mais identique.

Nous allons chercher à estimer cette loi de probabilité P inconnue à partir des observations equation.

Supposons que nous procédons par tâtonnement pour estimer la loi de probabilité P inconnue. Une manière de procéder est de se demander si les observations equation avaient une probabilité élevée ou non de sortir avec cette loi de probabilité arbitraire P

Nous devons pour cela calculer la probabilité conjointe qu'avaient les observations equation de sortir avec equation. Cette probabilité vaut (cf. chapitre de Probabilités):

equation   (7.1)

en notant P la loi de probabilité supposée associée à equation. Il faut avouer qu'il serait alors particulièrement maladroit de choisir une loi de probabilité (avec ses paramètres!) qui minimise cette quantité...

Au contraire, nous allons chercher la probabilité equation qui maximise equation, c'est-à-dire qui rende les observations equation le plus vraisemblable possible.

Nous sommes donc amené à chercher le (ou les) paramètre(s) equation qui maximise(nt) la quantité :

equation   (7.2)

Cette quantité L porte le nom de "vraisemblance". C'est une fonction du ou des paramètres equation et des observations equation.

La ou les valeurs du paramètre equation qui maximisent la vraisemblance equation sont appelées "estimateurs du maximum de vraisemblance" (estimateur MV).

Faisons quand même trois petits exemples (très classiques, utiles et importants dans l'industrie) avec dans l'ordre d'importance (donc pas forcément dans l'ordre de facilité...) la fonction de distribution de Gauss-Laplace (Normale), la fonction de distribution de Poisson et finalement Binomiale.

Remarque: Ces trois exemples sont importants car utilisés dans les SPC (maîtrise statistiques de processus) dans différentes multinationales à travers le monde (cf. chapitre de Génie Industriel).

5.1. ESTIMATEURS DE LA LOI NORMALE

Soit equation un n-échantillon de variables aléatoires identiquement distribuées supposées suivre une loi de Gauss-Laplace (loi Normale) de paramètres equation et equation .

Nous recherchons quelles sont les valeurs des estimateurs de maximum de vraisemblance equation qui maximisent la vraisemblance equation de la loi Normale ?

Remarque: Il va de soit que les estimateurs de maximum de vraisemblance equation sont ici :

equation   (7.3)

Nous avons démontré plus haut que la densité d'une variable aléatoire gaussienne était donnée par :

equation   (7.4)

La vraisemblance est alors donnée par:

equation   (7.5)

Maximiser une fonction ou maximiser son logarithme est équivalent donc la "log-vraisemblance" sera:

equation   (7.6)

Pour déterminer les deux estimateurs de la loi Normale, fixons d'abord l'écart-type. Pour cela, dérivons  equation par rapport à equation et regardons pour quelle valeur de la moyenne la fonction s'annule.

Il nous reste après simplification le terme suivant qui est égal à zéro:

equation   (7.7)

Ainsi, l'estimateur de maximum de vraisemblance de la moyenne (espérance) de la loi Normale est donc après réarrangement:

equation   (7.8)

et nous voyons qu'il s'agit simplement de la moyenne arithmétique (ou appelée aussi "moyenne empirique").

Fixons maintenant la moyenne. L'annulation de la dérivée de equation en equation conduit à :

equation   (7.9)

Ce qui nous permet d'écrire l'estimateur de maximum de vraisemblance pour l'écart-type (la variance lorsque la moyenne est connue selon la loi de distribution supposée elle aussi connue!):

equation   (7.10)

Cependant, nous n'avons pas encore défini ce qu'était un bon estimateur ! Ce que nous entendons par là:

- Si l'espérance d'un estimateur est égale à elle-même, nous disons que cet estimateur est "sans biais" et c'est bien évidemment ce que nous cherchons!

- Si l'espérance d'un estimateur n'est pas égale à elle-même, nous disons alors que cet estimateur est "biaisé" et c'est forcément moins bien...

Dans l'exemple précédent, la moyenne est donc non biaisée (trivial car la moyenne de la moyenne arithmétique est égale à elle même). Mais qu'en est-il de la variance (in extenso de l'écart-type) ?

Un petit calcul simple par linéarité de l'espérance (puisque les variables aléatoires sont identiquement distribuées) va nous donner la réponse dans le cas où la moyenne théorique est approchée comme dans la pratique (industrie) par l'estimateur de la moyenne (cas le plus fréquent).

Nous avons donc le calcul de l'espérance de la "variance empirique":

equation   (7.11)

Or, comme les variables sont équidistribuées:

equation   (7.12)

Et nous avons (formule de Huyghens):

equation    (7.13)

ainsi que :

equation   (7.14)

où la deuxième relation ne peut s'écrire que parce que nous utilisons l'estimateur de maximum de vraisemblance de la moyenne (moyenne empirique). D'où:

equation   (7.15)

et comme:

equation et equation   (7.16)

Nous avons finalement:

equation   (7.17)

nous avons donc un biais de -1 fois l'erreur-standard:

equation   (7.18)

Nous noterons également que l'estimateur tend vers un estimateur sans biais (E.S.B.) lorsque le nombre d'échantillons tend vers l'infini equation. Nous disons alors que nous avons un "estimateur asymptotiquement non biaisé".

Remarque: Un estimateur est aussi dit "estimateur consistant" s'il converge en probabilité, lorsque equation, vers la vraie valeur du paramètre.

De par les propriétés de l'espérance, nous avons alors:

equation   (7.19)

il vient alors:

equation   (7.20)

Nous avons donc finalement deux résultats importants:

1. L'estimateur de maximum de vraisemblance biaisé ou appelé également "variance empirique" ou encore "variance échantillonnale" et donc donné par:

equation  (7.21)

lorsque equation.

2. Et donc "l'estimateur de maximum vraisemblance non biaisé":

equation   (7.22)

deux relations que nous retrouvons souvent dans les tables et dans de nombreux logiciels et que nous utiliserons plus bas dans les développements des intervalles de confiance et des tests d'hypothèses!

Par exemple, dans MS Excel l'estimateur biaisé est donné par la fonction ECARTYPEP( ) et le non biaisé par ECARTTYPE( ).

Au total, cela nous fait donc trois estimateurs pour la même quantité!! Comme dans l'écrasante majorité des cas de l'industrie la moyenne théorique n'est pas connue, nous utilisons le plus souvent les deux dernières relations encadrées ci-dessus. Maintenant, c'est la que c'est le plus vicieux : lorsque nous calculons le biais des deux estimateurs, le premier est biaisé, le second ne l'est pas. Donc nous aurions tendance à utiliser que le second. Que nenni! Car nous pourrions aussi parler de la variance et de la précision d'un estimateur, qui sont aussi des critères importants pour juger de la qualité d'un estimateur par rapport à un autre. Si nous faisions le calcul de la variance des deux estimateurs, alors le premier, qui est biaisé, a une variance plus petite que le second qui est sans biais! Tout ça pour dire que le critère du biais n'est pas (et de loin) le seul à étudier pour juger de la qualité d'un estimateur.

Enfin, il est important de se rappeler que le facteur -1 du dénominateur de l'estimateur de maximum de vraisemblance non biaisé provient du fait qu'il fallait corriger l'espérance de l'estimateur biaisé à la base minoré de une fois l'erreur-standard!

In extenso, ils est possible de démontrer (mais c'est long) que si la variable aléatoire suivant une loi normale dont nous cherchons l'expression de l'estimateur non biaisé est la somme de k variables aléatoires linéairement indépendantes alors nous avons:

equation   (7.23)

5.2. ESTIMATEUR DE LA LOI DE POISSON

En utilisant la même méthode que pour la loi Normale (Gauss-Laplace), nous allons donc rechercher l'estimateur de maximum de vraisemblance la loi de Poisson qui rappelons-le, est définie par :

equation   (7.24)

Dès lors, la vraisemblance est donnée par :

equation   (7.25)

Maximiser une fonction ou maximiser son logarithme est équivalent donc:

equation   (7.26)

Nous cherchons maintenant à la maximiser :

equation   (7.27)

et obtenons donc son unique estimateur de maximum de vraisemblance qui sera :

equation   (7.28)

Il est tout à fait normal de retrouver dans cet exemple didactique la moyenne empirique, car c'est le meilleur estimateur possible pour le paramètre de la loi de Poisson (qui représente aussi l'espérance d'une loi de Poisson).

Sachant que l'écart type de la distribution particulière (voir plus haut) n'est que la racine carrée de la moyenne, nous avons alors pour l'écart-type de maximum de vraisemblance biaisé:

equation   (7.29)

Remarque: Nous montrons de la même manière des résultats identiques pour la loi exponentielle très utilisée en maintenance préventive et fiabilité!

5.3. ESTIMATEUR DE LA LOI BINOMIALE

En utilisant la même méthode que pour la loi Normale (Gauss-Laplace) et la loi de Poisson, nous allons donc rechercher l'estimateur de maximum de vraisemblance la loi Binomiale qui rappelons-le, est définie par :

equation   (7.30)

Dès lors, la vraisemblance est donnée par :

equation   (7.31)

Il convient de se rappeler que le facteur qui suit le terme combinatoire exprime déjà les variables successives selon ce que nous avons vu lors de notre étude de la fonction de distribution de Bernoulli et de la fonction bin0miale.

Maximiser une fonction ou maximiser son logarithme est équivalent donc:

equation   (7.32)

Nous cherchons maintenant à la maximiser :

equation   (7.33)

Ce qui donne :

equation   (7.34)

d'où nous tirons l'estimateur de maximum de vraisemblance biaisé qui sera :

equation   (7.35)

Ce résultat est assez intuitif si l'on considère l'exemple classique d'une pièce de monnaie qui à une chance sur deux de tomber sur une des ces faces. La probabilité p étant le nombre de fois k où une face donnée a été observée sur le nombre d'essais total (toutes faces confondues).

Remarque: Dans la pratique, il n'est pas aussi simple d'appliquer ces estimateurs! Il faut bien réfléchir lesquels sont les plus adaptés à une expérience donnée et idéalement calculer également l'erreur quadratique moyenne (erreur standard) de chacun des estimateurs de la moyenne (comme nous l'avons déjà fait pour la moyenne empirique plus tôt). Bref c'est un long travail de réflexion.

5.4. ESTIMATEUR DE LA LOI WEIBULL

Nous avons vu dans le chapitre de Génie Industriel une étude très détaillée de la loi de Weibull à trois paramètres avec son écart-type et son espérance car nous avions précisée qu'elle était assez utilisée dans le domaine de l'ingénierie de la fiabilité.

Malheureusement les trois paramètres de cette loi  nous sont en pratique inconnus. A l'aide des estimateurs nous pouvons cependant déterminer l'expression de deux des trois en supposant equation comme étant nul. Cela nous donne donc la loi de Weibull dite "à deux paramètres" suivante:

equation   (7.36)

avec pour rappel equation et equation.

Dès lors la vraisemblance est donnée par:

equation   (7.37)

Maximiser une fonction ou maximiser son logarithme est équivalent donc:

equation   (7.38)

Cherchons maintenant à maximiser cela en se rappelant que (cf. chapitre de Calcul Différentiel et Intégral):

equation et equation   (7.39)

d'où:

equation   (7.40)

Et nous avons pour le deuxième paramètre:

equation   (7.41)

d'où:

equation   (7.42)

Finalement avec les écritures correctes (et dans l'ordre de résolution dans la pratique):

equation et equation   (7.43)  

La résolution de ces équations implique de lourds calculs et on peut rien en tirer dans les tableaux classiques comme MS Excel ou Calc de Open Office.

On prend alors une approche différente en écrivant notre loi de Weibull à deux paramètres ainsi:

equation   (7.44)

avec pour rappel equation et equation.

Dès lors la vraisemblance est donnée par:

equation   (7.45)

Maximiser une fonction ou maximiser son logarithme est équivalent donc:

equation   (7.46)

Cherchons maintenant à maximiser cela en se rappelant que (cf. chapitre de Calcul Différentiel et Intégral):

equation et equation   (7.47)

d'où:

equation   (7.48)

Et nous avons pour le deuxième paramètre:

equation   (7.49)

Il est alors immédiat que:

equation   (7.50)

injecté dans la relation:

equation   (7.51)

Il vient:

equation   (7.52)

en simplifiant:

equation   (7.53)

La résolution des deux équations (dans l'ordre de haut en bas):

equation   (7.54)

peut très facilement être calculé avec l'outil Valeur Cible de MS Excel ou Calc de Open Office.


page suivante : 6. Intervalles de confiance