Intervalles de fluctuation - Comment faire ?

Intervalles de fluctuation et de confiance


tl;dr:

Les intervalles de fluctuation. On connaît p, on cherche f
Formule:
En 2nde \(f \in [p - \frac{1}{\sqrt{n}}; p + \frac{1}{\sqrt{n}}]\)
En terminale \(f \in [p - 1,96 \sqrt{\frac{p(1 - p)}{n}}; p + 1,96 \sqrt{\frac{p(1 - p)}{n}}]\)  Celui-ci est plus précis

Les intervalles de confiance. On connaît f, on cherche p.
Dans toutes les classes : \(p \in [f - \frac{1}{\sqrt{n}}; f + \frac{1}{\sqrt{n}}]\)

 Pourquoi les intervalles de fluctuation ?

Dans tout cet article on va prendre pour exemple, une expérience simple. On va tenter de déterminer si une pièce est truquée.

Pour savoir si la pièce est truquée, on va la lancer 1000 fois, regarder le nombre de pile qu'on trouve.
C'est techniquement possible de tomber 1000 fois sur pile, en revanche, on a envie de conclure que la pièce est truquée car cela paraît improbable.
Si on tombe 500 fois sur pile, on va dire que la pièce n'est pas truquée, car ce qu'on a trouvé est probable.
Ce qu'on va donc faire, c'est définir l'ensemble des observations probables, et dire que la pièces est truquée quand on observe quelque chose d'improbable.
L'intervalle de fluctuation c'est l'ensemble des issues probables d'une expérience. Pour préciser cela il faut définir ce qu'on appelle probable. Pour cela, on va se fixer un pourcentage acceptable d'erreur, c'est-à-dire qu'on va dire que la pièce est truquée de temps en temps à tort, mais le moins souvent possible, par exemple, moins de 5% du temps.
Pour définir un intervalle de fluctuation, il faut définir 2 choses:
  • X, une variable aléatoire issue d'une loi gaussienne ou autre.
  • \(\epsilon\), le taux d'erreur qu'on est prêt à commettre (généralement 5%). 
Avec un taux d'erreur de 0% on tombe sur l'ensemble des événements possibles qui encore une fois est trop grand, car on ne concluera jamais qu'une pièce est truquée.

Reprenons l'exemple de 1000 lancers de pièces. On va poser X = le nombre de fois qu'on a trouvé pile. Alors l'ensemble des issues possibles de cette expérience est \([0; 1000]\). Mais on se doute bien qu'il est très probable qu'on trouve à peu près 500, par exemple quelque chose entre 450 et 550. Mais quel est le pourcentage de chance de trouver quelque chose entre 450 et 550 ? La réponse est 99,8%, et on obtient cette valeur grâce aux intervalles de fluctuation.

En pratique, on va se fixer un taux d'erreur, 5%, ce qui va nous donner un intervalle de valeur qu'on doit accepter, ici on va accepter que la pièce n'est pas truquée si on observe \(X \in [469; 531]\).

Comment trouve-t-on les formules ?

Au lycée, on va se contenter de regarder X qui suit une loi binomiale, et le taux d'erreur \((\epsilon)\) = 5% mais les intervalles de fluctuation se calculent pour n'importe quel variable aléatoire, et n'importe quel taux d'erreur, et on se contente souvent d'approximations.


D'un point de vue théorique, le programme inversé, car la véritable formule avec la loi binomiale est vue en 1ère, mais elle est peu pratique car elle nécessite l'usage d'un tableau ou d'un programme. En Terminale on voit une formule  qui approxime l'intervalle "parfait" de première, qui utilise le fait que la loi binomiale converge vers la loi normale. Cette convergence est complètement hors programme, mais il est important de rappeler que c'est une approximation.

Enfin, la loi vue en Terminale, est approximée encore en classe de seconde, pour avoir un intervalle de fluctuation très utilisé en pratique car très simple. Si on tire n pièces qui tombent sur pile avec une probabilité p on va observer 95% du temps  \(f \in [p - \frac{1}{\sqrt{n}}; p + \frac{1}{\sqrt{n}}]\).  Cela donne pour 1000 lancers de pièces, \(f \in [0,5 - \frac{1}{\sqrt{1000}}; 0,5 + \frac{1}{\sqrt{1000}}] = [0,468; 0,531]\). Ici f est la fréquence, c'est-à-dire X/n, donc on devrait observer entre 468 et 532 piles. On voit bien ici, que c'est un intervalle  plus large que l'intervalle "parfait", qui est [469; 531].

En pratique, cela suffit car on utilise ces formules avec n très grand, et l'erreur commise est de plus en plus faible.

Et l'intervalle de confiance alors ?

L'intervalle de confiance, c'est l'inverse de l'intervalle de fluctuation. On a fait une expérience, on fait l'hypothèse que l'expérience est issue d'un modèle connu, et on cherche les paramètres de ce modèle dont l'intervalle de fluctuation contient notre observation. 

Il est illusoire de penser que le taux d'erreur d'un intervalle de confiance est maîtrisé. En effet, il existe toujours quand on fait ce genre de calcul, le risque que le modèle soit faux. Ce risque est par définition incalculable.

Pour retrouver la formule proposée au programme, on utilise la formule de l'intervalle de fluctuation de 2nde (par simplicité), et on cherche l'ensemble des p tels que f soit dans l'intervalle de fluctuation lié à p et avec un taux d'erreur \(\epsilon\). Puisque l'intervalle est symétrique et que les bornes ne dépendent pas de p, on obtient \(p \in [f - \frac{1}{\sqrt{n}}; f + \frac{1}{\sqrt{n}}] \).

Approximation des bornes des intervalles 

Les enseignants demandent régulièrement aux élèves d'approximer les intervalles de fluctuation et de confiance, on va choisir un ensemble strictement plus grand que l'ensemble théorique en prenant la valeur approchée par défaut pour la borne inférieure, et la valeur approchée par excès pour la borne supérieure.

C'est-à-dire pour une approximation à \(10^{-3}\):
  • Règle 1 :                \([0,4537; 0,4622]\) devient \([0,453; 0,463]\). 
  • Règle 2 (arrondi): \([0,4537; 0,4622]\) devient \([0,454; 0,462]\).
Quelle est la meilleure règle ?

L'objectif de la règle 1 est de proposer un intervalle de fluctuation au moins plus grand que l'intervalle théorique. Cela veut dire qu'on va conclure que la pièce est truquée à tort, moins que le 5% prévu.

Cela paraît très séduisant d'un point de vue intellectuel, toutefois ce n'est pas du tout raisonnable en pratique.  En effet, cette approche n'est valide que dans le cas où on veut minimiser le risque de conclure, à tort, qu'une pièce est truquée. Si on veut vérifier par exemple qu'une machine fonctionne avec un taux d'erreur acceptable, on va chercher à minimiser le risque de conclure à tort que la machine fonctionne correctement.

Prenons un exemple: On a une machine, on souhaite qu'elle produise, au moins 97% d'objets conformes. On prend 1000 objets et on observe 1000 défauts. De façon logique on va vouloir conclure que la machine a un problème. Si on prend l'intervalle de fluctuation avec p=0,97 à  0% d'erreur, on obtient l'intervalle \([0; 1000]\) et donc va conclure qu'il est possible que la machine fonctionne correctement. Le problème est dans le 0% d'erreur qui est incomplet, il s'agit de 0% d'erreur de dire que la machine est cassée alors qu'elle fonctionne correctement alors que ce qu'on chercherait plutôt à minimiser en pratique c'est le risque de dire que la machine fonctionne correctement alors qu'elle est cassée. 
En utilisant les intervalles de fluctuation classiques, on doit utiliser une règle 3 et prendre un intervalle strictement plus petit que l'intervalle théorique.

  • Règle 2 (arrondi): \([0,4532; 0,4627]\) devient \([0,453; 0,463]\).
  • Règle 3               : \([0,4532; 0,4627]\) devient \([0,454; 0,462]\).

Cela voudrait dire qu'il faudrait exiger des élèves de Terminale, de parfaitement maîtriser le type de risque qu'on cherche à minimiser et de choisir la bonne règle entre la règle 1 et la règle 3. En pratique l'arrondi, commet presque surement une erreur, mais cette erreur est petite, et probablement peu importante face à tous les risques de conclure incorrectement sur ces problèmes de statistiques.
Les formules de 2nde et de Terminale, sont par exemple des approximations de la loi binomiale, et les erreurs commises en utilisant l'une ou l'autre des formules et souvent plus importante que l'arrondi demandé dans un énoncé.

Kwyk a donc choisi d'utiliser la règle 2 dans tous ses exercices. Côté enseignant, nous précisons toujours s'il s'agit de la formule de 2nde ou de la formule de Terminale qui est attendue pour éviter les confusions.

Même les chercheurs commettent régulièrement des erreurs importantes, pour plus d'informations  https://www.youtube.com/watch?v=42QuXLucH3Q (vidéo en anglais).


Conclusion

Il est très difficile d'être parfaitement rigoureux en statistiques : même les chercheurs se trompent... L'objectif au lycée est de sensibiliser les élèves au fait que, même en présence de hasard, il est possible de quantifier ce hasard et de prendre des décisions par rapport à celui-ci. Dans le cadre de sondage, ou d'évaluation d'efficacité de machine par exemple. 
A notre sens, le programme ne mentionne pas assez la sensibilisation aux différents risques de modèles qui sont pourtant très important pour comprendre comment utiliser correctement les intervalles de fluctuation. Evidemment une sensibilisation n'est pas facilement quantifiable dans un examen.

Commentaires