Comparaison entre les estimations de 20h et les résultats réels du vote

Dimanche soir à 20h, la France attendait fébrilement les résultats du premier tour de l’élection présidentielle. Or, à 20h, les résultats diffusés ne sont pas les résultats réels de l’élection mais des estimations fournies par les instituts de sondage. Ces estimations ne sont pas des sondages : elles ne se basent pas sur l’interrogation d’un échantillon représentatif pour déterminer les résultats du vote. Elles sont construites à partir des premiers résultats du vote, à savoir les 200 premiers bulletins dépouillés dans des bureaux de vote fermant à 18h. L’institut réalisant le dispositif reçoit ces résultats d’un échantillon de bureaux de vote, construit pour être représentatif du vote national. Tout au long de la soirée, les estimations seront affinées avec l’arrivée des résultats complets, c’est-à-dire l’ensemble des bulletins dépouillés (1).

Cette année, quatre instituts ont conduit des estimations pour différentes médias :

– TNS Sofres pour TF1, LCI et RTL
– Ipsos pour France télévisions, Radio France et Le Monde
– CSA pour BFM TV, Canal + , I-télé, RMC et 20 minutes
– Harris interactive pour M6

Ces estimations ont-elles été correctes et dans quelle mesure ? L’estimation d’Ipsos pour France télévisions fait notamment parler : à 20h, l’institut a annoncé Marine Le Pen à 20,0%, un seuil symbolique que la candidate a été pourtant assez loin d’atteindre, les résultats définitifs du ministère de l’Intérieur attribuant 17,9% des suffrages à la candidate du Front national.

Voici un résumé des estimations données à 20h par les différents instituts, classés par justesse (2). Harris interactive est l’institut qui se rapproche le plus, à 20h des résultats finaux, suivi de la TNS Sofres, puis de CSA. Ipsos est, de loin, l’institut qui présente les écarts les plus grands avec les résultats réels du scrutin.

Tous les instituts ont, à 20h, surrestimé Marine Le Pen, de manière plus ou moins importante (l’écart maximal étant donc de 2,1 points pour Ipsos). Néanmoins, comme le montre ce tableau, les écarts restent réduits et l’ordre d’arrivée des candidats a bien été estimé par tous les instituts. Revenons en détail sur leurs estimations :

L’estimation Harris interactive

L’estimation des résultats à 20h par Harris interactive ont donc été les plus proches du résultat réel. Voici les différentes estimations que l’institut a présenté tout au long de la soirée électorale :

Petit nouveau dans le monde des études d’opinion et donc dans les estimations électorales, l’institut Harris interactive a réalisé une très bonne estimation pour la chaîne M6. L’écart le plus grand concerne Marine Le Pen, dont, comme tous les instituts, Harris interactive va surestimer le score en début de soiré. Mais l’écart reste réduit (18,5% à 20 heures, soit 0,6 point d’écart avec son score réel). Pour les autres candidats les écarts ne dépasseront pas 0,4 point.

Tout au long de la soirée, l’institut va se rapprocher des scores finaux et notamment gommer la légère surestimation de Marine Le Pen

L’estimation TNS Sofres

TNS Sofres se targue d’avoir fourni les estimations les plus correctes. C’est effectivement le cas pour ces estimations affinées à 22h, indéniablement très performantes : aucun écart avec les résultats réels ne dépasse 0,2 point.

En revanche, comme nous l’avons vu, à 20h, TNS Sofres fait légèrement moins bien qu’Harris interactive. Cependant, l’estimation de cet institut se révèle aussi très fiable. L’écart le plus grand avec la réalité concerne Marine Le Pen, estimée à 19% en début de soirée (soit 1,1 points d’écart avec son résultat réel). Les autres écarts sont au maximum de 0,3 point.

L’estimation CSA

A 20h, CSA annonce sur Canal +, I-télé et BFM TV un écart relativement important entre François Hollande et Nicolas Sarkozy : les deux favoris seraient séparés de plus de 3 points. Cet écart est surestimé par deux phénomènes : le score du candidat en tête est légèrement plus important que la réalité et celui du candidat en deuxième position est sous-estimé. Ainsi, le candidat socialiste est crédité de 29,3% des voix (0,7 point de plus que son score réel) et le candidat de l’UMP de 26,0% (1,2 points de moins). L’écart se réduira au cours de la soirée. Il ne sera plus que de 2,2 points dans l’estimation affinée de 22h, soit encore faiblement supérieur à celui qu’il est en réalité (1,5 points).

Sur les autres candidats, les écarts entre l’estimation de 20h et le résultat réel sont minimes. Remarquons notamment que c’est CSA qui estime le plus justement le score de Marine Le Pen à 20h (0,3 point d’écart). Les autres écarts sont de moins de 0,2 point.

Étrangement, les écarts avec la réalité sont un peu plus forts dans l’estimation de 22h, notamment pour Marine Le Pen, François Bayrou et Jean-Luc Mélenchon, mais ils demeurent faibles (0,6 point au plus pour Marine Le Pen).

L’estimation Ipsos

Ipsos a produit les estimations les plus éloignées de la réalité. Le plus fort écart entre score effectif et estimation de 20h sera de 2,1 points pour la candidate du Front national, ce qui demeure somme toute relativement réduit, mais constitue une erreur remarquée et la plus importante de la soirée. Celle-ci n’a modifié en rien la hiérarchie d’arrivée, la candidate du Front national disposant, par chance, d’un score éloigné de ces adversaires.

L’écart le plus important va donc à Marine Le Pen, annoncée à 20,0% en début de soirée, un score symbolique encore gravé dans beaucoup d’esprits.Tout au long de la soirée, l’estimation d’Ipsos va s’affiner pour la candidate du Front national et, à 21h45, l’institut annonce 18,5% pour la candidate du Front national (soit toujours 0,6 point d’écart avec son score réel).

En parallèle, Ipsos sous-estime Nicolas Sarkozy de 1,7 points. Annoncé à 25,5% à 20h, puis 25,8% à 21h30 et 26,1% à 21h45, le président sortant rassembla en réalité 27,2% des suffrages.

Enfin, nous relèverons deux autres écarts, qui apparaissent également élevé eu égard à la performance des autres instituts : l’un concerne François Bayrou, sous-estimé de 0,6 points ; et l’autre Jean-Luc Mélenchon, surestimé dans les mêmes proportions.

Pour les autres candidats, les écarts seront au plus de 0,3 point entre l’estimation de 20h et le score réel.

(1) : Pour une explication plus complète de la méthodologie des estimations, cf notamment ce très bon article sur le site de TNS Sofres : http://www.lelab2012.com/interview.php?id=778
(2) : Nous avons mesuré cette justesse en faisant la somme des écarts (en valeur absolue) aux résultats définitifs.

Publicités

7 commentaires sur “Comparaison entre les estimations de 20h et les résultats réels du vote

  1. Merci pour cette belle synthèse (qui répond parfaitement à la question que je posais par erreur dans l’autre article). Effectivement l’erreur d’Ipsos sur MLP est numériquement faible mais psychologiquement énorme 20%. Je ne comprends pas qu’il n’aient pas réfléchi un peu avant de la publier au fait que le score MLP serait plus faible dans les villes fermant à 19h et encore plus faible à Paris (6%) !

    • @jpdperso C’est plus compliqué que ça. Pour simplifier ils l’avaient évidemment anticipé, car c’est un classique des résultats électoraux, mais la poussée du FN a dans les zones rurales (bureaux fermant à 18h) a été considérablement plus forte que dans les zones urbaines.
      Elle a donc biaisé les modèles mathématiques utilisés pour faire l’estimation, en appliquant la poussée FN observée en rural sur les bureaux urbains, ce qui a gonflé le score de Marine Le Pen.

      • Je connais bien les opérations estimations pour avoir tout appris d’Elisabeth Dupoirier et d’autres héritiers de Fred Bon à la Sofres lors des opé de 78 et 81 et mis en place celles de l’IFOP de 84 à 88. Je connais donc le process, Et le modèle mathématique qui va avec. Je dis simplement que c’est un peu tristounet de ne pas avoir introduit dans le modèle le vote par catégorie d’agglo que les sondages permettaient de connaitre. Les bv fermant à 18h ont du faire 22 , ceux fermant à 19h environ 20 et ceux fermant à 20h moins de 15. Mais le but du modèle est bien d’anticiper ceux fermant à 20h. Que MLP fasse 2 fois moins en IDF qu’en PACA, ça devait se savoir et 4 fois moins à Paris Intra Muros qu’en rural et 2 à 20 aussi !
        Brice Teinturier a d’ailleurs reconnu son « plantage » et j’ai félicité mes vieux amis de la Sofres toujours aussi brillants !
        Ce qui me scie, c’est comment H.I. a pu tomber aussi près !! (probablement une opé groupée avec CSA comme celle de LHF-Sofres en 1981 🙂

      • @jpdperso Je dirige le département politique et Opinion d’Harris Interactive. Je suis un peu déçu (surtout lorsque je vois que l’insinuation émane d’une personne ayant connaissance des opérations électorales et – a fortiori – des estimations) que vous puissiez non seulement penser mais donner à penser qu’Harris Interactive aurait pu mener réaliser des estimations de la sorte. C’est-à-dire en s’accordant avec un autre institut n’ayant pas – qui plus est – délivré les mêmes résultats que nous.
        Il s’agit effectivement de la première opération électorale menée par Harris Interactive. Sont présentes au sein de cet institut des personnes expérimentées et rompues aux estimations depuis 1997. C’est l’apport de ce savoir faire combiné à la rigueur des équipes d’Harris Interactive qui nous a permis de réaliser, dans de bonnes conditions, cette première estimation électorale.
        Je me permets de vous renvoyer vers une autre page, abordant les sondages pré-électoraux :
        http://sondages2012.wordpress.com/2012/04/25/palmares-des-sondeurs-pour-le-1er-tour-harris-surprenant-vainqueur-mais-lindicateur-agrege-est-bien-le-meilleur-moyen-dapprocher-les-resultats-reels
        Si les deux opérations n’ont techniquement rien à voir, je pense – j’espère – que vous pourrez considérer que rigueur et fiabilité sont des termes que l’on peut associer à Harris Interactive.
        Au plaisir de poursuivre l’échange
        Jean-Daniel Lévy

  2. Et ça vous arracherait la gorge de reconnaître que le score de Sarkozy a été sous estimé par TOUS les instituts (a 20h)?

    • Il y a 0,3 point d’écart entre la réalité et l’estimation Harris interactive à 20h et 0,2 point avec celle de la TNS Sofres. Je crois qu’on peut considérer que c’est minime.
      Quant aux différences plus grandes entre le résultat réel de Nicolas Sarkozy et son score estimé à 20h par CSA et Ipsos, il me semble bien qu’elles sont pointées dans cet article.

  3. Pourquoi ne pas attendre le dépouillement de TOUS LES BULLETINS DE VOTE DE TOUS LES BUREAU DE VOTE pour donner des VRAIS RESULTATS en temps réel au lieu d’estimations d’instituts basés sur un certain nombre de bulletins?
    Avoir des « résultats » à 20h alors que beaucoup de bureaux de votes ferment à 20h ne fait pas sérieux et cela nous donne l’impression que l’on se moque des électeurs!
    NOUS SOMMES CAPABLE D’ATTENDRE QUE LE DEPOUILLEMENT SOIT COMPLETEMENT TERMINE POUR CONNAÎTRE LES VRAIS RESULTATS!

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s