Après le Brexit et l’élection de Donald Trump, le doute s’est installé sur la fiabilité des sondages électoraux. Sondés rémunérés, redressements des données brutes au doigt mouillé, sondages « fourre-tout » : nous vous invitons à une plongée dans les arcanes des instituts spécialisés avec Alain Garrigou, universitaire auquel sa critique des sondages a valu de nombreuses attaques judiciaires…

L’Autre Quotidien : L’élection de Donald Trump, le Brexit, ce sont deux ratages magistraux en matière de sondages. Est-on à l’abri de ce type de surprises en France ?

Alain Garrigou : L’argument des sondeurs français, c’est qu’aux Etats-Unis, on utilise la méthode aléatoire, alors qu’en France, la méthode des quotas, qui consiste à constituer un échantillon représentatif de la population, produit des résultats fiables. L’idée que défend Gaël Sliman, le patron de Odoxa, c’est qu’en France, les sondages fonctionnent, contrairement aux Etats-Unis. Parce nous, on sait redresser, alors que les Américains ne sauraient pas faire. Mais s’il faut redresser, cela montre que les chiffres bruts sont inexacts. D’ailleurs, il n’y a que les sondages électoraux qui font l’objet de redressements. Paradoxalement, ça voudrait dire que tous les autres sondages sont erronés ! L’idée que les Américains ne savent pas faire, c’est parce qu’ils n’auraient pas eu d’erreur aussi magistrale que celle du 21 avril 2002 en France. Avec le choc de l’élimination de Jospin dès le premier tour de la présidentielle et le classement de Jean-Marie Le Pen au second, on aurait compris, nous les Français, qu’il fallait faire attention au vote d’extrême droite, qu’on avait tendance à sous-évaluer. L’explication est séduisante, mais elle est fausse. Les Américains aussi ont commis des erreurs et ont travaillé dessus. En plus, les sondages, ce sont eux qui les ont inventés. Les sondeurs américains ont connu leur gros fiasco sondagier en 1948, lors de l’élection de Truman. C’est une erreur du même type que celle concernant l’élection de Donald Trump. Mais les leçons tirées du 21 avril 2002 ne préservent pas par avance les sondeurs français de la possibilité de se tromper. Je fais remarquer que, concernant le vote Front national en 2002, le coefficient de redressement était de plus de deux. On savait que plus d’un électeur du FN sur deux ne déclarait pas pour réellement pour qui il votait. C’est ce qu’on appelle le « biais légitimiste ».  Mais les sondeurs n’ont pas osé multiplier par 2,4. Parce quand même, ça ne fait pas très sérieux. Les organismes spécialisés dans l’étude de l’opinion ont mis plusieurs élections avant d’arriver à remonter jusqu’au bon résultat. Le problème, c’est que maintenant, ils surévaluent peut-être ce vote. Lors des dernières élections, notamment aux régionales, on a trop accordé au Front National. Par conséquent, rien ne garantit que les sondeurs sachent effectuer le bon redressement.

C’est un peu un gag cette histoire de redressement. S’il faut multiplier par plus de deux les opinions exprimées ou être obligé de les minorer par 0,5, ça paraît très aléatoire…

Alain Garrigou : Les sondages se trompent par définition. La phrase célèbre de Marx résume bien cela : « les gens ne font pas ce qu’ils disent et ils ne disent pas ce qu’ils font ». C’est d’ailleurs le postulat des sciences sociales. Celles-ci n’existeraient pas si on devait croire les acteurs sur parole. La croyance naïve dans les sondages est en fait anti-scientifique. Il ne suffit pas de demander aux gens ce qu’ils font ou ce qu’ils pensent, pour qu’ils le disent. Ce problème de l’insincérité est le biais fondamental des sondages. A la fois parce qu’il y a des gens qui cachent leurs intentions, mais aussi parce que d’autres se les cachent à eux-mêmes ! Depuis Freud, on sait que l’inconscient ça existe… Mais pas pour les sondeurs.

Les instituts de sondage français expliquent qu’une erreur de l’ampleur de celle concernant l’élection de Donald Trump, n’est pas possible en France. Pourtant, la primaire de droite, par exemple, est une première. Donc il n’y a pas de base électorale qui puisse servir de référence. Et on interroge des gens sans savoir s’ils vont vraiment se déplacer.

Alain Garrigou : Effectivement, on ne peut pas redresser, dans ce cas. On sait que l’indication de ces sondages sur la primaire de droite est fausse. Selon certains sondages, il y aurait jusqu’à plus de 10 millions de votants à cette primaire. Couramment, ils vont jusqu’à 3 à 5 millions. Là encore, c’est le « biais légitimiste ». Quand on vous interroge, ça fait bien de déclarer que vous allez aller voter. Et ce biais-là, est favorisé par Internet. Les gens qui répondent sur Internet, sont soit des convaincus, ce qui les amène à répondre, soit ils sont motivés par la petite prime de un ou deux euros qui va aller s’ajouter à leur cagnotte (voir « tout sondage mérite-t-il salaire » dans « Premier bilan après la réforme des sondages »). Ce sont des sondés semi-professionnels. Pour trouver des personnes qui acceptent de répondre, les instituts de sondage ont mis au point un système de cagnotte annuelle qui fait que les répondants gagnent 100 ou 150 euros en bons d’achat dans des supermarchés. A moins que ce ne soit un système de loterie.

Vous critiquez ce que vous appelez les sondages « low cost », avec des pratiques très limite ? Est-ce que vous pouvez expliquer ce que vous entendez par là  ?

Alain Garrigou : Je critique les sondages en ligne. En France, aujourd’hui, 75% des sondages se font par Internet. Les gens ne veulent plus répondre au téléphone, même si on peut les géolocaliser grâce aux portables. Or, un sondage via Internet, ça coûte deux fois moins cher qu’un sondage par téléphone. Le prix est fonction du nombre de questions, mais grosso modo, un questionnaire en ligne ça coûte 800 euros au lieu de 1500 € par téléphone et 5000 € pour un sondage en face-à-face. Actuellement, on fait des sondages sur trois questions. Sauf que vous n’allez pas contacter quelqu’un pour trois questions… Quand on tient un client, on en profite, ce qui donne les « sondages omnibus ». Dans un sondage omnibus, on va vous interroger sur une marque de lessive, et au milieu de questions on va glisser des questions pour savoir  si vous regardez les films X sur Canal plus. Je n’invente pas ! J’ai rencontré un jour un enquêteur, qui était affligé, parce que, au milieu de questions extrêmement sérieuses, il fallait qu’il pose des questions pour savoir si on regardait des films pornos… Pourquoi ces pratiques ? parce que si ce n’est pas sérieux, vous ne répondez pas. Par exemple, concernant les films X, beaucoup de gens raccrochaient. Or, si vous ne faites pas votre enquête jusqu’au bout, vous n’êtes pas payé. Donc, les enquêteurs sont furieux. Ils ont le droit à trois non-réponses. Du coup, les réponses, ils les fabriquent. Un des moyens de faire l’opinion, lors d’un entretien au téléphone ou en face-à-face, c’est lorsque la personne vous répond « je ne sais pas », « Ah, mais madame, je n’ai pas la case , allez, vous avez bien un avis ? » Le problème ne se pose pas par Internet. Parce que sur Internet, les gens savent pertinemment que, s’ils ne répondent pas à la question, ils risquent de ne rien gagner. Et il y a un autre phénomène lié à Internet, c’est que ce sont les gens les plus radicalisés qui ont tendance à répondre le plus. C’est le fonctionnement même des réseaux sociaux.

Les sondages sont-ils utiles ?

Alain Garrigou : Les sondages sont utiles socialement. Il y a une économie des sondages, même si ce n’est pas l’essentiel du chiffre d’affaires des instituts qui les pratiquent, puisqu’ils représentent à peine 5% du chiffre d’affaires. C’est une publicité utile, qui leur fait gagner des marchés dans le domaine des études marketing, qui sont bien plus rémunératrices. Je parle des études pour tel supermarché, ou sur les marques, ou encore des baromètres de satisfaction, qui en plus sont liées à des pratiques de sponsoring. Ça fait partie du business. Les sondages ont aussi une utilité pour les politiques. C’est un des rares instruments de mesure dont ils disposent, parce que la professionnalisation de la politique les amène à fréquenter de moins en moins les électeurs. Ils ont tendance à se fier à leurs auxiliaires, assistants, conseillers en communication, qui eux, travaillent avec les sondages, dans la mesure où leur formation universitaire les à formés à cela. C’est ce que je fais. Je suis critique, mais pas dupe. Je forme des professionnels de ces métiers, qui doivent gagner leur vie. Enfin, les sondages sont aussi utiles aux médias. Les sondeurs fournissent du papier bon marché et rapides. Entre les sondeurs et les journalistes politiques se sont nouées des relations de connivence qui font que lorsque les sondeurs sont critiqués, le lendemain dans Le Monde, vous avez un article qui défend les sondeurs. C’est pareil pour tous les grands journaux. Je l’ai expérimenté personnellement. Et je ne parle pas des intérêts de certaines institutions universitaires ; comme Sciences-Po, qui permettent de rédiger des articles pour le CEVIPOF (centre de recherches politiques de Sciences-Po), Le Monde ou l’IFOP. On fonctionne avec ça. Peu importe que l’instrument soit juste, l’important c’est qu’on ait un instrument.

Mais à quoi servent les sondages ?

Alain Garrigou : Vous savez, les croyances jouent un rôle important dans les sociétés humaines. La politique ça consiste à imposer des croyances. C’est ça le lien entre la politique et les sondages. C’est pour cela que, malgré toutes les erreurs, on ne renoncera pas aux sondages. Il y a trop d’intérêts à continuer avec ça. Je fais de la critique des sondages depuis très longtemps -j’ai commencé en 2001-, mais sans aucune illusion, parce que je me suis aperçu que ça déraillait. Attention, ça ne condamne pas les méthodes de la statistique sociale. Simplement, dans les sondages, c’est très mal fait. Les sondages, c’est de la statistique sociale basée sur la représentativité. Mais on fait des enquêtes statistiques depuis très longtemps, depuis Durkheim et le XIXe siècle. Les enquêtes sur l’opinion, avec la méthode de la représentativité, -c’est George Gallup en 1936-, et on peut faire des sondages extrêmement sérieux. Leur valeur sera toujours un peu approximative, mais ça peut donner une indication. L’information la plus intéressante dans les sondages, ce sont les corrélations. C’est-à-dire le lien, l’évolution d’une croyance -une opinion-, avec, par exemple, le niveau de revenu, on va chercher à savoir si ça évolue de la même manière… Ou étudier le lien d’une opinion avec une autre opinion. Ce genre de choses. On pratique l’analyse factorielle pour étudier des tendances, en sciences sociales. Le problème des sondages, c’est que ce qu’on veut savoir, c’est qui va être le vainqueur. C’est le moins intéressant, du point de vue intellectuel, encore que si on était un peu patient, on le saurait. Par exemple, du point de vue de la primaire de droite, savoir qui va gagner, c’est ça qui intéresse les commanditaires des sondages. Ils pensent que les sondages vont avoir un effet considérable sur le résultat réel. Et c’est d’ailleurs exact.

Mais ces sondages participent-ils à fabriquer une opinion publique, sachant que c’est difficile de définir ce qu’est l’opinion publique ?

Alain Garrigou : Oui, bien sûr. D’autant que, à certains moments, il n’y a pas d’opinion. Ou il y a une opinion qui est parfaitement factuelle et ce sont les sondages qui la font exister. On sait que les sondeurs interrogent des gens qui n’avaient pas pensé avant à la question qui leur est posée. Cela produit des artefacts (fait produit par l’instrument de mesure qu’il est censé mesurer). Concernant les effets, il y a deux choses. D’abord un effet performatif (c’est-à-dire qui participe à construire la réalité qu’ils mesurent). On connaît deux effets directs sur le vote : “l’effet bandwagon” , lorsque les sondages pré-électoraux indiquent que Untel est en tête, ce qui pousse des indécis à rallier le camp du vainqueur au moment du vote. A l’inverse, “l’effet Underdog” pousse certains électeurs à voler au secours du perdant. Il y a aussi l’effet indirect des enquêtes sur les intentions de vote sur les hommes politiques eux-mêmes. Par exemple, lorsque Lionel Jospin, en 2002, accepte la concurrence au sein de son propre camp, parce que tous les sondages le donnent au second tour et même favori du second tour.

Vous dénoncez des conflits d’intérêt entre politiques, presse et sondeurs. Lesquels ?

Alain Garrigou : Les sondeurs sont aussi des conseillers politiques. Je citerai l’exemple d’un ami, qui était à CSA avec Roland Cayrol, et qui a avoué un jour à Libération que neuf candidats à une élection avaient recouru à ses conseils. Par exemple, Brice Teinturier ne dirige pas seulement Ipsos, il est aussi conseiller de François Hollande. Quant à Pierre Giacometti, (mouillé jusqu’au cou dans le scandale des sondages de l’Elysée, ndlr), il est le conseiller de Nicolas Sarkozy. Il faut aussi se souvenir que Opinion Way a été le principal protagoniste de l’affaire des sondages de l’Elysée sous Nicolas Sarkozy (Ipsos a été mis en examen et Opinion Way fait partie des trois autres instituts qui ont été placés sous le statut de témoin assisté).

Vous avez été attaqué en justice plus d’une fois. La critique des sondages serait-elle à haut risque ?

Alain Garrigou : Oui, c’est un métier dangereux. J’ai effectivement été attaqué en justice par Patrick Buisson, pour l’avoir mis en cause dans l’affaire des sondages de l’Elysée, sous Sarkozy. J’ai aussi été mis en examen suite à une plainte pour diffamation de Christian Latouche, un type qui fait partie des 100 Français les plus riches et qui est par ailleurs propriétaire de la boîte spécialisée en conseil fiscal, Fiducial, qui travaille beaucoup avec l’Ifop. Là encore, cela m’a coûté trois ans de procédure, mais j’ai gagné. Ce sont des poursuites-bâillon. On vous envoie l’huissier, on vous traîne en justice sur la base d’incriminations plutôt faiblardes et, naturellement, la procédure, c’est du temps et de l’argent. Au final, ils s’écroulent et ils perdent, mais qu’est-ce que c’est pour des gens riches que de perdre quelques dizaines de milliers d’euros ? Avec Fiducial, Christian Latouche conseille les plus riches. Alors que je lui fasse perdre 30 000 euros, il s’en fout. Quant à Buisson, ça lui a coûté 40 à 50 000 euros. Pour moi qui ai un salaire de « petit prof de fac » (1), en revanche, payer les sommes liées à cette procédure, c’est le combat du pot de terre contre le pot de fer.

Le niveau de connivence entre certains médias et les instituts de sondage est quand même étonnant. Je pense notamment à l’émission de i-télé CQFD, dont le plateau était composé de sondeurs, mais il y a d’autres exemples. Est-ce que là aussi, on n’est pas dans le conflit d’intérêt ? D’un côté on fabrique des sondages, de l’autre on les commente…

Alain Garrigou : Bien sûr. Les médias sont dans la même situation que les politiques à l’égard des sondeurs. Ils ne vont plus sur le terrain. Une enquête journalistique, ça coûte de l’argent. C’est tellement plus facile de faire un compte-rendu d’une enquête d’opinion. Prenez certaines enquêtes et certains articles publiés dans la presse. C’est du copier-coller. Donc ça ne coûte pas cher. Quant à la télé, notamment les chaines d’information continue, ils ont constamment besoin de chiffres, ils doivent renouveler les informations, alors les sondages, c’est facile. Et c’est gratuit, car la presse, en règle générale, ne paie pas les sondages. C’est comme les courses de chevaux. Quant aux sondeurs, ils sont toujours prêts à se déplacer pour participer à une émission de télé. Pourquoi ? Parce que c’est du commerce. Et en plus, ils sont pour certains, atteints d’un profond narcissisme. Vous savez, les journalistes de télé ont un agenda. Ils aiment bien ceux qui sont à disposition, ce qui est normal. Quand vous devez appeler je ne sais combien de gens pour trouver quelqu’un, c’est assez pratique. D’autant que lorsque vous devez constituer un plateau, il y a des problèmes d’incompatibilités. Par exemple, si je vais sur un plateau, aucun sondeur ne vient. Du coup, on m’invite beaucoup moins.

Avec Opinion Way, qui a systématisé les sondages par Internet à prix cassés, et Odoxa, leur petit frère, qui est en train de ramasser la mise sur le même créneau, est-ce qu’on n’est pas davantage dans des stratégies d’influence, qui sont au départ celles du marketing, que dans l’enquête d’opinion ?

Alain Garrigou : N’oubliez jamais qu’on a des marchés - les marques, les emplacements en supermarché-, bref que le marketing est une grosse partie du marché. Mais il y a toute une partie des sondages qui dépendent des commandes publiques. Le Service d’information du gouvernement (SIG) est l’un des principaux commanditaires de ces études d’opinion. Il faut savoir que ses chefs de service sont généralement d’anciens sondeurs, à l’origine. Là encore, il y a des liaisons dangereuses.

Mais il y a aussi des sondages commandités par le Figaro, le Parisien, ou autres journaux ?

Alain Garrigou : Le Figaro ne paie pas ces sondages. C’est d’ailleurs la raison pour laquelle la presse en publie tant. Ceci dit, ils peuvent quand même être à l’origine d’un sondage. Quand un sondeur appelle un rédacteur en chef c’est : « au fait, tu as pensé à un sondage sur tel sujet ?, parce qu’il se passe ceci et cela, qu’est-ce que t’en penses ? « Ah, oui, c’est intéressant. Fais-le on le publiera ». C’est comme ça que ça se passe. En fait, les sondeurs proposent les sujets à la presse. Ou parfois, c’est l’inverse, mais il y a de nombreuses connivences et interactions. « Dis donc, on a un sujet qui devient important, est-ce que tu as u sondage sur le sujet ? » C’est d’ailleurs ce qui a donné cette affaire des sondages de l’Elysée. C’est profondément malhonnête puisque c’est la présidence de la république qui payait les sondages. Ce que les lecteurs du Figaro ne savaient pas. D’où la réforme des sondages avec l’obligation de transparence.

D’une certaine façon, l’étude des big data, avec l’explosion des bases de données numériques massives, ne va-t-elle pas ringardiser les sondages ?

Alain Garrigou : Tout va dans le même sens. C’est un peu Big Brother. Mais il y a une confiance aveugle dans le recueil des données. Que ce soit celles des sondages ou du big data. J’ai peur que certaines personnes n’aient abandonné toute rigueur intellectuelle. Je vous donne un exemple. Devant la prolifération des sondages américains, compte tenu de résultats divergents, avec des écarts énormes, on a inventé de calculer une moyenne des sondages ! Quelle est la logique ? Ça voudrait dire que les erreurs vont être compensées par d’autres erreurs, symétriques. Mais ce n’est pas du tout certain. C’est ce qui s’est passé aux Etats-Unis, d’ailleurs. Les erreurs allaient toutes dans le même sens. Quant aux big data, ça risque d’être typiquement ça. Il y a toutes ces boîtes de surveillance de ce qui se passe sur les réseaux sociaux. Comme si c’était représentatif. On mélange des techniques, ce qui à la fin ne veut plus rien dire, et on arrive à ce que C.W. Mills, un grand sociologue américain, qui a écrit l’Imagination sociologique, appelait « l’inhibition méthodologique ». Il montre que nous sommes complètement prisonniers des chiffres. On étudie tel domaine, parce qu’il y a des chiffres, ce qui relève de la parabole du réverbère que je cite dans mon livre, l’Ivresse des sondages : c’est l’ivrogne qui cherche ses clés à la lueur du réverbère, non pas parce qu’il les a perdues à cet endroit, mais parce que là, il y a de la lumière… C’est d’abord ça le problème du big data. Et c’est peut-être encore pire que les sondages.

1)   Alain Garrigou est professeur agrégé d’histoire et de sciences politique. Il enseigne à l'université de Paris-Ouest Nanterre-La Défense et a publié de nombreux ouvrages sur les sondages. Il tient un blog hébergé par le Monde Diplomatique et a créé l’observatoire des sondages.

2)   "Petit prof de fac" est le livre que s’apprête à publier Alain Garrigou. Le titre fait allusion à une anecdote racontée par Alain Garrigou dans un article de son observatoire des sondages et repris par le Canard Enchaîné, lorsque Stéphane Rozès, alors patron de CSA (racheté depuis par Bolloré), lui a dit, à la fin d’une émission de France-Culture, à laquelle les deux hommes participaient : « moi, je brasse des millions, je ne vais pas me laisser intimider par un petit prof de fac ». Alain Garrigou a également publié un livre sur La politique en France de 1940 à nos jours , aux Editions La Découverte.

Entretien réalisé par Véronique Valentino

Pour aller plus loin :

Les sondages d’opinion, de Denis Duclos et Hélène-Yvonne Meynaud, Editions La Découverte https://www.cairn.info/les-sondages-d-opinion--9782707153135.htm

La fabrique de l’opinion, de Loïc Blondiau, aux Editions du Seuil http://www.alternatives-economiques.fr/la-fabrique-de-l-opinion-loic-blondiaux_fr_art_118_11771.html

« Le sondage et la décision politique », de Patrick Champagne, in Revue Projet http://www.revue-projet.com/articles/2001-4-le-sondage-et-la-decision-politique/

Faire l’opinion, le nouveau jeu politique, de Patrick Champagne, aux Editions de Minuit http://www.acrimed.org/Faire-l-opinion-de-Patrick-Champagne-preface-de-la-nouvelle-edition