Le traitement des aspects économiques des évènements dans différents médias me laisse généralement insatisfait. On y trouve une bonne dose de superficialité. Toutefois, je dois accepter les effets du coût croissant de la qualité et aussi d’une plus grande spécialisation des connaissances.
Essayons d’analyser trois facteurs qui expliquent, au moins partiellement, cette impression de superficialité. Il ne s’agit pas ici d’être exhaustif, mais de tenter de comprendre. Les deux premiers sont en bonne partie extérieurs aux communicateurs : la précision des données économiques et la valeur des paramètres estimés dans les études empiriques. Le dernier facteur vise les communicateurs concernant leur faiblesse de discerner l’importance relative des différents aspects d’un phénomène, ce qui demande une capacité analytique.
La précision des données
Nous sommes quotidiennement envahis de chiffres sans porter attention à leur valeur et à leur précision. Le sujet de la précision des données ne suscite incontestablement pas l’enthousiasme.
Dès le début de mes études universitaires en 1960, un professeur, l’anthropologue Marc-Adélard Tremblay, m’avait fait prendre conscience du problème : en réaction à son passage devant un comité sénatorial portant sur son enquête sur le budget familial des salariés québécois francophones, il s’était aperçu que ses interlocuteurs s’intéressaient à différents estimés sans se soucier de leur valeur, attitude qui favorisait selon lui la présentation de fausses données. N’est-ce pas encore la situation lors des annonces des impacts de différents projets ?
Avec les données de l’Enquête sur la population active, il y a moyen de connaître l’intervalle de confiance des différents estimés. Pour l’ensemble du Québec, la donnée du taux de chômage provient d’un échantillon de 9 778 personnes avec un écart-type de 0,3%. Pour un taux de chômage annoncé pour juillet 2018 de 5,6%, il y a deux chances sur trois que le taux se situe quelque part entre 5,3 et 5,9%. L’augmentation du taux de 0,2% sur le mois précédent perd alors une bonne partie de sa signification.
Il serait approprié que Statistique Canada mentionne régulièrement la présence d’intervalle de confiance des estimés dans son communiqué mensuel sur l’Enquête sur la population active. Une telle initiative faciliterait la prise de conscience du degré de précision des données qui font mensuellement la manchette des médias.
La valeur des études empiriques
Depuis quelques années, des problèmes reliés à la précision des données sont transposés aux résultats des études publiées dans les revues savantes. Le résumé d’une étude de la revue Science est éloquent à ce sujet :
La reproductibilité est une caractéristique déterminante de la science, mais on ignore dans quelle mesure elle caractérise la recherche actuelle. Nous avons effectué des reproductions de 100 études expérimentales et corrélationnelles publiées dans trois revues de psychologie … Les effets de réplication étaient deux fois moins importants que les effets originaux, ce qui représente un déclin substantiel. Quatre-vingt-dix-sept pour cent des études originales ont eu des résultats statistiquement significatifs. Trente-six pour cent des réplications ont eu des résultats statistiquement significatifs… [Traduction libre]
De tels travaux existent-ils pour les études en économie ? C’est au moins le cas de la publication récente The Power of Bias in Economic Research. Voici le premier paragraphe de la conclusion :
Notre étude de 159 méta-analyses économiques révèle que la recherche en économie empirique a une puissance statistique insuffisante. Indépendamment de la manière dont l’effet «réel» est estimé, la puissance statistique typique ne dépasse pas 18% et près de la moitié des champs étudiés ont 90% ou plus de leurs résultats déclarés issus d’études statistiquement peu puissantes. Cette enquête identifie également des biais généralisés. La majorité des effets moyens de la littérature économique empirique est exagérée par un facteur d’au moins 2 et au moins un tiers est exagéré par un facteur de 4 ou plus. (p. F253) [Traduction libre]
Une illustration de cette exagération concerne la valeur de la vie humaine : sur les 39 estimations distinctes de la valeur monétaire d’une «vie statistique», 29 des estimations avaient une puissance statistique insuffisante. Pour les 10 études ayant une puissance suffisante, la valeur de la vie statistique était estimée à 1,47 million de dollars, montant considérablement inférieur à une estimation moyenne de 9,5 millions de dollars pour l’ensemble des 39 études. (p. F250) (1)
Ce résultat s’explique facilement. Une base de données réduite diminue la puissance statistique et accroît l’écart-type des estimés des paramètres. Ainsi, les paramètres qui seront jugés, erronément ou pas, statistiquement significatifs ou différents de zéro auront généralement des valeurs plus élevées que celles des études avec un échantillon accru et un intervalle de confiance réduit des estimés.
De plus, il faut mentionner le biais de publication qui empêche généralement la publication des travaux qui ne réussissent pas à obtenir des relations statistiquement significatives. Cela se répercute nécessairement sur la pertinence des conclusions des méta-analyses qui se limitent aux études publiées.
L’accessoire dominant le principal
Tout phénomène comporte une imposante quantité de dimensions comme c’est le cas pour la simple description d’une personne. Toutefois, les dimensions ne sont pas d’importance égale. Il y a donc nécessité d’élaguer pour éviter que l’accessoire domine le principal. Ce travail est de plus en plus compliqué dans un monde d’augmentation et de spécialisation des connaissances. Les commentateurs généralistes risquent de tomber dans la superficialité.
Prenons l’exemple de la politique canadienne en matière de gestion de l’offre pour le lait, la volaille et les oeufs. Une considération importante est la valeur élevée des droits de produire qu’implique cette politique. Selon Statistique Canada, au 31 décembre 2017, la valeur de ces permis ou droits de produire totalisait 36,9 milliards de $ au Canada et 10,3 milliards pour le Québec.
Pour le lait, les données sont éloquentes : selon l’OCDE (p. 121), les prix intérieurs du lait sont au Canada «supérieurs de plus de 80 % aux prix mondiaux» et, pour la période 2015-2017, les transferts spécifiques au lait des consommateurs et des contribuables représentaient 44,6% des recettes agricoles brutes des producteurs laitiers.
Le quota de lait au Québec a un prix plafond de 24 000 $ par kilogramme de matière grasse par jour soit, approximativement, par vache laitière. Avec un nombre moyen de vaches laitières par ferme de 65 vaches, la valeur du quota pour la ferme moyenne excède le million et demi de $.
Même si la politique agricole canadienne demeure constamment dans l’actualité avec les négociations de différentes ententes internationales, pourquoi le sujet du prix des quotas de lait n’intéresse-t-il pas les médias d’information et spécialement les émissions reliées à l’agriculture et à l’alimentation ? Où sont les textes de la revue Protégez-vous sur cet item important du budget du consommateur ? Pourtant, ce sujet du prix du droit de produire, qui est le résultat central de la politique de la gestion de l’offre, se vulgarise très bien comme une simple application de la théorie des prix.
Conclusion
Ce texte sur les difficultés de la vulgarisation en économie ou de la transmission des connaissances a proposé quelques éléments d’explication sur une impression d’une dose élevée de superficialité dans le traitement des questions. Il demeure incomplet.
Le sujet a une grande importance et nous concerne tous dans un monde où, avec la rapidité de la communication, l’accessoire tend à dominer le principal.
(1) Pour une longue entrevue avec un co-auteur de l’étude, John Ioannidis, sur la signifiance statistique et la réplication, voir http://www.econtalk.org/john-ioannidis-on-statistical-significance-economics-and-replication/ .