Une chanson du début du 20e siècle désormais oubliée, “Do You Believe Your Baby or Your Eyes?” apparemment accouché à l’un des traits d’esprit les plus célèbres de ce siècle. Si vous êtes pris en flagrant délit dans une situation indéniablement embarrassante, embarrassante ou illicite, une solution consiste à mendier la confiance. Pas besoin d’avouer ou de s’excuser ou d’être humilié.
Au lieu de cela, soyez audacieux. Refuser. Demandez de manière rhétorique : “Qui allez-vous croire, moi ou vos yeux menteurs ?”
Des variations de cette ligne classique peuvent être trouvées dans la comédie nihiliste des Marx Brothers Soupe de canardune colonne de 1948 par le donneur de conseils syndiqué Dorothy Dix et plus récemment par Richard Pryor et Cher.
Une grande partie de ce que les gens prétendent savoir repose sur la confiance et la déférence. La plupart d’entre nous comptent beaucoup sur ceux qui revendiquent une expertise particulière, que le sujet soit le COVID ou le changement climatique.
Mais à notre époque de désinformation; manipulation de photos, de vidéos et d’audio ; doxxing; et de gros mensonges, comment pouvons-nous être sûrs que quelque chose est vrai sans ambiguïté ? Compte tenu des conseils inexacts et toujours changeants fournis par le CDC et l’Organisation mondiale de la santé sur l’évolution de la pandémie, il est facile de conclure que Nietzsche a écrit dans son carnet vers 1886 : « Il n’y a pas de faits, seulement des interprétations » ?
Le comédien, animateur de télévision et commentateur politique Stephen Colbert a inventé le mot « vérité » pour décrire la tendance du public à confondre les vœux pieux et les opinions ancrées dans la fantaisie avec l’exactitude, indépendamment de la logique ou des preuves factuelles. Sur de nombreuses questions, notre identité détermine notre vérité personnelle. Comme une titre de journal mettez-le, “L’appartenance est plus forte que les faits.”
La campagne présidentielle de 2016 a déclenché une explosion de livres et d’articles sur la désinformation, ainsi que des appels généralisés à la lutte contre la désinformation et le mépris soi-disant croissant pour les faits vérifiés dans le moment post-vérité d’aujourd’hui. Il y a moins d’un an, l’ancienne secrétaire américaine à l’éducation Margaret Spellings et un collaborateur déclaré“Tout comme les jeunes doivent apprendre à coder, ils doivent apprendre à décoder les nouvelles et les informations comme condition préalable à une citoyenneté informée.”
De tous les livres récents sur la propagande, la désinformation, les fake news et la mésinformation, deux exemples ressortent : celui de Frederick Schauer La preuve : utilisations de la preuve en droit, en politique et dans tout le reste et de Jerry Z. Muller La tyrannie des métriques.
Le livre de Muller examine l’utilisation et l’abus des mesures quantitatives par les entreprises, la médecine, l’éducation et le gouvernement et montre comment la fixation croissante sur l’analyse des données, bien que parfois bénéfique, peut également entraîner des dommages. Vous vous souviendrez de l’exemple classique : le comptage des corps pendant la guerre du Vietnam. Dans son récit classique des folies des dirigeants américains au Vietnam, David Halberstam raconte une occasion où l’ancien juge de la Cour suprême Arthur Goldberg a demandé à un porte-parole du Pentagone le nombre de morts de Viet Cong et de Nord-Vietnamiens pendant l’offensive du Têt de 1968 et le ratio de blessés par tués. (ce qui était environ 4,45 à 1). Si le décompte des corps du Pentagone était correct, alors toutes les troupes ennemies étaient des victimes. L’absurdité de compter sur le nombre de corps pour mesurer le succès sur le champ de bataille a été mise à nu.
La tyrannie des métriques offre un certain nombre d’exemples frappants sur la façon dont les mesures quantitatives, dépouillées de leur contexte et interprétées sans jugement critique et éthique, peuvent non seulement induire en erreur mais aussi nuire, fausser les comportements, gaspiller le temps, promouvoir une vision à court terme, décourager l’innovation et dégrader les performances. Voici quelques exemples de Muller :
- Les tableaux de bord chirurgicaux peuvent en fait augmenter le nombre de décès de patients en encourageant les chirurgiens à refuser d’opérer des patients à haut risque.
- Les listes de contrôle médicales peuvent amener les médecins à substituer une liste de procédures à un jugement fondé sur l’expérience.
- La police se concentre parfois sur les délits mineurs, souvent liés à la drogue, pour étoffer les statistiques dans la guerre contre le crime.
S’il est vrai que le gourou de la gestion Peter Drucker a déclaré : « Vous ne pouvez pas améliorer ce que vous ne mesurez pas », même des données précises peuvent nous induire en erreur. Les statistiques peuvent être triées sur le volet. Les livres peuvent être cuisinés. Les nombres peuvent être manipulés, trafiqués et manipulés. Les chiffres peuvent mentir. Les enseignants peuvent enseigner jusqu’au test ou, croyez-le ou non, abaisser les normes pour atteindre des objectifs éducatifs prédéterminés.
Le livre de Muller cherche à réfuter plusieurs axiomes bien connus :
- Loi de Goodhart et de Campbell : « Lorsqu’une mesure devient une cible, elle cesse d’être une bonne mesure.
- Le sophisme de la fausse cause : confusion entre corrélation et causalité.
- Erreur de McNamara : se fier uniquement aux métriques dans des situations complexes conduit à perdre de vue la vue d’ensemble.
- Quatuor d’Anscombe : des distributions de données très différentes peuvent produire des statistiques descriptives identiques.
Comme nous le savons d’après les classements des collèges, l’enseignement supérieur n’est pas à l’abri de la tyrannie des mesures et des incitations à déformer ou à omettre des données. Certaines facultés de droit admettent des étudiants moins qualifiés à temps partiel ou en stage pour les exclure des classements qui ne concernent que les étudiants à temps plein. Les établissements de quatre ans font quelque chose de similaire lorsqu’ils inscrivent des étudiants «plus faibles» dans une unité d’études générales ou les obligent à entrer pendant les trimestres de printemps ou d’été. Voici quelques-uns des autres arguments de Muller :
- Lorsque la productivité ou le mérite sont mesurés en termes de nombre de publications ou de citations, les membres du corps professoral publient davantage, mais la qualité peut diminuer.
- Lorsque l’apprentissage est évalué en grande partie au moyen de tests à choix multiples, « les élèves apprennent trop souvent des stratégies de test plutôt que des connaissances de fond » et échouent fréquemment à parvenir à une compréhension conceptuelle.
- Lorsque plus d’étudiants obtiennent un baccalauréat, la valeur du diplôme en tant que dispositif de signalisation diminue.
- Lorsque les collèges sont évalués sur la base des taux d’inscription ou de diplomation, les établissements réagissent de manière rationnelle, en réduisant les admissions ou les normes de notation; lorsque, en revanche, les collèges sont évalués en termes de valeur ajoutée, les établissements les plus sélectifs et les plus riches en ressources ou ceux qui se concentrent le plus sur l’ingénierie et les affaires prédominent.
Prenons à cœur le message de Muller :
« Il y a des choses qui se mesurent. Il y a des choses qui méritent d’être mesurées. Mais ce qui peut être mesuré n’est pas toujours ce qui vaut la peine d’être mesuré ; ce qui est mesuré peut n’avoir aucun rapport avec ce que nous voulons vraiment savoir. Les coûts de mesure peuvent être supérieurs aux avantages. Les choses qui sont mesurées peuvent détourner l’effort des choses qui nous tiennent vraiment à cœur. Et la mesure peut nous fournir des connaissances déformées, des connaissances qui semblent solides mais qui sont en réalité trompeuses.
En d’autres termes, n’utilisez pas les données sans réfléchir et rappelez-vous toujours que la mesure n’est pas la même chose que la compréhension.
Peut-être avez-vous entendu parler de l’épée laser flamboyante de Newton, un concept conçu par le mathématicien australien Michael Adler. En termes beaucoup trop simples, il dit que si une réclamation n’a pas de conséquences observables, elle doit être rejetée. Je ne pense pas que le rasoir d’Adler puisse être facilement appliqué à l’enseignement, car une grande partie de ce qui a le plus de valeur chez un instructeur n’est pas facilement mesurable. Passion pour un sujet, enthousiasme contagieux. Une mise en relation avec les étudiants. Volonté d’amener les élèves vers la réussite.
Passons maintenant aux réflexions réfléchies de Frederick Schauer sur :
- Ce qui constitue un fait, qui peut être empirique et donc vérifiable ou évaluatif et probablement contesté.
- Comment les profanes peuvent évaluer la validité d’une affirmation de vérité particulière qui est en dehors de leur domaine d’expertise.
- La mesure dans laquelle les non-spécialistes peuvent s’appuyer sur un consensus d’experts.
- Comment décider quelles décisions politiques ou prescriptions devraient être tirées de la science ou des données.
Il n’est pas surprenant que Schauer, en tant que professeur de droit et ancien avocat de la défense, aborde les questions de preuve à travers une lentille juridique, en se concentrant sur les questions d’inférence, de pertinence, de fiabilité, de probabilité, de charge de la preuve et de degrés de culpabilité. Le livre consacre plusieurs chapitres aux dispositifs que les avocats utilisent pour évaluer et contester le poids et la force des preuves et des témoignages, y compris le témoignage d’experts en duel. Son argument essentiel est que, dans l’évaluation des preuves, nous devons, tout d’abord, reconnaître que les preuves viennent en degrés (de faible à fort, d’étranger à pertinent) et que la probabilité, la probabilité que la preuve ou le témoignage soit exact, compte.
Le livre aborde des sujets extraordinairement controversés :
- Que penser lorsqu’une œuvre d’art qui a été authentifiée par divers tests et experts de musées et historiens de l’art s’avère être l’œuvre d’un faussaire avoué ?
- Quelle différence pratique cela fait-il entre l’application d’une norme de preuve de « prépondérance de la preuve » ou une norme de preuve « claire et convaincante » dans les procédures disciplinaires sexuelles contre les personnes accusées de violences sexuelles ?
- Lorsque les scientifiques sont en désaccord, par exemple, sur les dangers des organismes génétiquement modifiés, à qui les non-scientifiques devraient-ils faire confiance et sur quelle base ?
Schauer compare son approche aux statistiques bayésiennes. Il s’intéresse à savoir si un fait, une découverte ou un élément de preuve particulier tend à étayer ou à contredire une hypothèse particulière. Deux phrases résument son argumentation : « L’incertitude dans les jugements factuels est un aspect inévitable de la condition humaine » et «tout la preuve implique une inférence statistique.
Mais un avocat adverse pourrait objecter, observant que les tribunaux sont opposés à l’utilisation de preuves statistiques, du moins lorsqu’elles sont appliquées à des accusés individuels, par opposition aux affaires impliquant des sociétés, des municipalités ou des États accusés de discrimination. Schauer suggère que la résistance des tribunaux à l’utilisation de généralisations statistiques cherche à obliger les procureurs à fournir des preuves plus solides.
Une grande partie de nos connaissances est de seconde main. Nous nous appuyons fortement sur divers types de témoignages (par exemple, sur la date et le lieu de notre naissance) et nous devons apprendre, selon Schauer, à faire ce que font les jurys : calibrer la crédibilité et la fiabilité de ce témoignage. Cela nous oblige à comprendre si le témoignage est nuancé, embelli, truqué ou le produit d’une perception erronée ou d’une erreur de bonne foi.
Schauer a des choses fascinantes à dire sur la fiabilité des témoins oculaires, des ouï-dire et des détecteurs de mensonges, sur l’efficacité des codes d’honneur et de la prestation de serment dans les salles d’audience, et sur la fiabilité des lettres de recommandation. Les lecteurs en apprendront également beaucoup sur les palabres, c’est-à-dire tenter d’être décisif sans rien dire de littéralement faux et le débat sur la pensée de groupe par rapport à la sagesse collective des foules. Particulièrement intéressante est sa discussion sur le principe de précaution, un concept juridique populaire en Europe occidentale selon lequel lorsqu’il existe des preuves qu’une pratique ou une substance présente un risque plausible, mais incertain, elle doit être interdite.
Ce que je retiens des livres de Schauer et Muller, c’est que tout le monde doit penser davantage comme – ta-da – un humaniste. Nous devons apprendre à évaluer les preuves, à tirer des conclusions et à interroger les affirmations. Nous devons également devenir plus attentifs, alertes, observateurs et émotionnellement intelligents. Alors que nous naviguons dans des environnements postmodernes empreints d’incertitude, d’ambiguïté et d’indétermination, nos sextants et boussoles les plus fiables sont le jugement et le discernement éclairés, les qualités mêmes que nourrissent les sciences humaines.
Steven Mintz est professeur d’histoire à l’Université du Texas à Austin.