Search
  • Nouvelles
  • Apprentissage automatique, apprentissage biologique

Une façon « étonnamment populaire » d’extraire la sagesse du groupe

by Juanita Bawagan mars 20 / 17
GroupWisdom-banner
Une nouvelle technique peut extraire plus efficacement de bonnes réponses de grands groupes de personnes. Pour une question donnée, on demande deux choses aux gens : Selon eux, quelle est la bonne réponse, et selon eux quelle est l’opinion populaire? La variation entre les deux réponses composites indique la bonne réponse. (Photo : Christine Daniloff/MIT)

Philadelphie est-elle la capitale de la Pennsylvanie? La réponse pourrait vous surprendre. Mais il est encore plus important de connaître le nombre de personnes qui sont surprises, car cela pourrait être utile pour trouver la bonne réponse, même quand la plupart des gens se sont trompés.

De nouveaux travaux par Sebastian Seung (Université de Princeton), conseiller de l’ICRA, et ses collègues pourraient contribuer à corriger une faille majeure de la technique de la « sagesse des foules » qui tente de trouver les bonnes réponses en faisant la moyenne des réponses d’un grand nombre de non-spécialistes.

En 1907, Sir Francis Galton a publié un article dans la revue Nature dans lequel il s’est servi d’un concours où deviner le poids d’un bœuf pour démontrer le principe de la sagesse du groupe. Galton a aussi découvert que la médiane des 800 bulletins de vote constituait l’évaluation la plus exacte. La sagesse collective du groupe s’est révélée plus exacte que n’importe qui, même un expert. Depuis lors, on a utilisé la technique avec succès pour déterminer une foule de choses, du nombre de fèves dans un pot jusqu’aux résultats électoraux.


Wisdom_fig1_FR
Pourquoi les réponses « étonnamment populaires » devraient-elles être correctes? Concept illustré par un modèle simple de la question sur Philadelphie avec des répondants idéaux.

Mais un des problèmes de la technique c’est que les non-spécialistes peuvent avoir systématiquement tort pour certaines questions. Par exemple, bien que Harrisburg soit la capitale de la Pennsylvanie, la plupart des gens choisiront Philadelphie qui a une plus grande importance historique. Seung et ses collègues ont abordé le problème en posant une deuxième question : Selon vous, quelle réponse la plupart des gens vont-ils choisir?

La méthode de la popularité étonnante (méthode SP, pour « surprisingly popular ») est singulière, car elle exploite l’opinion populaire. Les gens qui ont dit oui, Philadelphie est la capitale, croient que la plupart des gens seront d’accord avec eux. Les gens qui savent que la bonne réponse est Harrisburg, d’un autre côté, comprennent aussi que la plupart des gens ne le savent pas.  

En comparant combien de personnes ont prédit que la réponse la plus fréquente serait « oui » au nombre véritable de personnes qui ont répondu « oui », les chercheurs ont vu que le vote « non » était la réponse « étonnamment populaire » — c’est-à-dire que le « non » a été jugé correct beaucoup plus souvent que ce que les gens avaient prédit. Globalement, l’algorithme a réduit le taux d’erreurs de 21,3 pour cent relativement au vote majoritaire.

GroupWisdom_3
Dans une étude, les répondants ont jugé quel était le prix courant d’œuvres d’art du 20e siècle. a, Roshan Houshmand, Rhythmic Structure. b, Abraham Dayan, dance in the living room. c, Matthew Bates, Botticelli e Filippino. d, Christopher Wool, Untitled, 1991, émail sur aluminium, 90′′ × 60′′ ©Christopher Wool; gracieuseté de l’artiste et Luhring Augustine, New York. e, Anna Jane McIntyre, Conversation With a Spoonbill. f, Tadeusz Machowski, Abstract #66. Réimpression avec la permission de Macmillan Publishers Ltd: [Nature] copyright (2017).

« La méthode SP est élitiste en ce sens qu’elle tente de cerner qui a des connaissances spécialisées, dit Seung. Toutefois, elle est démocratique, car pratiquement n’importe qui pourrait être identifié comme un spécialiste. La méthode ne considère pas le curriculum vitae ni les diplômes universitaires de qui que ce soit. »

Des chercheurs ont mis à l’essai la méthode SP dans le cadre de quatre études, allant de sondage à des diagnostics médicaux. Dans la première étude, on a posé des questions de type vrai ou faux à des étudiants sur la capitale des états américains, sur la probabilité que leur réponse soit bonne et sur le pourcentage de gens qui croiraient que c’est vrai. La méthode SP a réduit le nombre de décisions incorrectes de 48 pour cent relativement au vote majoritaire. La méthode était moins efficace dans des situations où les participants présentaient des niveaux d’expertise similaire. Par exemple, quand on a demandé à des dermatologues de diagnostiquer des lésions cutanées, il n’y avait pas d’écart important dans le groupe.

Seung et ses collègues reconnaissent la valeur et les limites de méthodes démocratiques comme celle de Galton.

« Les gens ne se limitent pas à énoncer leurs croyances réelles; ils peuvent aussi réfléchir à des croyances qui pourraient survenir dans des scénarios hypothétiques. On peut exploiter de telles connaissances pour trouver la vérité, même quand des méthodes de vote traditionnelles échouent », écrivent les auteurs.

« Si des répondants ont suffisamment de données pour établir la bonne réponse, alors le principe de la popularité étonnante va extraire cette réponse; de façon plus générale, la méthode produira la meilleure réponse à la lumière des données disponibles. »


L’article « A solution to the single-question crowd wisdom problem » a été publié dans la revue Nature le 26 janvier. Les coauteurs sont Dražen Prelec et John McCoy du Massachusetts Institute of Technology.