Search
  • Reach
  • Apprentissage automatique, apprentissage biologique

Profonde réflexion : Faire des machines de meilleurs apprenants

by Kurt Kleiner avr. 4 / 14
lmb_geoffhinton

Le périple vers la création de l’intelligence artificielle a été plus lent et plus ardu que ce qu’avaient escompté les pionniers du domaine.

À plusieurs égards, les ordinateurs modernes sont vraiment impressionnants. Toutefois, ils sont peu de choses comparativement au cerveau humain quand il s’agit de repérer un visage dans une foule, comprendre une blague, composer une symphonie ou faire l’une ou l’autre des centaines de choses qu’accomplissent les humains.

Cependant, une nouvelle approche mise au point par des chercheurs de l’ICRA ébranle le monde de l’intelligence artificielle. Dans la dernière décennie, les chercheurs ont créé une technique qui s’appelle l’apprentissage profond et en on fait l’un des domaines les plus en vue du domaine.

Si vous utilisez la fonction de reconnaissance vocale d’un téléphone Android, vous tirez déjà profit de réseaux d’apprentissage profond qui ont amélioré la reconnaissance vocale de 25 pour cent par rapport aux meilleures techniques existantes. Une amélioration similaire dans la reconnaissance des images a mené Google à intégrer des techniques d’apprentissage profond à son service Google+ l’année dernière.


Geoffrey Hinton

En fait, les géants de l’Internet s’emparent gaiement de boursiers de l’ICRA, car ils souhaitent leur participation à des initiatives en intelligence artificielle. L’année dernière, Google a embauché Geoffrey Hinton, jusqu’à tout récemment directeur du programme Apprentissage automatique, apprentissage biologique (anciennement connu sous le nom ‘Calcul neuronal et perception adaptative révolutionne’) > de l’ICRA, au sein de son laboratoire d’intelligence artificielle. Peu après, Facebook en a fait autant et a embauché le Boursier principal Yann LeCun pour monter un nouveau laboratoire d’intelligence artificielle. Et depuis 2011, le Boursier principal Andrew Ng travaille chez Google où il a mis au point le réseau neuronal Google Brain.

« Le programme Apprentissage automatique, apprentissage biologique (anciennement connu sous le nom ‘Calcul neuronal et perception adaptative révolutionne’) a joué un rôle essentiel », explique Hinton. « Le principe fondamental qui sous-tend l’ICRA, celui de faire appel aux meilleurs et de les réunir de façon à favoriser l’échange d’idées, a très bien fonctionné. »

Les géants numériques s’intéressent à l’apprentissage profond, car la technique pourrait permettre aux ordinateurs d’éplucher des millions de photos et de vidéos, et de les décrire avec autant de précision que pourrait le faire un humain; ou de comprendre une langue naturelle au-delà de la simple recherche de mots-clés; ou, peut-être, de formuler de meilleures prédictions quant aux publicités sur lesquelles nous sommes le plus susceptibles de cliquer.

« Aujourd’hui, les grandes sociétés œuvrant dans le domaine de l’intelligence artificielle se tournent résolument vers l’apprentissage profond », dit Lecun. « Et au fond, l’apprentissage profond a été une aventure financée par l’ICRA. »

Du jeu vidéo pong aux neurones

Du jeu le plus simple de Pong au modèle climatique sur superordinateur le plus sophistiqué qui soit, les programmes informatiques classiques se composent d’instructions précises et ordonnées à exécuter à la lettre. Même si ces programmes peuvent être d’une complexité inouïe, ils se composent d’étapes écrites par un programmeur humain qui a cerné précisément les tâches à accomplir par l’ordinateur et la façon de procéder.

Mais dès les années 1950, certains informaticiens se sont tournés vers une autre voie. Ils ont commencé à réaliser des expériences avec des réseaux neuronaux artificiels en s’inspirant vaguement du fonctionnement du cerveau humain. Plutôt que de programmer les réseaux, ceux-ci ont reçu une formation et ont tiré des leçons de l’expérience acquise pour arriver à résoudre des problèmes.

L’idée semblait bonne. Songez à toutes les façons dont une image peut illustrer un chat. Le chat peut être représenté dans une couleur différente, un angle différent, seul ou dans le cadre avec d’autres objets ou animaux, etc. Le réseau neuronal entre nos deux oreilles réussit avec brio à repérer un chat. Mais comment écrire un algorithme décrivant étape par étape comment reconnaître un chat?

Yann LaCun
Yann LaCun

La promesse des réseaux neuronaux laissait croire que cela serait inutile. Il n’y aurait qu’à montrer au réseau neuronal de nombreuses photos de chats et lui laisser le soin d’apprendre à quoi ils ressemblaient.

L’idée a suscité beaucoup d’intérêt, mais il y avait aussi de nombreux problèmes à résoudre. D’un côté, il n’était pas toujours facile de former les réseaux. Il fallait recueillir des masses de données et les étiqueter – imaginez une équipe d’étudiants diplômés en train de recueillir des centaines ou des milliers de photos et de s’assurer que toutes celles portant la mention « chat » comportaient vraiment un chat, et celles portant la mention « non chat » n’en comportaient pas. Ensuite, une fois la formation du réseau terminée, il vous fallait utiliser encore plus d’exemples pour être certain que le réseau fonctionnait aussi avec des photos n’ayant pas fait partie de la formation.

La formation des réseaux neuronaux pouvait se révéler ardue pour d’autres raisons. Quand ils échouaient, il était parfois difficile de comprendre pourquoi. Ou alors ils semblaient en apparence bien fonctionner, mais après un certain temps on se rendait compte que la formation était allée trop loin – peut-être avaient-ils seulement appris à reconnaître une caractéristique commune non pertinente, comme un motif de pixels que la série de photos de chats partageait par hasard.

Après une vague de recherches dans les années 1980, l’intérêt pour les réseaux neuronaux s’était étiolé rendu dans les années 1990, pour être remplacé par d’autres formes d’apprentissage automatique. On disait même qu’une grande revue scientifique avait arrêté d’envisager les articles qui faisaient mention dans leur titre de réseaux neuronaux.

Manifestement tout faux

Toutefois, Hinton n’a pas abandonné l’idée des réseaux neuronaux. Il dit qu’il était logique d’examiner le fonctionnement du cerveau humain pour trouver de meilleurs moyens de concrétiser l’apprentissage automatique. Après tout, si nous voulons enseigner aux ordinateurs comment percevoir les choses comme nous le faisons, pourquoi ne pas utiliser un modèle issu de l’évolution pour ce faire? Il ne s’est pas laissé décourager par le consensus dans le domaine – dans sa jeunesse, il a fréquenté une école chrétienne alors qu’il était athée et avait donc l’habitude de faire confiance à ses propres convictions.

« Quand les gens ont dit que le fonctionnement du cerveau n’était pas pertinent, ils avaient absolument et manifestement tout faux », explique Hinton.

En 2004, Hinton et d’autres chercheurs, y compris le Boursier principal Yoshua Bengio (Université McGill), ont créé le programme Apprentissage automatique, apprentissage biologique (anciennement connu sous le nom ‘Calcul neuronal et perception adaptative révolutionne’) de l’ICRA et ont immédiatement commencé à parler de la façon d’améliorer les réseaux neuronaux.

« C’était une question de temps, mais nous devions convaincre la communauté qu’il en valait la chandelle de travailler à cette question », dit LeCun.

YoshuaBengio
Yoshua Bengio

En 2006, la communauté a finalement dressé l’oreille quand Hinton et ses collègues ont publié un article intitulé A fast learning algorithm for deep belief nets, publié dans la revue Neural Computation. L’article décrivait une nouvelle façon de concevoir de meilleurs réseaux neuronaux « profonds » – des réseaux neuronaux comptant au moins trois couches « cachées » entre la couche d’entrée et la couche de sortie.

En vertu de la nouvelle technique, on formait une couche du réseau à la fois. Les neurones dans la première couche apprenaient à représenter certaines caractéristiques des données, par exemple, comment distinguer une ligne horizontale. Quand la première couche avait appris quelque chose, les données étaient transmises à la couche suivante qui apprenait à son tour à représenter une autre caractéristique des données – en combinant éventuellement deux ou trois formes pour apprendre à reconnaître un sourcil. La couche suivante contenait peut-être un neurone qui reconnaissait la combinaison d’un sourcil et d’un œil. Essentiellement, chaque couche supérieure du réseau apprenait à fonctionner à un niveau croissant d’abstraction.

Encore des chats

Encore plus excitant peut-être était le fait que l’article de Hinton démontrait qu’il était inutile de superviser ces réseaux. Vous pouviez les laisser travailler à un ensemble d’images non étiquetées et ils pouvaient apprendre à reconnaître des caractéristiques pertinentes d’eux-mêmes. Après l’apprentissage initial, il était possible de peaufiner le processus et d’ajouter des étiquettes pour dire au réseau que cette image représentait une voiture, celle-ci un avion et celle-là un autre objet.

« Si l’on songe au mécanisme d’apprentissage des bébés », dit LeCun, « ils apprennent d’eux-mêmes la notion des objets, ainsi que leurs propriétés sans qu’on leur explique spécifiquement la nature de ces objets. C’est plus tard seulement qu’on donne un nom aux objets. Conséquemment, le gros de l’apprentissage se fait de manière non supervisée. »

En fait, l’année dernière, Andrew Ng a fait la manchette avec un réseau Google qui a atteint cet objectif à une échelle immense. De concert avec Jeff Dean et l’« équipe cérébrale » Google, il a créé un réseau neuronal profond, composé de 16 000 processeurs informatiques, auquel il a montré 10 millions d’images extraites de l’Internet de façon aléatoire, sans étiquettes. Le réseau a appris par lui-même à reconnaître les visages humains, les corps humains et, oui, les chats.

L’article qu’a publié Hinton en 2006 a suscité beaucoup d’intérêt pour les réseaux neuronaux et les chercheurs ont recommencé à étudier la question.

Selon Hinton, une partie du succès récent des réseaux neuronaux tient aux avancées considérables en puissance de calcul et en disponibilité des données. Les réseaux neuronaux trop complexes pour rouler sur des processeurs plus vieux et plus lents fonctionnaient sans heurts sur des postes de travail modernes. Et grâce à une mémoire informatique accrue et à l’Internet, il était plus facile d’utiliser de grands ensembles de données pour former les réseaux.

« Le manque de données et la lenteur des ordinateurs constituaient les principaux problèmes », explique Hinton. « Dès que nous avons eu accès à 1000 fois plus de données et à des ordinateurs un million de fois plus rapides, les réseaux neuronaux ont commencé à battre tous les autres systèmes. »

Prochaines étapes

Le programme Apprentissage automatique, apprentissage biologique (anciennement connu sous le nom ‘Calcul neuronal et perception adaptative révolutionne’) a été créé dans le double objectif de comprendre comment utiliser les neurones dans le calcul et comment apprendre aux ordinateurs à percevoir les formes. À plusieurs égards, dit Hinton, la vision est un problème parfait pour l’apprentissage automatique. Nous en savons beaucoup sur la façon dont le cerveau traite la vision, comparativement à la façon, par exemple, dont il traite le langage.

Dans la continuation de ses recherches, il voit deux défis majeurs. Tout d’abord, il veut réaliser des avancées en apprentissage non supervisé. Ensuite, il veut comprendre comment permettre aux réseaux neuronaux de travailler à des échelles de plus en plus grandes.

Premièrement vient le problème de l’apprentissage non supervisé. Bien que l’article de Hinton publié en 2006 ait suscité beaucoup d’intérêt en raison de la promesse de l’apprentissage non supervisé, une fois que les chercheurs ont dépoussiéré leurs vieux réseaux neuronaux et ont commencé à les faire rouler sur des ordinateurs modernes avec de grands ensembles de données, ils se sont rendu compte que les vieilles techniques fonctionnaient assez bien. La plupart des applications de réseaux neuronaux en fonction aujourd’hui ont été formées à l’aide de données étiquetées. Néanmoins, l’apprentissage supervisé comporte encore des limites.

« Ce que nous voulons vraiment c’est quelque chose qui sera tout comme une personne et qui comprendra le monde. Dans cette situation, l’apprentissage non supervisé sera essentiel », explique Hinton.

« Nous aimerions, par exemple, pouvoir comprendre les vidéos sur YouTube. Ce serait bien si l’on pouvait demander au système de trouver une vidéo d’un chat qui essaie de sauter sur une tablette, mais qui tombe. Une personne comprendrait parfaitement ce que vous voulez dire. À l’heure actuelle, les méthodes d’apprentissage automatique pourraient dire qu’il y a probablement un chat dans une vidéo donnée. Peut-être pourraient-elles même repérer une tablette. Toutefois, l’idée d’un chat qui tente de sauter sur une tablette et échoue est incompréhensible pour ces systèmes informatiques. Je prédis que d’ici cinq ans, nous aurons trouvé une solution. »

L’autre problème est de comprendre comment intégrer la fonction d’évolutivité dans les réseaux neuronaux – c’est-à-dire, comment assurer leur efficacité à des échelles croissantes. À l’heure actuelle, déclare Hinton, la puissance informatique nécessaire équivaut grossièrement au carré de l’augmentation de vitesse désirée. En d’autres mots, deux fois plus de vitesse requiert quatre fois plus de puissance informatique et dix fois la vitesse nécessite 100 fois la puissance.

Hinton partagera son temps entre l’Université de Toronto et Google; il passera quatre mois par année au siège social de Google à Mountain View, ainsi que dans les bureaux de Google à Toronto. Il dit qu’il a hâte d’avoir accès aux ressources de Google – particulièrement les données – et à ses chercheurs.

« Ils ont en leur sein des gens très brillants et aussi des problèmes très intéressants. Et puis c’est chouette de voir ses créations aboutir dans un milliard de téléphones Android. »

Chez Facebook, LeCun se trouvera dans une situation similaire. Il continuera à enseigner à l’Université de New York et pourra monter le laboratoire d’intelligence artificielle de Facebook qui se trouve pratiquement de l’autre côté de la rue de son bureau sur le campus. « Ce qui est intéressant chez Facebook, c’est que si l’on rehausse notre compréhension du langage naturel ou de la reconnaissance d’images, il est inutile de créer une entreprise connexe pour soutenir les résultats. Il n’y a qu’à prévoir le coup pour 1,3 milliard d’usagers. »

Bien que Hinton ait quitté la direction du programme Apprentissage automatique, apprentissage biologique (anciennement connu sous le nom ‘Calcul neuronal et perception adaptative révolutionne’), LeCun et Bengio en ont accepté la codirection. LeCun dit que le programme continuera à explorer les percées réalisées dans le domaine des réseaux neuronaux profonds.

« Selon moi, il ne fait aucun doute que le problème de l’apprentissage des représentations du monde devra être résolu à l’aide d’un système d’intelligence artificielle que nous aurons conçu. À l’heure actuelle, l’apprentissage profond est la seule solution à ce problème », explique-t-il.