L’informatique neuromorphique, nouvelle solution aux problèmes d’optimisation ?

Vers une informatique moins énergivore

Depuis leur apparition après la Seconde Guerre mondiale, la structure des ordinateurs n'a pas fondamentalement changé. Conçue par le physicien et mathématicien John von Neumann, cette architecture consiste à effectuer des calculs avec certains composants, tels que les processeurs (« Central Processing Units » ou CPU), et à stocker les données dans d'autres (les mémoires). 

Les informations sont donc fréquemment transférées entre ces deux pôles, ce qui peut entraîner des goulots d'étranglement en raison d'une bande passante limitée et d'une consommation d'énergie importante. Dans les problèmes d'optimisation qui impliquent de nombreux calculs répétés sur de grands ensembles de variables, ce goulot d'étranglement devient particulièrement limitant.

Face à une demande en forte croissance et de nouvelles applications, la recherche de nouveaux paradigmes informatiques moins énergivores occupe le devant de la scène. L’informatique neuromorphique constitue l'un de ces paradigmes. Elle explore une piste de recherche prometteuse, qui vise justement à réduire la séparation entre mémoire et calcul. Dans l'équipe-projet Bonus, commune entre l'Université de Lille et Inria, les chercheurs El-Ghazali Talbi et Jorge Mario Cruz-Duarte travaillent à sa mise en œuvre.

Une approche inspirée du cerveau

Le calcul neuromorphique est né d’un constat : le cerveau humain consomme très peu d'énergie ; il ne nécessite que 20 Watts de puissance. À titre de comparaison, un seul GPU (processeur graphique, utilisé dans les cartes graphiques) consomme actuellement environ 300 W. Et les supercalculateurs les plus récents nécessitent des centaines de mégawatts. C'est ainsi qu'est née dans les années 1980 l'idée de s'inspirer du cerveau et de ses neurones pour développer le calcul neuromorphique.

Cette technologie informatique s'appuie principalement sur les réseaux neuronaux impulsionnels (SNN ou Spiking Neural Networks):

Un codage temporel

Dans le cerveau, lorsqu'un neurone reçoit des signaux via les synapses (qui relient les neurones), il accumule une charge électrique. Une fois un certain seuil atteint, le neurone émet une impulsion électrique qui influence les autres neurones au niveau de leurs synapses. Les SNN utilisent les pics et leurs caractéristiques (amplitude, profil, temps d'émission, etc.) pour coder les informations, plutôt que les seuls signaux binaires. « Ce codage temporel est l'une des raisons pour lesquelles les systèmes neuromorphiques peuvent fonctionner de manière efficace et sélective », détaille El-Ghazali Talbi.

La richesse des SNN a donné naissance à une multitude de modèles, entre plausibilité biologique (par exemple, le modèle Hodgkin-Huxley) et faisabilité pratique (par exemple, les modèles Izhikevich ou le modèle Leaky Integrate-and-Fire). 

Des solutions aux problèmes d’optimisation à grande échelle

Les architectures neuromorphiques offrent de nombreuses promesses. Leur efficacité énergétique est renforcée par l'absence de séparation entre le calcul et la mémoire, inhérente au fonctionnement des neurones et des synapses. De plus, ces réseaux fonctionnent de manière asynchrone : les neurones ne réagissent que lorsqu'ils sont stimulés par les signaux de leurs voisins, contrairement aux réseaux neuronaux artificiels, où les signaux se propagent de couche en couche en activant tous les neurones.

Ce phénomène permet le parallélisme, car un neurone ou un groupe de neurones peut n'effectuer des tâches et communiquer avec ses voisins que lorsque cela est nécessaire. Pour des problèmes d'optimisation, cela signifie que différentes parties d'une solution candidate peuvent être explorées et mises à jour en parallèle, sans synchronisation globale.

Du fait des différences majeures avec les architectures traditionnelles, les systèmes neuromorphiques n'ont pas encore été déployés à grande échelle et leur conception pose des défis. Cependant, des travaux ont déjà été menés dans les domaines de l'apprentissage automatique et des neurosciences. El-Ghazali Talbi et Jorge Mario Cruz-Duarte cherchent à les appliquer à des problèmes d'optimisation à grande échelle, en s'appuyant notamment sur le formalisme des métaheuristiques.

Heuristique et métaheuristique en renfort

Quel pourrait être un problème d'optimisation à grande échelle ? Par exemple, la gestion d'une flotte entière de bus pour le transport urbain. L'objectif est de trouver des solutions qui minimisent une fonction donnée (coûts, temps de transport, etc.). Dans les cas très complexes, il est pratiquement impossible de trouver une solution exacte. Une approche consiste donc à procéder étape par étape.

En informatique, une heuristique désigne une opération permettant de résoudre un problème sans nécessairement trouver la solution optimale. Imaginez que vous rangez vos courses dans le réfrigérateur et que vous essayez de minimiser l'espace qu'elles occupent. Une heuristique consisterait, par exemple, à commencer par ranger tous les petits articles. Mais vous devrez peut-être ajuster votre approche au fur et à mesure, en passant aux articles plus volumineux pour améliorer le rangement. 

Dans le cas d'un algorithme neuromorphique, il s’agit de choisir une solution potentielle au problème (ou un ensemble de solutions), de la modifier légèrement à l'aide d'une heuristique ou d'une opération, de sélectionner la nouvelle solution obtenue si elle est meilleure, de modifier ou non l'heuristique, et de continuer jusqu'à ce que la meilleure solution possible (proche de l'optimum) soit atteinte.

Un outil open source pour l'optimisation neuromorphique

Actuellement, les outils d'optimisation heuristique neuromorphiques existent principalement pour des problèmes spécifiques, et peu s'appliquent à différents cas. El-Ghazali Talbi et Jorge Mario Cruz-Duarte ont donc décidé de développer un cadre général, NeurOptimiser, dédié au calcul neuromorphique, en particulier pour les problèmes d'optimisation continue (où les variables peuvent prendre des valeurs réelles).

Ce cadre est construit de manière distribuée autour de ce que les chercheurs appellent des unités heuristiques neuromorphiques (NHU). Chaque NHU est composée de plusieurs neurones et encode, modifie, évalue et communique avec d'autres unités. Par exemple, une NHU peut encoder une solution candidate, appliquer une perturbation à l'aide de ses neurones internes, puis envoyer la version modifiée aux unités voisines.

Des premiers résultats encourageants

Cette architecture NeurOptimiser a été conçue à l'aide de l'environnement open source LAVA NC développé par Intel et est spécifiquement destinée à la puce neuromorphique Loihi 2 de la société. Pour leurs travaux, les chercheurs ont émulé cette puce sur un ordinateur. 

Les premières expériences basées sur ce cadre montrent déjà des résultats encourageants : le système peut traiter plusieurs problèmes tests (benchmarks) de faible et moyenne dimension tout en consommant beaucoup moins de ressources que les simulations classiques. Mais les ambitions d’El-Ghazali Talbi et de Jorge Mario Cruz-Duarte ne s’arrêtent pas là : ils prévoient d'étendre les applications aux problèmes combinatoires et multi-objectifs, ainsi qu'à l'informatique embarquée et à différentes puces neuromorphiques.