La puissance du recuit

Les métaux sont uniques, notamment grâce aux comportements qu’ils adoptent vis-à-vis des changements de températures. Si un métal est décrit par le matériau dont il est constitué (par exemple, le cuivre ou le fer), ses propriétés sont déterminées par la disposition de ses atomes, elle-même extrêmement variable.

Cet arrangement est semi-permanent, mais peut être manipulé par certaines techniques. Une d’entre elles est le recuit, où le métal est d’abord chauffé puis lentement refroidi au fil du temps. Grâce à ce processus, le métal devient moins dur et ductile. Le refroidissement fournit ensuite le temps et les niveaux d’énergie nécessaires à la formation de grains plus gros.

Les programmeurs informatiques ont pris note de ces propriétés uniques et les ont transposées dans leur domaine, ce qui a donné naissance à l’algorithme du « recuit simulé » (simulated annealing). Il est utilisé pour trouver un optimum global à un problème spécifique, et fonctionne, comme le recuit métallurgique, en réduisant progressivement la « température » (pour l’algorithme, la probabilité de se « diriger » vers une solution moins « bonne »). Le fonctionnement de l’algorithme est plus explicite en se représentant graphiquement l’espace de solution d’un problème (l’exemple ci-dessous traite d’un espace à une dimension, mais nous pouvons évidemment étendre le mode opératoire à des espaces à n dimensions).

L’algorithme part d’une valeur d’entrée aléatoire (un endroit aléatoire sur la ligne ci-dessus), puis, à chaque itération, sélectionne un point proche aléatoire (la définition de « proche » change avec la température; à des températures plus élevées, des points « plus loin » peuvent être choisis).

Si le point choisi au hasard est plus élevé que le point actuel, l’algorithme « se déplace » vers ce point ; s’il est plus bas, l’algorithme peut ou non « se déplacer », en fonction de la température (l’algorithme est plus susceptible de « se déplacer » à des températures plus élevées). Cette stratégie converge vers l’optimum global. L’image ci-dessous (tirée de Wikipedia) illustre le fonctionnement de l’algorithme pour un problème à une dimension:

Il faut bien noter que si on connaissait d’avance l’espace de solution, on pourrait simplement sélectionner la solution optimale à vue d’œil. C’est le cas pour les cas simples (par exemple y = 1 – |x|), mais pour des problèmes plus complexes (par exemple le problème du voyageur de commerce, illustré ci-dessous), on a alors besoin d’un algorithme d’approximation comme le recuit simulé.

Comme nous l’avons vu pour les métaux et la programmation, le processus de recuit – qui consiste à réduire lentement l’état énergétique d’un système – présente des propriétés intéressantes. Il permet d’atteindre un certain type d’organisation. Le recuit prend le meilleur de chaque plage du spectre de température. Il tire parti des températures élevées pour approcher le problème (de manière plus grossière), et des basses températures pour déterminer une solution plus précise (en se concentrant sur la zone particulière identifiée précédemment). Vu sous cet angle, le concept de recuit s’applique bien au-delà des domaines de la métallurgie et des mathématiques, avec les deux exemples puissants que sont la formation (au niveau individuel) et l’évolution (au niveau social) du cerveau.

La plasticité du cerveau varie grandement au cours de l’existence. Les nouveau-nés appréhendent rapidement le monde qui les entoure, et les tout-petits ont plus de facilités pour le langage. Pendant ces périodes de notre vie, le cerveau peut être considéré comme fonctionnant à haute température; chaque expérience joue un rôle important dans la façon dont le cerveau se construit; le cerveau est ductile. En vieillissant, notre cerveau refroidit; les concepts que nous avons acquis dans notre enfance se solidifient et, bien que nous puissions toujours les modifier, ces changements se produisent beaucoup plus lentement qu’avant. Ce schéma de formation, analogue au recuit métallurgique, permet au cerveau d’atteindre des états de basse énergie, où ici, basse énergie peut être compris comme ayant une faible erreur standard. En formant d’abord des concepts généraux et des catégories dès l’enfance (par exemple « êtres vivants », « choses inanimées », « nourriture », etc. – bien qu’au plus jeune âge nous n’ayons pas encore les mots attachés aux concepts eux-mêmes), notre cerveau cimente un modèle de base sur lequel on peut ensuite bâtir une compréhension plus subtile et affinée du monde.

En regardant le cerveau à travers cet angle, il est intéressant de considérer les effets des drogues psychoactives, en particulier celles comme le LSD. Beaucoup de gens décrivent cette expérience comme « leur permettant de se sentir à nouveau comme des enfants », le monde leur paraissant tout nouveau. Lorsque nous atteignons l’âge adulte, notre cerveau a acquis d’importantes connaissances préalables sur notre environnement. Ces drogues permettraient de réduire la force de ces antécédents, empêchant alors le cerveau d’imposer une partie de ces acquis sur l’expérience actuelle. En utilisant la métaphore du recuit, elles font monter la température.

L’observation à l’échelle neuronale est en adéquation avec l’analogie plus méta du recuit. À la naissance, nous disposons déjà de tous nos neurones, mais seul un nombre limité de synapses se sont formées – de l’ordre de ~1/6 du nombre total de synapses dans un cerveau adulte. Au cours des années suivantes, les synapses s’établissent rapidement; à l’âge de deux ans, un enfant en a même beaucoup plus qu’un adulte! À partir de là, la formation des synapses est ralentie, la tendance principale étant plutôt à l’élagage. Nous pouvons encore une fois voir le rôle que joue la « haute température » dans la formation spontanée des synapses, et celui des « basses températures » dans la solidification de ces fondations et la mise en place de représentations plus précises du monde qui nous entoure.

Si l’on passe à l’échelle évolutionnelle, l’analogie est plus vague, mais toujours utile. L’évolution des systèmes nerveux a été ponctuée de sauts importants. Des protoneurones se sont regroupés en grappes, pour finalement se concentrer au sein d’organes dédiés. Nous pouvons considérer que ces premiers sauts se sont produits à une « température élevée », se figeant au fil du temps en une structure générale, le cerveau (partagée par un grand nombre d’espèces) lors du « refroidissement ». Tout comme les premières phases du recuit simulé ont servi à identifier la meilleure colline pour ensuite la grimper, les premières phases de l’évolution du cerveau ont permis d’identifier la meilleure structure fondamentale, selon certains critères.1L’analogie trouve ici ses limites, car l’évolution n’a pas de but – mais c’est l’idée générale qui importe.Avec cette structure comme base, des mutations à petite échelle ont commencé à jouer un rôle de plus en plus important. Notre cerveau a beaucoup en commun avec ceux d’autres mammifères, et seuls de petits ajustements permettent de passer du leur au nôtre – ou du moins, des changements bien plus insignifiants que ceux qui ont été nécessaires pour passer des premiers réseaux de neurones au cerveau.

le phénomène de recuit semble avoir quelque chose de spécial. Il permet de tirer le meilleur des deux mondes: quand les températures sont élevées, que la plasticité est importante, on peut faire de grands bonds dans l’espace de solution, en cherchant où s’installer; et lorsqu’elles sont basses, nous pouvons explorer pleinement cette zone prometteuse. Pour l’instant, nous n’imprégnons nos systèmes d’IA que d’un faible niveau de recuit – les paramètres sont certes mis à jour lentement au fil du temps, mais les systèmes eux-mêmes disposent d’une structure fixe et d’un nombre constant de paramètres à mettre à jour. Nous pourrions nous inspirer de notre cerveau et essayer d’imiter la croissance synaptique explosive qui se produit chez les nourrissons; ou, plus ambitieux encore, tirer des enseignements du raffinement du système nerveux sur des centaines de millions d’années d’évolution.

Traduit de My Brain’s Thoughts

Laisser un commentaire