MACHINE LEARNING  
Maintenance Magazine 165 – octobre 2024

Apprentissage par renforcement: un maître dans la résolution de puzzles (logistiques) complexes

L’apprentissage par renforcement est une technique d’apprentissage automatique avancée qui gagne en popularité. Contrairement aux méthodes d’apprentissage automatique ‘classiques’, formées à partir de données labelisées par l’homme, l’apprentissage par renforcement apprend en interagissant continuellement avec son environnement. Une expérience a eu lieu au port d’Anvers-Bruges où l’on a cherché à savoir si les modèles d’apprentissage par renforcement pouvaient planifier les travaux de dragage préparatoires au Deurganckdok mieux que les planificateurs humains. Les résultats sont impressionnants.

De la reconnaissance faciale sur votre smartphone aux recommandations personnalisées sur les boutiques en ligne

Les boutiques en ligne qui recommandent des livres, des films et des vêtements sur base d’achats antérieurs, le logiciel Google Translate ou encore la fonction de reconnaissance faciale sur votre smartphone : voilà quelques applications qui utilisent la technologie de l’apprentissage automatique.

Les algorithmes d’apprentissage automatique (nous sommes ici dans le domaine de l’intelligence artificielle) apprennent à l’aide d’exemples – et sans instructions explicites – à cartographier les relations entre des grandes quantités de données pour en déduire des modèles et associer des actions adaptées à ces informations. C’est un processus d’apprentissage continu où les résultats de l’algorithme deviennent progressivement plus précis, à l’instar des personnes qui affinent leurs compétences en s’exerçant.

« L’apprentissage par renforcement apprend de manière autonome par essais/erreurs avec les récompenses et punitions associées. L’homme applique un processus d’apprentissage similaire pour apprendre des nouvelles compétences. »

L’une des méthodes les plus connues pour entraîner les algorithmes sous-jacents est l’apprentissage automatique supervisé, une technique utilisant des ensembles de données labelisées (par l’homme). L’intelligence qui contrôle le filtre anti-spam de votre boîte de messagerie en est un bel exemple. En parcourant des ensembles de données annotés, le modèle apprend à distinguer les messages ‘spam’ et les messages ‘non spam’ afin de pouvoir classer correctement les e-mails inédits. C’est dans ce même contexte qu’il faut situer l’apprentissage par renforcement. Mais la technologie va plus loin!

Apprentissage par renforcement : le cerveau des ‘alien chess’

Le grand avantage de la technologie d’apprentissage par renforcement est qu’elle ne nécessite aucune donnée d’entraînement labellisée. Elle apprend de manière autonome – par essais et erreurs avec les récompenses et les punitions associées.

L’apprentissage par renforcement devient alors un modèle IA adapté aux applications présentant un nombre pratiquement infini de résultats possibles, où chaque étape s’appuie sur les décisions précédentes. Voyez les ordinateurs de jeux d’échecs : au lieu de préprogrammer chaque mouvement (et contre-mouvement), ils affinent leur stratégie de manière autonome en jouant encore et encore. Les actions qui conduisent à une meilleure position sur l’échiquier sont récompensées (plus grandes chances de gagner), tandis que les actions moins réussies sont punies (par une défaite). L’algorithme d’apprentissage automatique est encouragé à réaliser systématiquement les meilleurs mouvements.

Ce processus d’apprentissage est similaire à celui que l’homme applique pour apprendre des nouvelles compétences. Cette méthode aboutit souvent à des stratégies/solutions innovantes (parfois totalement inattendues). Dans le monde des échecs, elle a conduit à l’introduction du terme ‘alien chess’, les ordinateurs jouent à un niveau presque extraterrestre, avec des mouvements qui stupéfient les maîtres absolus dans ce domaine.

ECHODRONE: l’apprentissage par renforcement en action au Deurganckdok d’Anvers

Le projet ECHODRONE, qui s’est dernièrement déroulé au Deurganckdok d’Anvers, illustre les applications pratiques (et plus industrielles) de l’apprentissage par renforcement.

Le bassin Deurganckdok est en contact direct avec l’Escaut. Il est soumis à l’action des marées qui déposent des sédiments en continu, rendant les sondages profonds et les travaux de dragage réguliers nécessaires. Cependant, la planification de ces sondages – un véritable casse-tête pour les planificateurs humains – est très complexe. Il faut en effet tenir compte de facteurs très dynamiques comme les mouvements des bateaux, les marées, la disponibilité des navires d’inspection et leurs équipages, etc.

Dans le cadre du projet ECHODRONE, des experts – dont des chercheurs d’IDLab (un groupe de recherche imec à l’UAntwerpen et l’UGent) – et Kurt Stuyts (responsable des travaux d’hydrographie au port d’Anvers-Bruges) ont relevé le défi de développer un système entièrement automatisé pour les sondages profonds.

« Comme les modèles d’apprentissage par renforcement apprennent de manière autonome, un seul modèle peut traiter les données de cas très divers. Les algorithmes développés par les chercheurs d’imec pour le projet ECHODRONE peuvent donc être utilisés de manière flexible dans d’autres applications. »

La solution qu’ils ont développée et testée consiste, d’une part, en un bateau sondeur autonome (un drone, en quelque sorte) pour effectuer les sondages profonds, et, d’autre part, en un modèle d’apprentissage par renforcement pour optimiser la planification sous-jacente. Une condition importante à cela: permettre à l’ECHODRONE d’inspecter minutieusement le Deurganckdok en limitant au maximum le nombre de kilomètres (pour optimiser certains paramètres secondaires comme le temps écoulé et la consommation de la batterie).

Pour alimenter le modèle d’apprentissage par renforcement des chercheurs de l’imec, un an de données historiques de planification a été collecté. À partir de ces données, l’algorithme s’est mis au travail. Après seulement quatre heures d’entraînement, le système IA a surpassé le travail des planificateurs humains : le bateau sondeur a couvert les zones demandées et la distance parcourue a été ramenée à 25 km (au lieu des 60 km auparavant).

Transformer les données en or

ECHODRONE est un bel exemple de la puissance de l’apprentissage par renforcement. Mais les applications sont finalement légion. Dans un contexte portuaire, la rationalisation des mouvements de bateaux via les systèmes d’écluses fait partie des possibilités, tout comme la planification du transbordement de marchandises. Dans le secteur de la construction, où les matériaux sont constamment déplacés d’un chantier à l’autre, la technologie peut apporter des gains d’efficacité significatifs. Il suffit de penser au tracé de l’itinéraire optimal pour les bétonnières.

Tout se résume toujours à la même chose : le modèle IA collecte les données, en distille des liens et de l’information et réalise des optimisations. Dans un contexte économique, les données se transforment en or.

Autre avantage: comme les modèles d’apprentissage par renforcement apprennent en parfaite autonomie, un seul modèle peut traiter des données de cas très divers. Les algorithmes développés par les chercheurs d’imec pour le projet ECHODRONE peuvent être facilement déployés dans d’autres applications.

Une attention particulière à la fiabilité, la robustesse et l’explicabilité

Cependant, tout ce qui brille n’est pas or. L’apprentissage par renforcement s’accompagne de défis. Il s’agit essentiellement d’instaurer la confiance dans la technologie, d’avoir une meilleure compréhension sur la manière dont les décisions IA sont prises et de veiller à la fiabilité et à la robustesse des systèmes IA.

La fiabilité est en tout état de cause un premier point de travail, en particulier dans les environnements industriels où les erreurs d’interprétation et de décision peuvent avoir des conséquences graves. Optimiser davantage les algorithmes sous-jacents est donc une priorité.

La robustesse est un autre défi. Pensez à l’usure: un modèle IA pilotant un chariot robotisé peut être adapté pour transporter une charge de dix kilos d’un point à un autre. Mais à mesure que les roulements à billes des roues du chariot s’usent, la résistance supplémentaire générée va finir par entraîner des pertes d’efficience. Aujourd’hui, de tels facteurs ne sont pas encore pris en compte. C’est un problème intéressant qui mérite d’être approfondi.

Enfin, il y a l’explicabilité des décisions IA. Les systèmes IA fonctionnent souvent comme une boîte noire mystérieuse: on connait les données saisies et on voit le résultat qui en découle, mais ce qui se passe derrière les écrans est souvent un mystère. Difficile donc de comprendre comment les décisions sont prises. C’est précisément cette compréhension qui est cruciale si on veut que les opérateurs humains aient confiance dans les suggestions avancées par l’intelligence artificielle. Les visualisations (indiquant par exemple les éléments d’une image pris en compte pour prendre une décision) peuvent aider, mais les chercheurs étudient si d’autres méthodes peuvent être développées pour rendre les décisions des modèles IA plus transparentes.

Conclusion: une aide lors de la prise de décision complexe

L’apprentissage par renforcement est une technique d’apprentissage automatique puissante qui gagne en popularité en raison de sa capacité à apprendre de manière autonome par essais et erreurs, sans données labellisées au préalable. La technologie est adaptée aux applications complexes comme la planification logistique au port d’Anvers-Bruges, où le projet ECHODRONE montre que l’apprentissage par renforcement – même avec un temps d’entraînement limité – peut surpasser les planificateurs humaines en termes d’efficience.

Cependant, malgré les avantages comme la flexibilité inhérente et son applicabilité dans divers secteurs, la technologie présente des défis. Des progrès restent à faire, en particulier dans les domaines de la fiabilité, de la robustesse et de l’explicabilité des décisions. Ces aspects sont des points d’attention pour la poursuite de la recherche et sont fondamentaux pour rendre la technologie de l’apprentissage par renforcement plus largement applicable en toute sécurité.

Ali Anwar, chercheur principal chez IDLab groupe de recherche imec à l’UAntwerpen et l’UGent