Post de IRT SystemX

𝟮𝟰 𝗵𝗲𝘂𝗿𝗲𝘀 𝗽𝗼𝘂𝗿 𝗶𝗺𝗮𝗴𝗶𝗻𝗲𝗿 𝗹𝗲 𝗳𝘂𝘁𝘂𝗿 𝗱𝗲 𝗹'𝗶𝗻𝘁𝗲𝗹𝗹𝗶𝗴𝗲𝗻𝗰𝗲 𝗮𝗿𝘁𝗶𝗳𝗶𝗰𝗶𝗲𝗹𝗹𝗲. C'est le défi qu'a relevé Lucas Thil, chercheur à l'IRT SystemX, lors du hackathon 𝗛𝗮𝗰𝗸 𝘁𝗵𝗲 𝗪𝗼𝗿𝗹𝗱𝘀, qui réunissait une centaine de participants sélectionnés parmi près de 700 candidats.   Parrainé par Yann LeCun, prix Turing et pionnier de l'architecture 𝗝𝗘𝗣𝗔 et PHILIPPE BAPTISTE Ministre de l'Enseignement Supérieur, l'événement invitait les équipes à concevoir un 𝗪𝗼𝗿𝗹𝗱 𝗠𝗼𝗱𝗲𝗹 : une nouvelle génération de modèles d'IA capables de construire une représentation interne du monde, au-delà de la simple prédiction de texte.   💡 Avec trois amis, Lucas choisit un sujet aussi ambitieux qu'original : 𝗹𝗲 𝗰𝗲𝗿𝘃𝗲𝗮𝘂 𝗻𝘂𝗺𝗲́𝗿𝗶𝘀𝗲́ 𝗱'𝘂𝗻𝗲 𝗺𝗼𝘂𝗰𝗵𝗲… téléchargé dans une simulation qui pilotait un corps artificiel.   Pourquoi une mouche ? Parce qu'avec seulement 𝟭𝟯𝟴 𝟬𝟬𝟬 𝗻𝗲𝘂𝗿𝗼𝗻𝗲𝘀, elle est capable de voler, de trouver de la nourriture ou d'éviter des prédateurs. Des capacités qui restent hors de portée de nombreux modèles d'IA de taille comparable. L'équipe est alors partie d'un connectome complet de mouche numérisé pour concevoir un 𝗪𝗼𝗿𝗹𝗱 𝗠𝗼𝗱𝗲𝗹 𝗱𝗲 𝘀𝗼𝗻 𝗰𝗲𝗿𝘃𝗲𝗮𝘂.   Leur approche ? → une architecture hiérarchique, avec un World Model par région cérébrale ; → l'intégration de la structure biologique du cerveau dans le modèle ; → l'apprentissage des représentations internes de la mouche plutôt que de son environnement.    Résultat : le modèle parvient à 𝗽𝗿𝗲́𝗱𝗶𝗿𝗲 𝗹'𝗮𝗰𝘁𝗶𝘃𝗮𝘁𝗶𝗼𝗻 𝗱𝗲𝘀 𝗻𝗲𝘂𝗿𝗼𝗻𝗲𝘀 et à 𝗰𝗼𝗻𝘁𝗿𝗼̂𝗹𝗲𝗿 𝗹𝗲 𝗰𝗼𝗿𝗽𝘀 𝘃𝗶𝗿𝘁𝘂𝗲𝗹 𝗱𝗲 𝗹𝗮 𝗺𝗼𝘂𝗰𝗵𝗲, démontrant ainsi sa capacité à modéliser son fonctionnement.   L'équipe a également montré que cette approche : ✅ améliore les performances grâce à une architecture hiérarchique ; ✅ limite les phénomènes de collapse dans des espaces de très grande dimension (138 000 neurones, 55 millions de synapses) ; ✅ permet d'extraire les intentions de la mouche à partir des représentations apprises.     👏 Félicitations à Lucas et à son équipe pour cette seconde place et pour ce projet qui illustre parfaitement la curiosité scientifique, l'audace et l'excellence des talents qui font vivre la recherche à l'IRT SystemX. Ses collègues lors du hackathon : Daniel Nowak Assis, Louis Berthier, Adam Jlidi Idrissa Dicko, stagiaire chez SystemX, a également participé au hackathon. Lui et son équipe ont développé ASM-JEPA, une approche combinant DiffusionNet avec un objectif JEPA pour l'apprentissage auto-supervisé de représentations 3D sur des maillages (dataset DFaust).    Les organisateurs : Aymeri G., Matthieu Ostertag, Thomas Chesneau--Daumas, ACADI Réinventons le progrès, ESIEE PARIS, Ecole Nationale Supérieure des Mines de Nancy, PR[AI]RIE-PSAI   #ArtificialIntelligence #WorldModels #Hackathon #MachineLearning #Innovation