Les modèles d’apprentissage profond ont révolutionné la modélisation des plantes en automatisant l’extraction des caractéristiques des plantes à partir d’images. Ces données à haut débit permettent aux chercheurs d’analyser plus efficacement des caractéristiques complexes des plantes, telles que les modèles de croissance et la sensibilité aux maladies.
Les modèles d'apprentissage profond doivent être formés à l'aide de diverses images pour développer des représentations robustes et généralisées. Cependant, l’obtention de ce type de données est un processus long et gourmand en ressources. Outre la réalisation d’expériences, cela implique la collecte méticuleuse de volumes importants d’images de haute qualité, qui doivent ensuite être segmentées et stockées de manière appropriée. De plus, les images doivent être annotées, où des informations spécifiques sur les objets, les régions ou les attributs qui y sont représentés sont ajoutées à chaque fichier. Cette étape est cruciale pour permettre aux algorithmes de comprendre et d’apprendre efficacement des données.
Pour surmonter la rareté des données de formation, les chercheurs ont exploré l’utilisation de la génération de données synthétiques, qui consiste à créer des images de plantes artificielles imitant les données du monde réel. Les données synthétiques peuvent aider à former plus efficacement les modèles d’apprentissage profond en fournissant des ensembles de données vastes et diversifiés.
Un nouvel article publié dans in silico Plantes par Dirk Helmrich, doctorant au Forschungszentrum Jülich et à l'Université d'Islande, et ses collègues introduit un framework appelé Synavis qui génère des données synthétiques sur les plantes et se connecte et communique directement avec les frameworks de formation d'apprentissage profond.
Synavis est composé de deux composants : un modèle d'usine fonctionnel-structural (FSPM) et Unreal Engine.
Les FSPM simulent une morphologie végétale réaliste, imitant diverses dynamiques de développement végétal dans des conditions environnementales spécifiques. La FSPM CPlantBox est utilisé pour générer des données structurelles d'usine sous forme de graphiques à l'aide d'algorithmes. Un module de visualisation est ensuite utilisé pour produire des plantes 3D à partir des données CPlantBox.
Puis, Unreal Engine, un moteur graphique capable d'un rendu photoréaliste, est utilisé pour générer des représentations visuelles des plantes dans un environnement virtuel. Unreal Engine possède la capacité d'augmenter les données de la scène, notamment la position, la densité, l'âge et l'éclairage des plantes, générant ainsi une variété de variations d'image.
Un aperçu vidéo de Synavis créé par Dirk Helmrich.
Les auteurs ont testé la validité des données rendues à l’aide de Synavis en les comparant aux données réelles d’une expérience menée précédemment. Pour créer des données simulées, CPlantBox a été configuré pour reproduire virtuellement l'expérience. Les images de l'expérience ont été saisies dans CPlantBox et les géométries individuelles simulées des plantes ont été insérées dans l'UE et mises à l'échelle du terrain. Ils ont ensuite comparé les mesures de la longueur du limbe des feuilles des plantes réelles de l’expérience et des plantes simulées. Les mesures obtenues à partir des images synthétiques étaient étroitement liées à celles de l’expérience réelle.
Les images résultantes peuvent être directement intégrées à un modèle d'apprentissage profond à des fins de formation à l'aide de Synavis. Pendant la formation, le modèle apprend à reconnaître les modèles, les caractéristiques et les relations au sein des images. En exposant le modèle à un large éventail de variations d’images, il devient capable de généraliser et de comprendre les structures et caractéristiques sous-jacentes des données visuelles.
« Nous pensons que les données synthétiques peuvent être extrêmement utiles pour lutter contre la rareté des données. Avec Synavis, nous avons développé un ensemble d'outils qui connecte individuellement des frameworks très puissants. Plus important encore, nous voulions concevoir un moyen de vérifier dans quelle mesure nous pouvons réellement répliquer les données, d'une manière plus pratique : en soumettant nos images virtuelles à des pipelines d'analyse de données typiques et en vérifiant si nous parvenons avec succès là où nous avons commencé. " a expliqué Helmrich.
Ce n’est pas le premier cadre de ce type, mais il présente plusieurs avantages par rapport à d’autres approches. « Synavis connecte les frameworks en fournissant une plateforme pour communiquer entre eux. Le couplage est très simple, standardisé et ne nécessite pas non plus de stockage de données. La simulation, le monde virtuel rendu et les outils d'apprentissage profond existent simultanément. Si le modèle prédit correctement une fois et se trompe une autre fois, vous pouvez interpoler entre ces états, toujours avec un environnement virtuel cohérent entre les deux », a conclu Helmrich.
LIRE L'ARTICLE:
Dirk Norbert Helmrich, Felix Maximilian Bauer, Mona Giraud, Andrea Schnepf, Jens Henrik Göbbert, Hanno Scharr, Ebba Þora Hvannberg, Morris Riedel, Un pipeline évolutif pour créer des ensembles de données synthétiques à partir de modèles d'usines fonctionnels et structurels pour l'apprentissage en profondeur, in silico Plants, Volume 6, Numéro 1, 2024, diad022, https://doi.org/10.1093/insilicoplants/diad022
Le code utilisé dans Helmrich et. Al. (2023) est open source et disponible sous le Synavis et SynavisUE référentiels avec un exemple disponible sous SynavisUEexemple. Le code officiel de CPlantBox peut être trouvé sur sur la page GitHub de l'institut. La branche associée à cet article a été forkée vers cette page.
