Proposition d'une nouvelle approche YOLOv8+SAM pour la segmentation de pommes.

Abstract

Nous sommes fiers de présenter notre travail sur la segmentation d'images de pommes. Notre projet repose sur une approche intelligente en combinant deux modèles pré-entraînés pour obtenir une segmentation précise. Dans un premier temps, nous avons utilisé le modèle pré-entraîné YOLOv8, reconnu pour sa capacité à détecter et encadrer les objets dans une image. En ajoutant une couche supplémentaire et en ré-entraînant le modèle sur notre propre jeu de données contenant 1120 images de pommes que nous avons soigneusement étiquetées, nous avons adapté le modèle pour se spécialiser dans la détection précise des pommes. Une fois le modèle entraîné, nous avons extrait les coordonnées des boîtes englobantes qui encadrent les pommes détectées. En utilisant ces coordonnées comme indication, nous avons appliqué un autre modèle pré-entraîné appelé SAM pour effectuer la segmentation du contenu des boîtes englobantes. Cette approche nous a permis d'obtenir une segmentation précise des pommes dans les images. Notre projet démontre une excellente combinaison de transfert d'apprentissage et d'utilisation de modèles pré-entraînés pour résoudre un problème spécifique de segmentation d'images de pommes. En adaptant et en ré-entraînant le modèle YOLOv8 sur notre propre jeu de données, nous avons réussi à obtenir des résultats de détection précis. Ensuite, l'utilisation du modèle SAM pour segmenter le contenu des boîtes englobantes nous a permis d'obtenir une segmentation détaillée des pommes. Ce projet ouvre des perspectives intéressantes pour l'automatisation de la segmentation des fruits, en particulier des pommes. Les résultats que nous avons obtenus pourraient être utilisés dans diverses applications, telles que le tri automatique des fruits ou l'analyse de la qualité des récoltes. En conclusion, notre travail présente une approche prometteuse pour la segmentation d'images de pommes en combinant habilement des modèles pré-entraînés, le transfert d'apprentissage et l'entraînement sur notre propre jeu de données. Les résultats obtenus sont encourageants et ouvrent de nouvelles perspectives dans le domaine de la segmentation des fruits. Ces avancées pourraient trouver des applications concrètes, telles que le tri automatique des fruits ou l'analyse de la qualité des récoltes. Nous sommes ravis des résultats que nous avons obtenus jusqu'à présent et nous sommes impatients de voir comment ces travaux pourront être utilisés pour améliorer les processus liés à la segmentation des pommes et potentiellement d'autres fruits.