Les modèles graphiques pour l'extraction de la sémantique d'images

Abstract

Dans ce travail, nous proposons un modèle permettant la recherche de la sémantique d'une image pour des fins d'indexation et d'annotation automatique. Il est composé de deux étapes. La première étape consiste en l'extraction des descripteurs visuels de l'image. Trois attributs sont considérés, la couleur dans les deux espaces : RVB et HSV, la texture avec les ondelettes de Gabor, et l'attribut forme avec les points d'intérêt SIFT. Ces caractéristique sont de bas niveau et ne véhiculent aucune sémantique particulière sur l'image. De ce fait, une deuxième étape a été mise en oeuvre. Elle consiste en un apprentissage de concepts, en adoptant un modèle graphique. Ce modèle est un réseau bayésien, il permet la liaison des différents concepts pouvant être présents dans une image. Une inférence dans ce réseau permettra de trouver pour une image donnée l'ensemble des concepts qu'elle inclut. Afin d'évaluer le modèle proposé, nous avons développé un prototype sur un corpus d'images. Ce prototype prend une image requête, en entrée, effectue une recherche, et retourne les concepts qui figurent dans l'image en question.