ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique
Autres revues >>

Traitement du Signal

0765-0019
Signal, Image, Parole
Nouvel éditeur en 2019
 

 ARTICLE VOL 34/HS - 2017  - pp.9-34  - doi:10.3166/ts.2018.00008
TITRE
Descripteur sémantique local contraint basé sur un descripteur RNC diversifié

RÉSUMÉ

Les représentations sémantiques décrivant les images par un ensemble de classifieurs de concepts ont montré des performances intéressantes en vision. Habituellement, toutes les sorties des classifieurs sont exploitées, mais il a été récemment montré que forcer le descripteur à être parcimonieux améliore les performances et la mise à l’échelle. Cependant, ces approches considèrent un niveau de parcimonie fixe pour un ensemble d’images, ne tenant donc pas compte du contenu de chaque image. Nous proposons une méthode qui détermine automatiquement ce niveau de parcimonie en fonction du contenu des images. Cette méthode évalue la quantité d’information de chaque image, en la modélisant par l’entropie de Shannon du descripteur ainsi que par la certitude renvoyée par les classifieurs. Appliquer notre méthode à des descripteurs sémantiques locaux revient donc à contraindre localement la description de chaque région de l’image. Nous proposons également un nouveau descripteur moyen-niveau plus adapté à la conception des descripteurs sémantiques. Celui-ci est extrait d’un Réseau de neurones convolutifs (RNC) pré-appris avec une nouvelle stratégie d’apprentissage proposée dans ce papier. La validation expérimentale est conduite dans les cadres de classification et de recherche d’images par le contenu. Notre méthode surpasse l’état-de-l’art dans les deux cas.



ABSTRACT

Semantic features represent images by the outputs of a set of visual concept classifiers and have shown interesting performance in image classification and retrieval. All classifier outputs are usually exploited but it was recently shown that feature sparsification improves both performance and scalability. However, existing approaches consider a fixed sparsity level which disregards the actual content of individual images. Moreover, they only consider the global information of the images and describe them using semantic features on top of existing Convolutional Neural Network (CNN) pre-trained on a particular classification task, which is sub-optimal for transfer-learning purpose. Hence, in this paper, we propose three contributions to remedy these limitations:

  • a method to determine automatically a level of sparsity for the semantic features that is adapted to each image content;
  • a method that extract local regions from the global image and constrain them with the preceding method;
  • a more suitable mid-level feature for the design of semantic features.

The first contribution takes into account the amount of information contained by the image through a modeling of the semantic feature entropy and the confidence of individual dimensions of the feature. The second contribution consists in the investigation of the first method on a local scheme. We observe that a constraint phenomenon of each region emerges when applying the first method in the context of local regions. The last contribution consists to extract mid-level features from a CNN pre-trained with a new learning strategy. Experimental validation is conducted in the context of image classification and retrieval. Our method which consists of the combination of the three contributions described above, achieves state-of-the-art performances on both tasks.



AUTEUR(S)
Youssef TAMAAZOUSTI, Hervé LE BORGNE, Adrian POPESCU, Étienne GADESKI, Alexandru GINSCA, Céline HUDELOT

MOTS-CLÉS
classification d’images, recherche d’images, descripteurs sémantiques, parcimonie adaptative, descripteurs sémantiques locaux contraints, stratégie d’apprentissage des réseaux de neurones convolutifs.

KEYWORDS
image classification, image retrieval, semantic features, adaptable sparsity, constrained local semantic features, learning strategy of convolutional neural networks.

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 7.5 €
• Non abonné : 15.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (24,57 Mo)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier