ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique
Autres revues >>

Traitement du Signal

0765-0019
Signal, Image, Parole
Nouvel éditeur en 2019
 

 ARTICLE VOL 34/HS - 2017  - pp.63-87  - doi:10.3166/ts.2018.00006
TITRE
Rendu basé image avec contraintes sur les gradients

RÉSUMÉ

Le rendu basé image consiste à générer un nouveau point de vue à partir d’un ensemble de photos d’une scène. On commence en général par effectuer une reconstruction 3D approximative de la scène, utilisée par la suite pour synthétiser l’image cherchée à partir des images sources. Malheureusement, les discontinuités dans les poids des images sources, dues à la géométrie de la scène ou au placement des caméras, causent des artefacts visuels dans la vue résultante. Dans cet article, nous montrons qu’une façon d’éviter ces artefacts est d’imposer des contraintes supplémentaires sur le gradient de l’image synthétisée. Nous proposons une approche variationnelle suivant laquelle l’image cherchée est solution d’un système linéaire résolu de façon itérative. Nous testons la méthode sur plusieurs jeux de données multivues structurés et non structurés, et nous montrons que non seulement elle est plus performante que les méthodes de l’état de l’art, mais elle élimine aussi les artefacts créés par les discontinuités de visibilité.



ABSTRACT

Multi-view image-based rendering consists in generating a novel view of a scene from a set of source views. In general, this works by first doing a coarse 3D reconstruction of the scene, and then using this reconstruction to establish correspondences between source and target views. The final image can be obtained by warping and blending the input views: this is a direct rendering method. An alternative approach is to use a variational method, in which a smoothness term is used to regularize the solution. The expression of the energy is derived from the Bayesian formulation of the posterior: it is composed of a data term that forces the solution to fit the input images in intensity, and a smoothness term that accounts for what we know a priori about the solution, assumed to be a relatively smooth natural image. This energy functional is derived and optimized by iteratively solving a linear system.

The recent work of Pujades et al. (2014) derived new weights of contribution of each input image in the energy, that are based on the reconstructed scene geometry. Unfortunately, discontinuities in these weights, due to imperfect geometry reconstruction or camera placement, result in artifacts in the target view. In this paper, we show how to avoid these artifacts by imposing additional constraints on the image gradients of the novel view. We propose a variational framework in which a new data term is added to the energy functional. This term forces the solution to be close to the data (the input views) in the gradient domain. It comes from the observation that a contour in the input images that is visible from the target view should also appear in the image solution.

Our rendering method is generic, and could be applied to any camera placement. In particular, we provide details on the derivation of the warps and the weights of contribution based on a set of depth maps that are generated from the input views thanks to a multi-view stereo algorithm. We demonstrate our variational rendering algorithm on several structured (HCI Light Field Benchmark Datasets and Stanford Light Field Archive) and unstructured (Strecha et al., 2008) multi-view datasets, and show that it numerically outperforms state-of-the-art methods, and eliminates artifacts that result from visibility discontinuities. Moreover, it enforces the continuity property that was first stated by Buehler et al. (2001) as a property that any ideal algorithm should satisfy.



AUTEUR(S)
Grégoire NIETO, Frédéric DEVERNAY, James CROWLEY

MOTS-CLÉS
rendu basé image, reconstruction 3D, imagerie computationelle.

KEYWORDS
image-based rendering, 3D reconstruction, computational photography.

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 7.5 €
• Non abonné : 15.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (39,29 Mo)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier