Sous-sections


Interpolation de points de vue

Les méthodes décrites dans cette section permettent de calculer des images intermédiaires entre deux points de vue de référence de la scène. La plus simple est le morphing [BN92,Smi90]. Le morphing est une technique qui permet de créer les images intermédiaires entre deux images par interpolation des couleurs et des formes. Pour cela, des correspondances, des éléments de contrôle, sont établies entre les deux images (segments de droite [BN92] ou des sommets de maillage [Smi90]), puis ces éléments de contrôle sont interpolés, généralement linéairement, entre les deux points de vue. Les autres points de la nouvelle image sont interpolés de façon plus complexe (bilinéaire, splines) entre les éléments de contrôle les plus proches.

Si les deux images représentent deux points de vue d'une scène, cette technique ne fonctionne que si les caméras de référence sont parallèle, sinon l'interpolation est peu réaliste, comme le montre la figure 1.32, et ne correspond à aucun point de vue réel.

Figure 1.32: Morphing [SD96]
\includegraphics[%
width=1.0\columnwidth,
keepaspectratio]{eps/ea-morphing.eps}

Avec connaissance implicite de la géométrie

Dans cette partie, nous survolons les techniques d'interpolation de point de vue issues du domaine de la Vision Stéréoscopique. Etant donné le très grand nombre de travaux dans ce domaine, nous ne nous attardons que sur les méthodes les plus en relation avec nos travaux.

Ces techniques sont dites de ''prédiction algébrique de pixels'' et ont été spécifiquement developpées pour synthétiser de nouvelles images d'une scène uniquement à partir de photographies. Pour cela, la ''géométrie'' de l'image est décrite sous forme de cartes de correspondances liant plusieurs vues de référence de cette scène. Une carte de correspondance est un tableau 2D appariant deux pixels issus de deux images de référence de la scène. Les pixels appariés correspondent approximativement au même point 3D dans l'espace de la scène. Grâce à cet appariemment et à la connaissance des caractéristiques des caméras, ont peut obtenir la profondeur des points. Cet appariement peut être créé de diverses façons, comme par exemple en établissant des correspondances entre deux images d'un référentiel positionné dans la scène, et extrait par des techniques de traitement d'images. La géométrie est donc dite implicite car il faut l'extraire des images. Ces méthodes sont également appelées ''techniques de transfert'' de pixels car elles consistent à ''transférer'' dans la nouvelle image chaque pixel de l'image de référence. A la différence de la reprojection de pixels vue précédemment, le problème est inversé : ces techniques visent à prédire la position dans l'image source d'un pixel donné de l'image à construire. En fonction du type de caméra, de la position des points de vue (alignés ou non, par exemple), les équations algébriques de transfert sont plus ou moins complexe. On distingue les méthode de transfert trifocal, épipolaire et linéaire. Pour une description de ces méthodes, voir la thèse de Frédéric ABAD [Aba03].

Interpolation de point de vue

Chen et Williams [CW93] ont ainsi présenté une méthode d'interpolation de point de vue (View Interpolation) basée sur le principe du transfert linéaire. Leur méthode synthétise de nouvelles vues à partir d'images de référence pour lesquelles ils établissent des correspondances permettant de déplacer les points d'une image à l'autre. Chaque pixel se déplace donc dans l'image de son emplacement d'origine à son emplacement d'arrivée en suivant une ligne droite. Ainsi, ils génèrent toutes les images intermédiaires entre deux images. D'une façon générale, les pixels en mouvement ne sont pas exactement au bon endroit (par rapport à la scène réelle), mais cette interpolation linéaire donne de bons résultats tant que les deux points de vue de référence ne sont pas trop éloignés. Par ailleurs, si les plans de projections des caméras des points de vue de référence et du point de vue à générer sont parallèles, leur interpolation est exacte. Etant donné que plusieurs pixels peuvent être déplacés au même endroit, un tampon de profondeur doit être utilisé. Les trous qui inévitablement apparaîssent sont remplis en interpolant les couleurs des pixels adjacents différents du fond.

Figure 1.33: View morphing ([SD96])
[Image de départ]\includegraphics[%
width=0.17\columnwidth,
height=3cm,
keepaspectratio]{eps/ea-view-morphing1.eps}\includegraphics[%
width=0.20\columnwidth,
height=3cm,
keepaspectratio]{eps/ea-view-morphing2.eps}\includegraphics[%
width=0.20\columnwidth,
height=3cm,
keepaspectratio]{eps/ea-view-morphing3.eps}\includegraphics[%
width=0.20\columnwidth,
height=3cm,
keepaspectratio]{eps/ea-view-morphing4.eps}[Image d'arrivée]\includegraphics[%
width=0.17\columnwidth,
height=3cm,
keepaspectratio]{eps/ea-view-morphing5.eps}

Déformation de point de vue

Seitz et Dyer [SD96] ont introduit le déformation de point de vue (View Morphing) qui peut être vues comme une extension des travaux de Chen et Williams. Leur méthode consiste à prédéformer les images de référence avant de les interpoler linéairement. La prédéformation permet d'obtenir des images parallèles pour lesquelles l'interpolation par transfert linéaire est exacte. Une fois l'interpolation effectuée et l'image intermédiaire aux points de vue calculée, l'image est redéformée pour donner l'image finale (post-warping). Voir la figure 1.34 page [*].

Figure 1.34: View Morphing de l'image $ I_{0}$ vers l'image $ I_{1}$. L'image intermédiaire $ I_{s}$ est créée par post-warping de l'image $ \hat{I_{s}}$ elle même obtenue par transfert linéaire entre les images $ \hat{I_{0}}$ et $ \hat{I_{1}}$.
\includegraphics[%
width=0.40\columnwidth,
height=5cm,
keepaspectratio]{eps/ea-view-morphing-shema.eps}

Avec connaissance explicite de la géométrie

D'autres méthodes permettant de créer les images intermédiaires entre des points de vues de référence basées sur une géométrie explicite ont été proposées.

Les images à multiples centres de projection [RB98] (MCOP, ''Multiple Center of Projection''), par exemple, permettent de reconstuire l'image d'une scène pour un chemin 3D positionné par l'utilisateur autour de la scène. Une structure est créée en effectuant le rendu de la scène pour des positions d'échantillonnage de la courbe 3D et en stockant une partie de l'image résultante dans une image spéciale stockant en plus des pixels la position de la caméra (cf. figure 1.35(a)). Cette image représente l'objet vu selon tous les angles de vues du chemin 3D (figure 1.35(b)). Elle est utilisée pour pouvoir effectuer le rendu de la scène pour tous les points de vue intermédiaires entre les positions d'échantillonnage.

Figure 1.35: Images à multiples centres de projection [RB98]
[Acquisition]\includegraphics[%
width=0.40\columnwidth,
height=4cm,
keepaspectratio]{eps/ea-MCOP.eps}[Exemple d'image MCOP]\includegraphics[%
width=0.40\columnwidth,
height=4cm,
keepaspectratio]{eps/ea-MCOP-image.eps}

Dans [Hal98], Halle présente également une méthode permettant d'interpoler des vues d'une scène de synthèse en tirant parti de la cohérence de la variation de perspective d'un point de vue à un autre. Ici, les points de vue de référence sont régulièrement répartis sur un plan. La variation de perspective entre un point de vue et un autre, pour un déplacement horizontal (pour simplifier), sont représentées par une image créée à partir d'une tranche du volume spatio-perspectif. Le volume spatio perspectif est l'empilement des images obtenues par les points de vue d'une ligne (image 1.36 page [*]).

Figure 1.36: Multiple Viewpoint Rendering [Hal98]
\includegraphics[%
width=1.0\columnwidth,
keepaspectratio]{eps/ea-MVR1.eps}

Cette tranche-image (une EPI, ''Epipolar Plane Image'') est alors représentée/décomposée en primitives géométriques 2D. Le rendu de la scène selon les points de vues intermédiaires aux points de vue de référence s'effectue en reconstruisant l'image ligne par ligne à partir des EPI elles même reconstruites par le rendu des primitives géométriques les constituant. La reconstruction des EPI est effectuée par la carte graphique.

Porquet Damien 2005-03-02