Traiter l'image stéréoscopique pour convertir de la 3D en 2D


7

Je me demande s'il est possible de prendre une image stéréoscopique et de les résumer de manière à en faire une image monoscopique, avec le point de vue résultant au centre de l'endroit où les deux points de vue se trouvent réellement.

Par exemple, si j'avais deux caméras d'environ 1 pi. à part, chacun prend une image d'un sujet de 3 pieds. en même temps, pourrais-je prendre les images résultantes, les traiter et faire apparaître l'image résultante comme si elle était prise à partir d'une 3ème caméra placée au centre des deux extérieures?

Existe-il des outils pour ce type d'interpolation? Je me souviens de quelques scènes dans le making of matrice où ils ont parlé de remplir des cadres de rotation, et il n'a fallu que 4 ou 5 caméras pour gérer la prise de vue. (Pour être juste, je me souviens aussi de la partie où ils avaient toute une gamme de caméras, chacune prenant une image.)

Est-ce possible? Si oui, quels outils utiliseriez-vous pour le faire?

Semble sur le sujet pour moi. J'ai pris la liberté de supprimer l'autodérision. Bienvenue à photo.SE!
Reid 23.11.2010 23:10
Réponses (3):
9

Vous pourriez probablement dans la plupart des cas reconstruire une image qui semble convaincante, mais vous ne pouvez pas recréer ce qui est réellement vu d'un point entre les points de vue.

Prenez par exemple une image qui est prise juste devant une clôture en bois, où les deux points de vue sont chacun au milieu d'un panneau de sorte qu'ils ne voient que le panneau. Un point de vue entre les deux verrait entre les panneaux:

    ^
    |
--- | ---
 o x o

Il n'est bien sûr pas possible de recréer ce qui est vu entre les panneaux à partir des deux images du panneau.

Dans la plupart des images, il y aurait certains angles qui n'étaient pas vus d'un point de vue, mais qui auraient été vus d'un point de vue au milieu. Un outil qui créerait une image monoscopique devrait deviner ce qui aurait pu être vu.


4

Découvrez Piku Piku.

Pour autant que je sache, ils utilisent quelque chose comme un flux optique pour trouver les pixels correspondants dans les deux images, puis utilisent les informations de profondeur pour créer une vue interpolée, avec une simple supposition du plus proche voisin pour les pixels manquants. Cela fonctionne assez bien sur les images stéréoscopiques avec lesquelles je l'ai essayé, et donne un effet amélioré sur wiggle stéréoscopie. Vous pouvez voir les pixels remplis et quelques erreurs dans cet exemple.

En général, cela est appelé vue d'interpolation.

+ 1 pour le flux optique. Une autre possibilité pour cela est l'excellente Fonderie Kronos plugin pour After Effects. La licence est inférieure à 1 $par jour à louer.
Ian Mackinnon 24.11.2010 15:17

1

Dans de nombreux cas, tels que la clôture en bois de Guffa, c'est impossible. Dans certains autres cas, comme un foyer infiniment lointain, c'est trivial. Pour tout le reste, il est juste vraiment, vraiment dur. Il y a des morceaux de logiciels pour le faire, y compris le firmware sur le Kinect. L'astuce est que vous devez prendre les deux vues et les utiliser pour produire un modèle 3d du monde devant la caméra, puis produire une vue de ce monde à partir du point souhaité.

Avec certains des projets Kinect actuels, vous pouvez déplacer arbitrairement le point de vue virtuel, en regardant la scène d'en haut ou de côté. Plus vous vous éloignez des caméras, plus il y a d'informations indisponibles, et donc plus il y a de lacunes dans l'image résultante.

Très intéressante. Je ne savais pas que Kinect pouvait faire ça. J'avais l'impression que lors de la prise de vue d'images ou de vidéos, il utiliserait simplement une seule caméra, et que l'utilisation des deux caméras était strictement pour calculer les aspects 3d. Très intéressante...
Brad 24.11.2010 04:32
Vous n'obtenez la vidéo que d'une seule caméra à la fois, mais vous pouvez basculer entre elles. Ensuite, vous obtenez deux modèles différents du monde presque en accord, sur lesquels baser votre projection finale.
Sparr 24.11.2010 06:28
Je me demande s'ils utilisent les technologies développées par Microsoft Research pour Photosynth pour cela...
Rowland Shaw 24.11.2010 09:01

Questions recommandées