Cuddles – Part IV – Bunny ball ball
After the NFT project, we went through a pause phase during which we took part in a motion capture contest organized by Rokoko, which had just released its mocap system using a single camera, regardless of the model. We had to come up with an animation idea fairly quickly given the limited time available.
Après le projet NFT nous avons connu une phase de pause pendant laquelle nous nous somme lancé dans un concours de motion capture organisé par Rokoko qui venait de mettre en ligne son système de mocap via une seule caméra, peu importe le modèle. Il fallait trouver une idée d’animation est assez vite vu le peu de temps dont on disposait.
After several tests, I decided to go with Cuddles wandering through a live-action shot, which later evolved into “Cuddles in a full CG environment” to better match a candy-pink universe.
The challenge of this project: to get usable mocap data.
It wasn’t easy, but after a few camera placement tests, a three-quarter front view capture produced good results. However, the captured data required a significant amount of cleanup.
Après plusieurs tests, je suis parti sur Cuddles qui déambule dans une prise de vue réelle, qui s’est par la suite transformé en “Cuddles dans un environnement full CG” afin de coller un peu plus à un univers rose bonbon.
Le challenge de ce projet: obtenir une mocap fonctionnelle.
Ce n’était pas chose aisée mais après quelques tests de placement de caméra, une capture en vue trois quart face donnait de bons résultats. Cependant les données acquises nécessitaient un gros travail de nettoyage.
To hide Cuddles’ feet sliding on the floor, I initially chose a medium shot (American shot). Since the first version was filmed in the real world, it was possible to cheat with Cuddles’ position. In addition, because capturing the walk on a treadmill resulted in a “walking in place” motion, the rig was linked to a null to simulate the character’s forward movement.
Pour masquer les pieds de Cuddles qui glisse sur le sol, j’avais opté dans un premier temps pour une valeur de plan américain. Comme la première version était tournée dans le monde réel, il était possible de tricher avec la position de Cuddles. Par ailleurs, comme la capture de la marche sur tapis roulant donnait un résultat de marche sur place, le rig était lié à un null pour simuler l’avancée du personnage.
This first version, although interesting, lacked a bit of punch. So I moved toward integrating the character into a fully 3D environment. Here we could move farther away from Cuddles and, to once again hide the feet sliding on the floor, I created a particle simulation using Tyflow.
Cette première version; bien qu’intéressante, manquait un peu de peps. Je suis donc parti sur une intégration du personnage dans un environnement full 3D. Ici nous pouvions être plus éloigné de Cuddles et pour masquer, encore une fois, les pieds glissant sur le sol, je me suis lancé dans une simulation de particules via Tyflow.
For the rendering, due to time constraints, I had to think of a way to quickly obtain the background. While the foreground was rendered with Arnold directly in 3ds Max, I had two options for the background: the simple one—render a still image and place it in 3D space during compositing by matching the 3ds camera with the compositing camera via an FBX—or the more complex version: render a moving background shot (a tracking/travelling).
Obviously, I went with the more complex option (the natural way of proceeding for an Alsatian brain), though I first quickly tested the simple version, which did the job but lacked that extra bit of parallax.
Pour le rendu, manquant de temps, j’ai dû réfléchir à un moyen de rapidement obtenir l’arrière plan. Tandis que le premier plan était calculé avec Arnold directement dans 3ds Max, j’avais 2 solutions pour le fond: la simple: rendre une image fixe et la placer dans l’espace 3D au moment du compositing en faisant correspondre la caméra 3ds à la caméra de compositing via un FBX, OU, la version plus complexe: rendre un travelling du fond.
Évidemment je suis parti sur la version plus complexe (façon naturelle de procéder pour un cerveau Alsacien) non sans avoir avant rapidement testé la version simple, qui faisait le taf mais, il manquait ce petit effet de parallaxe en plus.
Note the optimization of the box contents using the displacement + normal × alpha map method
I therefore decided to use Unreal Engine and Lumen. Each terminal is a blueprint containing all the 3D elements that were duplicated to create the corridors of the room. If I remember correctly, the materials were created directly in UE4, except for the Cuddles boxes, which had already been created during the previous phase of the project. Needless to say, rendering this part of the set was incredibly fast. All that remained was to composite the different passes!
J’ai donc décidé de passer par Unreal Engine et Lumen. Chaque borne est un blueprint contenant tous les éléments 3D qui ont été dupliqués pour créer les couloirs de la pièce. De mémoire les matériaux ont directement été créés dans UE4, sauf pour les boîtes de Cuddles, éléments déjà créé lors dans la phase précédente du projet. Inutile de préciser que le rendu de cette partie du décor était incroyablement rapide. Il ne restait alors plus qu’à compositer les différentes couches!
During the project’s design phase, I had started working on an alternative version of the animation, but it was not selected, probably too subtle compared to the character mood. You will also find the jury’s review of the video just below!
Lors de phase de conception du projet, j’étais parti sur une version alternative de l’animation mais qui n’a pas été retenue, sans doute trop discrète par rapport au personnage. Vous trouverez aussi la review de la vidéo par le jury juste en dessous!
The best part, the complete making of video:
Enfin, voici la vidéo making of complète du projet: