Catégories : Unity3d
Publié le mercredi, 08 novembre 2017

Ces dernières semaines vous n’avez pas pu éviter les annonces concernant les sorties des iPhone 8 et X, ainsi que l’apparition des apps utilisant la technologie de réalité augmentée ARKit d’Apple. Et bien avec la sortie de l’iPhone X, il a été révélé que ARKit intégrait aussi des fonctionnalités de suivi du visage avec la caméra à l’avant du téléphone, celle qui est déjà utilisée pour la fonctionnalité de Face ID.

Depuis plusieurs mois déjà Unity a mis à disposition un plugin ARKit permettant d’utiliser cette technologie. Plus récemment ils ont travaillé avec Apple pour ajouter ces nouvelles fonctionnalités de suivi du visage dans le Unity ARKit plugin que vous pouvez retrouver sur BitBucket.

Fonctionnalités de la reconnaissance faciale

Comme Unity les décrit, il existe 4 fonctionnalités principales de reconnaissance faciale dans ARKit.

Face Anchor

ARKit permet déjà de placer une ancre sur un plan, maintenant il est possible de le faire sur un visage. Cette ancre va donc suivre la position et l’orientation du centre de la tête. Cela permet d’utiliser les mouvements du visage comme input dans une app ARKit, et aussi de fixer des objets au niveau du visage qui suivront les mouvements de la tête.

Face Mesh Geometry

L’API de suivi de visage permet de détecter la géométrie du visage et d’en tirer un mesh qui sera exploitable dans Unity. Ainsi vous pouvez utiliser le mesh dans Unity avec une texture transparente pour ajouter toutes sortes de motifs et de masques sur le visage. Il est aussi possible d’associer au mesh un matériel occultant pour que les objets attachés à la face anchor cachent de manière efficace les parties du visage situées en dessous des objets.

Blend Shapes

Un autre type de données obtenues par le suivi de visage sont les coefficients qui décrivent les expressions du visage. Ces dernières peuvent ensuite être projetés sur des visages virtuels pour qu’ils aient la même expression, similaire aux Animoji de l’iPhone X.

Directional Light Estimate

Enfin, le suivi de visage permet d’obtenir une estimation de la lumière directionnelle de la scène, en prenant le visage comme une sonde de lumière dans la scène. L’estimation contient trois éléments :

  • La direction de la lumière principale
  • L’intensité de la lumière principales
  • Les coefficients d’harmoniques sphériques de l’éclairage de l’environnement dans toutes les directions.

Ce dernier élément peut être utilisé dans Unity pour générer l’éclairage dynamique globale de la scène.

Utilisez la reconnaissance faciale dans vos créations

Ces fonctionnalités sont donc disponibles dès maintenant avec le plugin ARKit de Unity, testez, amusez vous et retrouvez les créations des autres développeurs sur Twitter avec #madewithunity et #unityarkitplugin

Ajouter un commentaire

...