Les mouvements et les positions des marqueurs sont interprétés en gestes qui agissent comme des instructions d'interaction pour l'application sur les interfaces projetées.

Les mouvements et les modalités de ces fiducials sont interprétées dans les gestes, et agissent en tant que mode d’interaction du projet d’interfaces d’application.

Les mouvements et les positions des marqueurs sont interprétés en gestes qui agissent comme des instructions d’interaction pour l’application sur les interfaces projetées.

L'algorithme a d'abord détecté une série de points relativement invariables dans le visage (points fiduciaires: coins des yeux et de la bouche, narines, etc.).

Le logiciel traite les données de flux vidéo capturé par la caméra et le suivi de la couleur des marqueurs (visual tracking fiducials) à l’extrémité des doigts de l’utilisateur en utilisant de simples techniques de vision par ordinateur.