Facial motion capture

Il Facial motion capture (abbreviato in facial mocap, in italiano "cattura del movimento facciale") è il processo di conversione dei movimenti facciali di una persona (espressioni e microespressioni) in un database digitale usando videocamere o scanner di altro tipo. Questo database può essere successivamente riutilizzato per produrre animazioni di computer grafica per film, giochi o avatar real-time. Dato che il movimento degli avatar virtuali è replicato da quello delle persone reali, risulta in definitiva più realistico rispetto alle tecniche tradizionali basate sull'animazione manuale.

Una database di mocap facciale descrive le coordinate o le posizioni relative dei punti di riferimento sulla faccia dell'attore. La registrazione può essere in due dimensioni, caso in cui il processo è a volte chiamato "expression tracking" (in italiano "tracciamento dell'espressione"), oppure in tre dimensioni. Le registrazioni bidimensionali possono essere fatte con semplici camere digitale e con l'ausilio di applicazioni FLOSS (come i tool di motion capture di Blender) o con software specifico low cost, come Zign Creations' Zign Track. Questo procedimento produce tracciamenti meno sofisticati e non può catturare in maniera completa movimenti tridimensionali come la rotazione della testa. Operazioni di motion capture tridimensionali vengono effettuate usando impianti multi-camera o sistemi laser con marcatori. Questi sistemi sono in genere più costosi, complicati e richiedono più tempo per essere usati. Esistono due tecnologie predominanti: sistemi di tracciamento con e senza marcatori (marker e markerless).

Il Facial Motion Capture è collegato al body motion capture (in italiano "cattura del movimento del corpo"), ma è più complesso a causa della maggior risoluzione richiesta per individuare e tracciare le microespressioni dettate anche da minimi movimenti degli occhi e delle labbra. Questi movimenti sono speso nell'ordine di pochi millimetri e richiedono maggior risoluzione e fedeltà di acquisizione, oltre a diverse tecniche di filtraggio, rispetto ai metodi utilizzati nel body motion capture

Il Facial expression capture(in italiano "cattura dell'espressione facciale") è simile al Facial Motion Capture. Si tratta di un processo che usa metodi visuali o meccanici per manipolare personaggi virtuali, basandosi sull'input di facce di persone reali, oppure viene utilizzato per riconoscere le emozioni di un utente.

Uno dei primi articoli in cui si discute di animazione facciale basata su una performance di una persona reale è stato pubblicato da Lance Williams nel 1990. L'autore descrive un metodo per acquisire le espressioni di facce reali, applicandole a volti virtuali.^[1]

Nel sistema tradizionale basato sui marcatori vengono applicati sino a 350 punti di controllo sulla faccia degli attori, il cui movimento viene tracciato da camere ad alta risoluzione. Questo metodo è stato utilizzato in film come The Polar Express e Beowulf, per permettere ad attori come Tom Hanks di guidare le espressioni facciali di molti personaggi differenti. Sfortunatamente questo sistema è piuttosto macchinoso e rende le espressioni degli attori in qualche modo artificiali, soprattutto dopo le fasi di livellamento e filtraggio. I sistemi di nuova generazione, come CaptiveMotion, utilizzano metodi derivati dalle tecniche tradizionali, sfruttando una maggior definizione dei dettagli.

Una tecnologia di marcatura attiva a LED è attualmente usata per operare animazioni facciali guidate in tempo reale.

Le tecnologie markerless (senza marcatori) utilizzano per il tracciamento alcune caratteristiche del volto, come le narici, gli angoli delle labbra e degli occhio e le rughe. questi sistemi sono stati discussi e studiati al CMU,^[2] all'IBM,^[3] all'University of Manchester (dove molti progetti sono iniziati con il lavoro di Tim Cootes,^[4] Gareth Edwards e Chris Taylor) ed in altri istituti. Questo metodo è meno macchinoso e permette una maggiore espressività agli attori.

Questo approccio basato permette anche di tracciare il movimento delle pupille, delle palpebre, l'occlusione dei denti da parte delle labbra e della lingua, tutti problemi comuni alla parte delle animate computerizzate.

La tecnologia di tracciamento facciale markerless è collegata a quella dei sistemi di riconoscimento facciale (in inglese Facial recognition system). D'altra parte alcuni di questi sistemi non tracciano direttamente le espressioni o addirittura falliscono in caso di esspressioni non neutre, cosicché non sono sempre utilizzabili per il tracciamento facciale.

Il motion capture facciale markerless è stato sviluppato in alcuni sistemi commerciali, come Image Metrics, che è stato utilizzato in film come i sequel di The Matrix e in The Curious Case of Benjamin Button. Quest'ultimo ha utilizzato il sistema Mova per registrare un modello facciale deformabile, successivamente animato con una combinazione di tracciamento visuale e manuale.^[5] Avatar è un altro famoso film basato sul motione capture facciale, anche se ha utilizzato marcatori.