Gli esseri umani sono animali sociali, e i nostri vestiti e accessori sono elementi chiave di espressione e comunicazione nella nostra vita quotidiana.Mentre i social network si stanno gradualmente espandendo nel mondo online, così come la necessità di digitalizzare abbigliamento e accessori.

Nel documento di ricerca intitolato MEGANE: Morphable Eyeglass and Avatar Network, i ricercatori dell'Università Nazionale Australiana e Meta si sono concentrati sulla modellazione degli occhiali,un accessorio quotidiano per miliardi di persone nel mondo.In particolare, sostengono che per raggiungere il realismo, non è sufficiente modellare gli occhiali da soli, ma è necessario considerare anche l'interazione degli occhiali con il viso.

Da un punto di vista geometrico, gli occhiali e il volto umano si deformano a vicenda al punto di contatto, per cui la forma degli occhiali e del viso non può essere determinata in modo indipendente.Analogamente, il loro aspetto è accoppiato attraverso il trasporto globale della luce, e ombre e riflessi reciproci possono apparire e influenzare la radiazione.I metodi computazionali per modellare tali interazioni sono quindi necessari per raggiungere il realismo.

I metodi originali non ricreano fedelmente tutte le interazioni geometriche e fotometriche che esistono nel mondo reale, o i risultati di animazione spesso soffrono di incoerenze di vista e tempo.Anche se i metodi di rendering neurale emergenti raggiungono il rendering fotorealistico di teste umane e oggetti generali in modo coerente in 3D, i metodi correlati non tengono conto delle interazioni tra oggetti e portano a combinazioni di oggetti inaffidabili.

A differenza dei metodi esistenti, il team mira a modellare le interazioni geometriche e fotometriche tra le cornici degli occhiali e il viso umano in modo basato sui dati basati sulle osservazioni delle immagini.A tal fine, hanno lanciato MEGANE.

Questo modello unico di occhiali deformabili e rileggeri rappresenta la forma e l'aspetto del telaio e la sua interazione con il volto umano.Per supportare i cambiamenti nella topologia e l'efficienza di rendering, i ricercatori utilizzano una rappresentazione ibrida che combina geometria superficiale e rappresentazioni 3D volumetriche.

Dato che la rappresentazione ibrida fornisce una corrispondenza esplicita tra gli occhiali, la sua struttura può essere deformata in modo sottile in base alla forma della testa.il modello è condizionato da un modello generativo di alta fedeltà della testa umana, permettendogli di colpire specificamente le deformazioni e i cambiamenti di aspetto dell'utilizzatore.