Dankzij motion capture en gedetailleerde gezichtsscans kunnen tv- en filmproductieteams een dubbelganger van een acteur of actrice nabootsen. Generatieve artificiële intelligentie maakt het proces sneller en eenvoudiger.
Binnenin de bol is de wereld gereduceerd tot een bol van wit licht en flitsen. Buiten het metalen skelet van de bol heerst duisternis. Stel je voor dat je vastgebonden zit in een stoel in dit apparaat. Een stem uit de duisternis suggereert uitdrukkingen: manieren om je mond en wenkbrauwen te poseren, scenario's om op te reageren, zinnen om te zeggen en emoties om te belichamen. Met onregelmatige tussenpozen vertelt de stem je ook dat je je geen zorgen hoeft te maken en waarschuwt dat er snel meer flitsen zullen komen.
'Ik denk niet dat ik flipte, maar het was wel een overweldigende ruimte,' zegt een acteur die Scientific American om privacyredenen vroeg zijn naam niet te noemen. Hij beschrijft zijn ervaring met "de orb", zijn term voor de fotogrammetriecabine die werd gebruikt om zijn gelijkenis vast te leggen tijdens de productie van een grote videogame in 2022. "Het voelde alsof ik in een beeldvormingsmachine met magnetische resonantie zat,' zegt hij. 'Het was echt heel sci-fi.' De ervaring van deze acteur maakte deel uit van het scanproces waarmee mediaproductiestudio's foto's kunnen maken van castleden in verschillende posities en beweegbare, kneedbare digitale avatars kunnen creëren die vervolgens kunnen worden geanimeerd om vrijwel elke actie of beweging in een realistische videosequentie uit te voeren.
Vooruitgang in kunstmatige intelligentie maakt het nu steeds makkelijker om dit soort digitale dubbelgangers te maken, zelfs zonder een intensieve sessie in de orb. Sommige acteurs vrezen een mogelijke toekomst waarin studio's hen onder druk zullen zetten om hun gelijkenis weg te geven en hun digitale dubbelganger hen werk zal afnemen. Dit is een van de factoren die leden van de vakbond SAG-AFTRA (de Screen Actors Guild-American Federation of Television and Radio Artists) motiveren om te gaan staken. 'Artiesten hebben de bescherming van onze beelden en optredens nodig om te voorkomen dat menselijke optredens worden vervangen door kunstmatige intelligentie-technologie,' zei de vakbond in een statement dat een paar dagen na de aankondiging van de staking werd vrijgegeven midden juli.
Hoewel vervanging door kunstmatige intelligentie een verontrustende mogelijkheid is, zijn de digitale dubbelgangers in mediaproducties nog steeds afhankelijk van menselijke performers en speciale effectkunstenaars. Dit is hoe de technologie werkt en hoe AI het gevestigde proces op zijn kop zet.
Hoe digitale dubbeltechnologie werkt
In de afgelopen 25 jaar is het steeds gebruikelijker geworden voor mediaproducties met een groot budget om digitale dubbelgangers te maken van ten minste het gezicht en lichaam van sommige acteurs. Deze technologie speelt vrijwel zeker een rol in elke film, tv-serie of videogame met uitgebreide digitale effecten, uitgebreide actiescènes of de uitbeelding van een personage door een acteur op meerdere leeftijden. "Het is een soort industriestandaard geworden", zegt Chris MacLean, supervisor visuele effecten bij zijn eigen bedrijf MacLean VFX.
De fotogrammetriecabine is een ruimte omringd door honderden camera's, soms opgesteld in een bolvorm en soms rond een vierkante kamer. De camera's nemen duizenden opzettelijk overlappende tweedimensionale beelden van iemands gezicht op met een hoge resolutie. Als een acteur moet spreken of emoties moet tonen, zijn er beelden nodig van veel verschillende gezichtsbewegingen. Daarom hebben hoofdrolspelers uitgebreidere scans nodig dan secundaire of achtergrondrolspelers. Op dezelfde manier worden grotere opstellingen gebruikt om lichamen te scannen.
Met deze gegevens brengen visual effects (VFX)-artiesten het model van tweedimensionaal naar driedimensionaal. De overlap van de foto's is essentieel. Op basis van cameracoördinaten en die overbodige overlappende delen worden de beelden in kaart gebracht en ten opzichte van elkaar gevouwen in een proces dat lijkt op digitale origami. Kunstenaars kunnen vervolgens het resulterende digitale 3D-dubbelbeeld optuigen tot een virtueel "skelet" en het animeren - ofwel door direct de echte, motion-captured performance van een acteur te volgen, ofwel door die performance te combineren met een door de computer gegenereerde reeks bewegingen. De geanimeerde figuur kan dan in een digitaal landschap worden geplaatst en van dialogen worden voorzien-technisch is het mogelijk om de scans van een persoon te gebruiken om fotorealistische videobeelden te maken van iemand die dingen doet en zegt die de acteur nooit heeft gedaan of gezegd.
Special effects artiesten kunnen de digitale prestaties van een acteur ook toepassen op een virtuele avatar die er totaal anders uitziet dan de menselijke persoon. De eerder genoemde videospelacteur zegt bijvoorbeeld dat hij gezichten trok in de orb en zijn tekst opnam in een opnamecabine. Hij speelde ook veel scènes fysiek na in een aparte studio met zijn collega-spelers voor motion capture, een proces dat lijkt op fotogrammetrie maar is ontworpen om de bewegingen van het lichaam vast te leggen. In het eindproduct zullen spelers deze acteur echter niet op het scherm zien. In plaats daarvan werd zijn digitale dubbelganger aangepast om eruit te zien als een schurk met een specifiek uiterlijk. Het uiteindelijke geanimeerde personage manifesteerde dus zowel het werk van de acteur als de eigenschappen van het videogamepersonage.
Film- en televisieproducties gebruiken dit proces al tientallen jaren, hoewel het van oudsher arbeidsintensief en duur is. Ondanks de moeilijkheidsgraad komen digitale dubbelgangers veel voor. Productieteams gebruiken ze vaak om kleine aanpassingen te maken op het gebied van dialoog en actie. De techniek wordt ook gebruikt voor grotere bewerkingen, zoals het nemen van een groep van 100 achtergrondacteurs en deze morphen en dupliceren in een digitale menigte van duizenden. Maar het is makkelijker om zulke dingen op een overtuigende manier te doen als het originele beeldmateriaal dicht in de buurt komt van het gewenste eindresultaat. Bijvoorbeeld, een achtergrondacteur die gescand is in een kostuum dat bedoeld is om kleding uit het 19e eeuwse Europa na te bootsen, zou moeilijk te bewerken zijn in een dystopische toekomst waarin hun digitale dubbelganger een ruimtepak draagt, zegt MacLean. "Ik denk niet dat de studio's zoveel geduld zouden hebben," voegt hij eraan toe.
Toch begint generatieve kunstmatige intelligentie, dezelfde soort machine-learning technologie achter ChatGPT, aspecten van het digitale dubbelproces sneller en eenvoudiger te maken.
AI springt bij
Sommige VFX-bedrijven gebruiken al generatieve AI om het uiterlijk van een digitale dubbelganger sneller aan te passen, merkt MacLean op. Dit maakt het makkelijker om een beroemde acteur te "de-agen" in films zoals Indiana Jones and the Dial of Destiny, die een flashback bevat met een jonger uitziende versie van de nu 81-jarige Harrison Ford. AI is ook handig voor gezichtsvervanging, waarbij de gelijkenis van een acteur over een stuntdubbel wordt gelegd (in wezen een gesanctioneerde deepfake), volgens Vladimir Galat, hoofd technologie van de Scan Truck, een mobiel fotogrammetriebedrijf.
Galat zegt dat de vooruitgang in AI sommige fotogrammetriescans overbodig heeft gemaakt: Een generatief model kan worden getraind op bestaande foto's en beelden, zelfs van iemand die niet meer leeft. Digital Domain, een VFX-productiebedrijf dat werkte aan Avengers: Endgame, zegt dat het ook mogelijk is om valse digitale optredens van historische figuren te maken. 'Dit is een zeer nieuwe technologie, maar een groeiend onderdeel van ons bedrijf', zegt Hanno Basse, Chief Tech Officer van Digital Domain.
Tot nu toe zijn er nog levende mensen betrokken bij het maken van voorstellingen "door" overledenen. Een acteur in levenden lijve voert een scène op, waarna effectkunstenaars hun gezicht vervangen door dat van de historische persoon. 'We zijn van mening dat de nuances van de prestaties van een acteur, in combinatie met onze AI en machine learning toolsets, van cruciaal belang zijn voor het bereiken van fotorealistische resultaten die een publiek kunnen boeien en de uncanny valley kunnen doorbreken,' zegt Basse, verwijzend naar de griezelige sensatie die soms wordt veroorzaakt door iets dat er bijna-maar-niet-heel-menselijk uitziet.
Angst voor robotvervanging
Er is een verschil tussen het aanpassen van een digitale dubbelganger en het volledig vervangen van iemands prestaties door AI, zegt computeringenieur Jeong Joon "JJ" Park, die momenteel onderzoek doet naar computervisie en graphics aan de Stanford University en dit najaar een functie krijgt aan de Universiteit van Michigan. De uncanny valley is breed en er is nog geen generatief AI-model dat een complete, fotorealistische, bewegende scène vanuit het niets kan produceren - die technologie komt niet eens in de buurt, merkt Park op. Om zover te komen, "moet er een grote sprong gemaakt worden in de intelligentie die we aan het ontwikkelen zijn", zegt hij. (AI-gegenereerde beelden zijn misschien moeilijk van echt te onderscheiden, maar het maken van realistische stilstaande beelden is veel eenvoudiger dan het maken van video die bedoeld is om een 3D-ruimte weer te geven).
Toch dreigt het gevaar van misbruik van de gelijkenis van acteurs. Als het gezicht van een persoon gemakkelijk kan worden verwisseld met dat van een ander, wat weerhoudt filmmakers er dan van om Tom Cruise in elke opname van elke actiefilm te stoppen? Wat weerhoudt studio's ervan om 100 achtergrondacteurs te vervangen door slechts één en AI te gebruiken om de illusie van velen te creëren? Een patchwork van staatswetten betekent dat mensen op de meeste plaatsen juridisch eigenaar zijn van hun eigen beeltenis, zegt Eleanor Lackman, een advocaat op het gebied van auteursrecht en handelsmerken. Maar ze merkt op dat er brede uitzonderingen zijn voor artistiek en expressief gebruik, en het maken van films zou daar makkelijk onder kunnen vallen. En ongeacht de wet zou iemand legaal een contract kunnen tekenen waarin hij zijn eigen gelijkenisrechten overdraagt aan een productiemaatschappij, legt Jonathan Blavin uit, een advocaat gespecialiseerd in media en technologie. Als het aankomt op het beschermen van iemands digitale gelijkenis, komt het allemaal neer op de details van het contract-een situatie waar SAG-AFTRA zich goed van bewust is.
De acteur die vorig jaar de schurk in het videospel speelde, voelde zich op zijn gemak toen hij werd gescand voor zijn rol. 'Het bedrijf waar ik mee werkte was vrij eerlijk,' zegt hij. Maar in de toekomst zal hij misschien niet zo snel overeenkomsten sluiten. 'De mogelijkheden van wat AI kan doen met gezichtsherkenning, en wat we hebben gezien bij de [prestrike onderhandelingen], is beangstigend,' zegt hij. De acteur houdt van videogames; hij vond het spannend om in één ervan te acteren en hoopt dat nog eens te kunnen doen. Maar eerst, zegt hij, "zou ik het papierwerk dubbelchecken, overleggen met mijn agentschap en misschien een advocaat.
