Deepfakes: verrassende toepassingen van AI-gemanipuleerde video’s
Deepfakes zijn nepvideo’s die bijna niet van echte te onderscheiden zijn. Deepfakes triggeren dan ook – terecht – vragen rond betrouwbaarheid en desinformatie. Onderzoeker Kristin Van Damme toont je echter enkele verrassende, positieve toepassingen.
De digitale verrijzenis van Elvis in de finale van America’s Got Talent, een opmerkelijke aankondiging van presentator Thomas Vanderveke, zingende Tom Cruise en de gekende waarschuwing van Obama: mogelijk zag je de afgelopen maanden enkele ‘deepfakes’ passeren.
Deepfakes zijn videobeelden die aan de hand van artificiële intelligentie gemanipuleerd zijn. Dat resulteert in nepvideo’s die bijna niet van echte te onderscheiden zijn. Hierdoor zeggen of doen mensen schijnbaar iets wat ze nooit in werkelijkheid hebben gezegd of gedaan. Deepfakes triggeren dan ook – terecht – vragen rond betrouwbaarheid en desinformatie. Want wat als mensen geen onderscheid meer kunnen maken tussen échte en valse video’s?
Tegelijk zijn er ook enkele verrassende, positieve toepassingen. Hierbij een overzicht!
1. Parodieën en satire
Vandaag worden deepfakevideo’s vooral gebruikt voor humoristische doeleinden. Gezichten van acteurs worden er aan de hand van ‘face swap’-technologie vervangen door andere gezichten.
Let op: De konijnenpijp aan hilarische deepfakevideo’s is héél diep en kan leiden tot heel wat kijktijd 😉
Een van mijn persoonlijke favorieten blijft deze scène van Friends, waarbij alle gezichten van de New Yorkse huisgenoten vervangen worden door het gezicht van Nicolas Cage.
Deze video gaat helemaal mee in de ASMR-trend (wat staat voor ‘autonomous sensory meridian response‘), waarbij alle gezichten vervangen zijn door Snoop Dogg.
2. Overleden personen opnieuw laten leven
Een tweede toepassing is het inzetten van deep learning voor het opnieuw tot leven wekken van overleden personen. Archiefbeelden worden hierbij gebruikt om acteurs het gezicht en de stem te geven. Op het digitaal laten herrijzen van doden brengt natuurlijk ethische vragen met zich mee. Chris Umé (2021) vertelde in zijn gastcollege aan studenten journalistiek dan ook dat hij de nabestaanden van overleden bondscoaches Raymond Goethals en Guy Thys betrok bij de ontwikkeling van het ‘It’s Deviltime!’-filmpje.
En dan wist ik dat het resultaat goed zat.
Naar aanleiding van het Europees kampioenschap mannenvoetbal 2020, werd een video gemaakt waarin voormalige bondscoaches mee supporteren voor de Rode Duivels. Bekijk hier de making of van die video.
Dalí zei ooit: “Si muero, no muero por todo,” or “If I die, I won’t completely die.” En dat nam het Dalí Museum in St. Petersburg, Florida vrij letterlijk. Ze lieten de surrealistische artiest herleven aan de hand van artificiële intelligentie. Bekijk hoe ze dat deden.
3. Digitale verjonging
Een van de eerste toepassingen van AI-gemanipuleerde beelden is het digitaal verjongen van sterren in films. De zogeheten Digital De-aging Technology laat toe om rimpels weg te werken, maar evengoed acteurs tientallen jaren jonger én ouder te laten worden. Want waarom zou je hopen op een lookalike Samuel L. Jackson voor een nieuwe Captain Marvel-film, als je gewoon kan werken met de échte (Welk, 2019)?
Voor de film Gemini Man kreeg acteur Will Smith een digitale 23-jaar jongere kloon van zichzelf. Benieuwd hoe dat in z’n werk ging? Ontdek het in deze making-off.
Klinkt digitale verjonging als toekomstmuziek? Think again! Deze video geeft tien voorbeelden van blockbusters die gebruikmaken van digitale verjonging.
4. Deepfake-anonimisatie
Een van de interessantste toepassingen van deepfaketechnologie vind ik – niet geheel toevallig, gezien mijn achtergrond als journalistiekonderzoeker – het anonimiseren van mensen in videobeelden. Soms willen personen met een persoonlijk of gevoelig verhaal niet herkenbaar in beeld komen en vragen ze om anoniem te kunnen getuigen. Anonimiseren gebeurt vaak door zwarte balkjes of wazig maken, maar daardoor gaan veel details verloren.
Door het inzetten van deepfake om mensen te anonimiseren blijven micro-gelaatsuitdrukkingen zichtbaar, zonder dat de identiteit van personen onthuld wordt. Er wordt in dat geval wel eens gesproken van ‘safe fakes‘ (Klomp et al., 2021).
Hét schoolvoorbeeld van deepfake-anonimisatie is de documentaire Welcome to Chechnya, een portret van een groep moedige activisten in Tsjetsjenië. Ze nemen ongelooflijke risico’s om de LGBTQ-gemeenschap die onderdrukt wordt, te beschermen (VRT, 2022).
5. Kunstwerken tot leven laten komen
Een vijfde toepassing is het tot leven laten komen van portretten en schilderijen. Iconische werken worden plots ‘échte’ mensen.
6. Hypergepersonaliseerde avatars
De personages van (online) games zien er steeds realistischer uit. En dankzij deepfaketechnologie kan je jezelf binnenkort ook uploaden. Al kan je nog steeds urenlang je avatar ook tweaken: die keuze ligt helemaal bij jou.
7. Realistisch dubben van video’s
Ik eindig met wat ik voorspel als de meestgebruikte vorm van deepfakevideo’s: ‘synthetic film dubbing‘ of ‘deepdubbing‘, waarbij personen verschillende talen spreken. Bij AI dubbing leert het neuraal netwerk hoe een gezicht van een acteur beweegt bij bepaalde klanken. Datzelfde neutrale netwerk leert ook hoe de lippen van verschillende personen bewegen die een andere taal spreken. Wanneer het deepdub-algoritme klaar is, kan het gezicht van de originele acteur via lipsyncing aangepast worden aan elke vreemde taal.
Een stap verder gaat het nog wanneer ook de originele stem van de acteur wordt aangepast naar de verschillende talen. In deze teaser van Metaphysics wordt Avicii-hit Wake Me Up gezongen in drie talen: Engels, Chinees en Spaans. Door dezelfde persoon, met dezelfde stem. In dat geval praten we over voice cloning technology (Kite-Powell, 2021). Maar dat brengt ons naar een andere blogpost 😉
Deze video toont het verschil tussen traditioneel dubbel en deepfake dubbing met lipsynctechnologie.
In een campagne om malaria de kop in te drukken, ‘spreekt’ David Beckham negen verschillende talen. Hier hoor je de stem veranderen, maar nog indrukwekkender wordt het wanneer ook de stem van Beckham hoorbaar zou zijn in die verschillende talen.
Meer weten?
Vanuit Arteveldehogeschool bieden we een workshop aan rond deepfakes. Eerst maak je kennis met synthetische media in een theoretische module. Aansluitend maak je eerst zélf een deepfake om zo beter te begrijpen waar je moet op letten. Nadien vertrekken we van use cases om inzicht te krijgen in de gevaren én mogelijkheden van synthetische media.
Bronnen
- jvh (2022, 15 september). ‘America’s got talent’, en toch: “De origineelste act die we ooit hebben gezien”. Het Nieuwsblad. https://www.nieuwsblad.be/cnt/dmf20220915_91914676
- Kite-Powell, Jennifer (2021, 21 september). The rise of voice cloning and deepfakes in the disinformation wars. Forbes. https://www.forbes.com/sites/jenniferhicks/2021/09/21/the-rise-of-voice-cloning-and-deep-fakes-in-the-disinformation-wars/?sh=2fe4a92e38e1
- Klomp, Sander, van Rijn, Matthew, Wijnhoven, Rob, Snoek, Cees G.M., de With, Peter (2021). Safe Fakes: Evaluating face anonymizers for face detectors. IEEE International Conference on Automatic Face and Gesture Recognition 2021. https://arxiv.org/pdf/2104.11721.pdf
- Medianest (2022). Wat is ASMR? En zijn ASMR video’s wel zo onschuldig? https://www.medianest.be/wat-asmr-en-zijn-asmr-videos-wel-zo-onschuldig
- Metaphysic (2022). Building the hyperreal metaverse. https://metaphysic.ai/
- VRT (2022). DOCU Welcome to Chechnya. VRT MAX. https://www.vrt.be/vrtnu/a-z/welcome-to-chechnya/
- Welk, Brian (2019, 8 oktober). 22 actors digitally de-aged on film, from Brad Pitt to Robert De Niro (Photos). The Wrap. https://www.thewrap.com/actors-who-have-been-de-aged-on-film-from-brad-pitt-to-robert-de-niro-photos/
Lees ook
5 digitale marketeers om te volgen voor de laatste trends
In de snel veranderende wereld van digitale marketing is bijblijven essentieel. Het volgen van toonaangevende experts is een van de beste manieren om dat te doen. Dit zijn 5 experten die onze docenten zelf volgen en aanraden.
Vergeet apps en tools: storytelling maakt of kraakt je content
‘Shit, Tiktok is hot & happening, dus wij zullen dat ook wel moeten doen, toch? En wat met AI? Al die tools, we zullen daar wel mee aan de slag moeten, maar hoe? HELP!’
Het ontwikkelen van een in full colour 3D geprint prototype aan de hand van 3D-modelling en UV-mapping
Lees hoe we prototypes ontwikkelen zonder fysiek object: van 3D-modellering tot realistische kleuren en texturen. Ontdek het in onze blog!
Klinisch leiderschap: ‘Nice to have’ of pure noodzaak?
Door de hervorming van de klinische ladder en de veranderende verantwoordelijkheden binnen verschillende functieprofielen, zijn leiderschapsvaardigheden bij zorgverleners van groot belang. Maar wat maakt klinisch leiderschap zo essentieel? En welke eigenschappen hebben zorgverleners nodig om de uitdagingen van het zorglandschap het hoofd te bieden?