Wat als je tijdens het filmen met één korte prompt een blauwe plek kan toevoegen, een storende microfoon uit beeld kan halen of de belichting kan aanpassen? Met PAIC (Promptable AI-Camera) maken AP-onderzoekers Jeroen Cluckers en Lowie Spriet dat mogelijk. Hun technologie laat toe om videobeelden in real time met behulp van artificiële intelligentie te bewerken. Nu staan ze klaar om de technologie verder te vermarkten, samen met Joshua Hall als developer.
Jeroen en Lowie lichten hun uitvinding aan ons toe. Let op: het wordt technisch.
Hoe kwamen jullie op het idee?
Jeroen Cluckers legt uit. “Het diende eigenlijk voor een photobooth op een kerstfeestje van ons team. We hadden al langer het idee om real-time AI te gebruiken, maar we merkten dat dit nog niet was wat het moest zijn, het was gewoon niet snel genoeg, ongeveer één frame om de 3 seconden. We wilden dit tot aan de normale framerate krijgen van 24 fps. Lowie had dan het idee om dit te schalen over meerdere GPU’s, maar dan kom je op een hardwarematig probleem uit, want je moet meerdere frames verwerken in chronologische volgorde.”
Lowie gaat verder: “We hebben daarom die architectuur uitgebouwd om het correct te kunnen schalen over die meerdere GPU’s. We hebben daarvoor een patentaanvraag ingediend en nu gaan we naar een spin-off.”
Het resultaat is PAIC: geen fysieke camera, maar een softwaretechnologie die AI-bewerkingen rechtstreeks tijdens de video-opname mogelijk maakt.
Waarom is het belangrijk om AI in real time te kunnen gebruiken?
“Als je het effect van AI live wil ervaren, op bijvoorbeeld live events, dan is deze technologie noodzakelijk,” is Lowie van overtuigd. Jeroen verduidelijkt: “Live experiences ontwikkelen zonder AI is altijd maatwerk, maar de duur van zo’n installatie is meestal vrij kort. Dus je komt uit op complexe installaties, die heel snel hun nieuwigheidswaarde verliezen. Met PAIC hoef je weinig op voorhand te maken, je hardware blijft hetzelfde, maar je experience kan je iedere keer opnieuw uitvinden. Ook bij video-productie is het een meerwaarde, nu wordt meestal offline AI gebruikt: je prompt iets, je moet even wachten, je krijgt een resultaat. Is het resultaat niet goed, dan moet je weer volledig aanpassen en opnieuw wachten. 'Die fijnmazige editing ontbreekt. Wanneer je je resultaten in real time ziet ga je in een heel ander soort interactie met je content dan wanneer je telkens eventjes moet wachten en iets ziet. Dus je komt in een ander soort creatieve flow en gaat ook andere dingen doen."
Als je het effect van AI live wil ervaren, op bijvoorbeeld live events, dan is deze technologie noodzakelijk. - Lowie Spriet
Die nieuwe manier van werken kan een grote impact hebben op het productieproces van video's. Denk bijvoorbeeld aan een acteur met een wonde in het gezicht die je tijdens de opname wil verwijderen, een microfoon die onbedoeld in beeld komt of een belichting die niet helemaal goed zit. Vandaag moeten zulke aanpassingen vaak vooraf worden voorbereid of achteraf in de montage worden weggewerkt. Met PAIC kunnen filmmakers verschillende mogelijkheden meteen tijdens de opname uittesten en bijsturen.
Ook locatieopnames kunnen profiteren van de technologie. Is het plots bewolkt of regent het, of is de lichtinval niet ideaal? Dan kan je het beeld aanpassen zonder dat je de opname noodzakelijk moet onderbreken.
Zo brengt PAIC de verschillende fases van videoproductie – voorbereiding, opname en nabewerking – dichter bij elkaar. Het traditionele productieproces verloopt doorgaans in opeenvolgende stappen. Een fout die pas tijdens de montage opduikt, rechtzetten op de set is vaak duur en complex. Met realtime AI kunnen makers sneller experimenteren en aanpassingen uitvoeren op het moment zelf.
Wat zijn de volgende stappen?
Nu start de spin-off: een nieuw bedrijf bedoelt om specifiek deze technologie naar de markt te brengen. Ondertussen stapten onderzoeker en developer Joshua Hall en business developer Yoav Nir mee aan boord. Ze zien vooral kansen in livebelevingen op locatie, videoproductie en broadcasting. Tegelijk blijven ze werken aan technische verbeteringen, zoals een hogere beeldresolutie en beeldsnelheid. Op termijn willen ze PAIC integreren in bestaande platformen, zodat de technologie breder kan worden ingezet.
PAIC in actie tijdens Halloween in Maldegem
Dat de technologie ook buiten de onderzoeksomgeving tot de verbeelding spreekt, bleek tijdens de Halloweenwandeling in Maldegem, waar Joshua de technologie presenteerde. Bezoekers konden er live ervaren hoe PAIC hen transformeerde in een skelet zodra ze voor de camera passeerden.
Rachel Gallet, mede-organisator van het Comité voor Initiatief – Maldegem, blikt tevreden terug: “Meer dan 2.200 mensen namen deel en achteraf ontvingen we heel wat foto’s van bezoekers die hun ervaring deelden. Wat vooral opviel, was hoe mensen zichzelf herkenden in de AI-gegenereerde beelden. Dat maakte de ervaring heel persoonlijk. Iedereen had zijn eigen favoriete moment en er werd volop gepraat over de technologie erachter. Het was bijzonder om te zien hoe 'PAIC' op zo’n groot Halloween-event voor het eerst ook een concrete toepassing kreeg en zoveel enthousiasme losmaakte bij de deelnemers. Wij waren enorm positief en het deed helemaal wat we ervan hadden verwacht op ons live-event!”
Wat vooral opviel, was hoe mensen zichzelf herkenden in de AI-gegenereerde beelden. Dat maakte de ervaring heel persoonlijk. - Rachel Gallet
De Halloweenwandeling vormde zo een eerste concrete demonstratie van hoe PAIC live experiences kan verrijken. En voor de onderzoekers is het tegelijk een belangrijke stap in de verdere ontwikkeling en vermarkting van hun technologie. In onderstaande video kan je een bundeling zien van verschillende momenten tijdens het event.
