Dit TETRA-project, gesteund door het Agentschap Innoveren & Ondernemen zal de verworven kennis rond Generative AI toepassen voor de creatieve industrie.
Situering
Door de opkomst van Generative AI staan we aan de vooravond van een revolutie in de creatieve industrie. Generative AI omvat algoritmes waarmee nieuwe content gecreëerd kan worden, zoals audio, code, tekst, beelden en video (McKinsey, 2023). De laatste innovaties op dit gebied gebeuren via diffusiemodellen: recente voorbeelden zijn text-to-image applicaties zoals DALL-E 2, Midjourney en Stable Diffusion. Deze toepassingen, die vanuit een tekstuele briefing (de text prompt) beelden genereren, evolueren razendsnel op vlak van kwaliteit en toepassingsmogelijkheden. Het project Creative AI wil Vlaamse kmo’s in de creatieve industrie optimaal voorbereiden op deze revolutie.
De afgelopen maanden veroorzaken text-to-image algoritmen een schokgolf in de creatieve sector. Voor de visuele ontwerpsector is de komst van Generative AI even ingrijpend als de introductie van Photoshop en 3D-animatie. De opeenvolgende evoluties en overvloed aan AI-tools maken het echter moeilijk voor kmo’s om te bevatten waartoe de technologie in staat is en om de vinger aan de pols te houden. Bovendien zijn text-to-image toepassingen in de eerste plaats als Proof of Concept (POC) op consumenten gericht. Vlaamse kmo’s ervaren nog belemmeringen om de technologie te implementeren in een professionele context. Dit bleek uit de werkveldbevraging bij 25 designbureaus voor AI-Driven Design (PWO, 2020-2022) en werd bevestigd tijdens gesprekken met de begeleidingsgroep (+60 bedrijven). Om aan deze noden tegemoet te komen, werken creatieve, technologische en user research profielen van drie onderzoeksgroepen van de AP Hogeschool Antwerpen multidisciplinair samen: Immersive Lab; Media, Design en IT en MAXlab (Koninklijke Academie voor Schone Kunsten Antwerpen), die hun expertise bundelen rond AI, audiovisuele en immersieve productie en user research.
Dit project sluit aan bij de centrale doelstelling van het Vlaams Beleidsplan AI (2019) enerzijds door te focussen op de implementatie van Generative AI-toepassingen in de Vlaamse creatieve industrie en anderzijds door in te spelen op urgente opleidingsnoden van de arbeidsmarkt en beleidsaanbevelingen te formuleren rond juridische, ethische en deontologische aspecten van AI.
Algemeen doel
Het project Creative AI wil bruikbare handvaten aanreiken aan de creatieve industrie: design, reclame en marketing, media en video en eXtended Reality (XR). Concreet spelen we in op de volgende noden die we vaststelden via diverse werkveldbevragingen (i.f.v. de projecten Deep Design Dreams, AI-Driven Design en Creative AI):
- Radarfunctie en meerwaarde AI-tools (WP 1): Bedrijven kijken voorbij de hype en willen weten welke AI-tools nu al inzetbaar zijn in workflows. Door de snelle technologische evoluties en gebrek aan R&D afdeling kunnen ze deze uiteenlopende tools niet zelf uittesten en de meerwaarde beoordelen.
- Technologische en creatieve drempels (WP 2): Professionals behalen niet de gewenste resultaten met de beschikbare tools en kunnen niet iteratief via gerichte controle toewerken naar professionele resultaten. Creative AI speelt in op deze en andere creatieve én technologische drempels.
- Juridische, ethische en deontologische vragen (WP 3): Bedrijven zitten met juridische vragen rond intellectuele eigendom. Mediaspelers hebben ethische en deontologische vragen rond nieuws.
- Opleidingsnoden in kaart brengen (WP 4): Zonder voorkennis is het moeilijk om via prompting tot professionele resultaten te komen, daarom zijn nieuwe vaardigheden en opleidingen nodig.
Concrete doelen
- Radar voor de creatieve industrie (WP 1): Nieuwe Generative AI-toepassingen detecteren, aligneren met de noden van de industrie, uittesten en evalueren.
- Creatieve en technologische drempels verlagen (WP 2): Inspirerende Proof of Concepts (POC’s) en prototypes ontwikkelen rond 4 thema’s (zie figuur 1) die aansluiten bij de dagelijkse werking van creatieve professionals, zoals ideatie en workflowoptimalisatie. We gaan de “blackbox” openen en passen bestaande AI-tools aan voor professioneel gebruik.
- Beleidsaanbevelingen i.v.m. juridische, ethische, deontologische vragen (WP 3): Vanuit deskresearch, gesprekken en user research aanbevelingen formuleren voor beleidsmakers.
- Opleidingspakket ontwikkelen (WP 4): Infosessies (breed publiek), workshops (algemeen of/en thematisch), blueprints, lesmateriaal (tutorials, powerpoints, veelgestelde vragen) o.b.v. een inspiratiegids voor het genereren van origineel beeldmateriaal, dat afgestemd is op de intenties van de gebruiker.
Succesindicatoren
- KPI 1: Concreet willen we 40 bedrijven en non-profit organisaties (na 1 j) en 80 (na 2j) bereiken, die aangeven de kennis van het Tetra-project te zullen toepassen.
- KPI 2: Om de mogelijkheden van AI-tools te illustreren, ontwikkelen we 10 POC’s (na 1j) en 4 prototypes (na 2j).
- KPI 3: We ambiëren om 340 (na 1j) en 706 studenten (na 2j) passief en actief te betrekken via gastlezingen, workshops, bachelorproeven, studentenprojecten en stageplaatsen.
- KPI 4: We willen kennis verspreiden via 5 publicaties (na 1j) en 10 publicaties (na 2j): zoals lezingen op conferenties, publicaties in nieuwsbrieven/vakbladen en academische publicaties.
Impact
- Economische impact bereikt bij 290 bedrijven uit de creatieve sector die efficiënter kunnen werken, dankzij betere kennis en vaardigheden over Generative AI en aangepaste AI-tools voor de creatieve industrie.
- 30 inspirerende Proof of Concepts zijn ontwikkeld voor innovatieve AI-pipelines voor de drie AV Productie fasen en voor twee Design Thinking fasen, waarvan 16 POC’s door onderzoekers en 14 POC's door studentenprojecten (in opdracht van bedrijven).
- 835 AP-studenten werden betrokken op een actieve en passieve manier (zoals bachelorproeven, studentenprojecten, infosessies, gastlessen of demo’s)
- Beleidsaanbevelingen geformuleerd rond juridische en ethische aspecten van genAI voor de creatieve sector
- Kennis werd verspreid naar een breed publiek via 27 activiteiten: 5 events (waarvan 1 slotevent en 1 MediaNet event), 4 nieuwsbrieven, 3 brainstormsessies & focusgroepen, 2 panelgesprekken, 14 workshops & inspiratiesessies. Opleiding op maat kan je aanvragen via immersivelab@ap.be.
Resultaten
- AI-tools voor AV-Producties: overzicht van bruikbare AI-tools voor de 3 fasen van een AV-productie: Preproductie (Script, Storyboard, Moodboard & Concept Art), Productie (Motion Capture, Video) en Postproductie (Editing & Grading, Audio, VFX, 3D, Upscaling).
- AI-tools voor Design Thinking: overzicht van relevante AI-tools voor Design Thinking Understand, Ideate, Prototype, Materialize).
- Whitepaper 4S-framework schept orde in de AI-chaos en maakt AI-processen begrijpelijk voor de creatieve sector. We ontwikkelden het “4S-framework” zodat makers en teams op een overzichtelijke en hands-on manier kunnen samenwerken met AI. Het co-creatieproces mens-AI bestaat uit 4 dynamische fasen: Sense, Sample, Shape, Stage.
- Whitepaper Legal aspects (i.s.m. advocatenkantoor Timelex) bundelt veelgestelde juridische vragen vanuit de creatieve sector over het gebruik van GenAI.
- Creative AI Playbook is een levende bibliotheek van 'seeds' (30 inspirerende POC's, tutorials, handleidingen en samenwerkingen met bedrijven). Het Playbook is meer dan een verzameling usecases, het is de praktische vertaling van het 4S-framework. Het 4S-framework én het Playbook zijn creaties van het Immersive Lab en gebaseerd op 5 jaar onderzoek (TETRA Creative AI, PWO AI-Driven Design, PWO Deep Design Dreams).
- Voor het TETRA-vervolgproject General World Models wordt het Creative AI Playbook aangevuld met relevante casestudies, methodieken en inzichten rond GenAI voor video en animatie.
Meer informatie? Mail naar immersivelab@ap.be (Jeroen Cluckers en dr Silvia Van Aken, projectverantwoordelijken).
Wil je meer weten over de activiteiten van het Immersive Lab? Volg dan de nieuwspagina.
