User:E.Stevens/toolsofthetradeedwin

Gezichtsuitdrukkingen

Door middel van onze gelaatexpressies kunnen wij non-verbaal met elkaar communiceren. Via onze gezichtsuitdrukkingen geven wij voortdurend signalen aan elkaar. En meestal verraad het gezicht onze ware gevoelens. Volgens mij beseffen we niet hoe vaak wij onze gezichtsuitdrukkingen gebruiken. Ik ben gefascineerd op een chemie tussen twee mensen die door middel van een frons of een ander gelaatsexpressie al heel veel verteld.

Ideeën

1. Gezichtsuitdrukkingen vertaald naar filmmuziek

2. Gezichtsuitdrukkingen vertaald naar codetaal (bv. Enigma-apparaat)

Sensor

Voor het testen van mijn sensor (Kinect) maak ik gebruik van het programma Faceshift. In het programma programmeer ik verschillende gelaatsexpressies uit door met mijn gezicht te draaien voor de Kinect. Vervolgens heb ik mijn gezichtsuitdrukking gemarkt die het voorbeeldgezicht laat zien.

Je eigen gelaatsexpressie kan je vervolgens ook exporteren naar een 3D bestand die je, bijvoorbeeld, in Meshlab kan openen.

Research

INTRODUCTIE

De makkelijkste manier om onze gevoelens weer te geven is door middel van gezichtsuitdrukking of gelaatexpressie. Het is een communicatiemiddel waar wij dagelijks mee te maken hebben. Het versterkt en geeft meer duidelijkheid aan een verhaal. Onze emoties zijn het eerst te lezen van ons gezicht en zullen vaak onbewust getoond worden. Om gevoelens herkenbaar te maken aan andere is het niet alleen nodig dat iedereen dezelfde uitdrukkingen gebruikt, personen moeten de emoties bij andere ook herkennen.

De synchronisatie tijdens het verloop van een gesprek, de onderlinge afstemming van de partners op elkaar, verloopt voor een belangrijk deel via het uitwisselen van blikken. Als gesprekspartners geven we elkaar signalen waarmee we de verdeling van de gesprekstijd regelen. Het zien van een hoofdknik, bijvoorbeeld, betekent toestemming om door te praten. Hoewel ook andere signalen een rol spelen, vormt de uitwisseling van blikken het belangrijkste hulpmiddel. Het aankijken is misschien wel ons belangrijkste non-verbale communicatiemiddel.

In de veelheid van gegevens die ons dagelijks passeert, zijn we voortdurend bezig met selecteren, filteren en ordenen. We zijn er beter in dan computers, vooral als de gegevens visueel voorgesteld worden. Een belangrijke functie van ons brein is patroonherkenning. Kunnen we verbanden ontdekken in de informatie die ons bereikt? Het kunnen herkennen van patronen vergrootte de kans op overleven voor de mens in de oertijd. Als het bijvoorbeeld enkele dagen achter elkaar regende, wisten onze voorouders dat de regentijd was aangebroken, en dat het tijd werd ergens anders heen te gaan.

Bijvoorbeeld in films verbinden wij als kijker de blikken en gezichtsuitdrukkingen van acteurs en actrices aan het verhaal. Ik vind het vooral fascinerend hoe één wenkbrauw beweging een verhaal verteld en dat de meeste mensen dat begrijpt. Zo las ik uit nogmaals uit mijn filmgeschiedenisboeken dat er voor 1910 amper gebruik werd gemaakt van close-up shots, shots die volop het gezicht in beeld hebben van mond tot wenkbrauwen. Later werd er volop gebruik van gemaakt om emoties over te brengen. De patronen uit de film zijn emoties en het gevoel wat zich de film vormt. Daar wordt in films gretig gebruik van gemaakt. Vaak onderscheiden wij niet alleen het niveau van acteren door middel van het uitspreken van een dialoog, maar ook de gezichtsuitdrukkingen en gelaatexpressies. Hoe natuurlijker, hoe realistischer.

Als maker vind ik dat we niet bewust zijn van het feit dat gezichtsuitdrukkingen verhalend er echter iets toe doen om films te versterken en waar de vormgeving, naast alle technische post-productie, zijn aandeel aan heeft. Elke film heeft zo zijn ingezette gezichtsuitdrukkingen om gevoel, emoties maar ook een stempel te geven aan de film. Er zijn gezichtsuitdrukkingen die bij de kijker bekend staan aan een film.

NIEUWE TECHNIEKEN

Naast dat wij over een paar jaar begroet zullen worden bij onze naam wanneer we binnenlopen in een kledingwinkel (gezichtsherkenning), worden de technieken voor het analyseren van emoties met de dag alleen maar beter. Het is niet zo gek idee als je je auto niet zou kunnen starten als je kwaad/emotioneel bent om ongelukken te voorkomen in het verkeer. Over een paar jaar vinden we de nieuwe technieken heel normaal.

Als het mogelijk is om zonder ‘woorden van betekenis’ bij mensen emoties te herkennen, zouden we dat dan machines kunnen laten doen? Het zou wel heel handig zijn. Stel, dat de TV, mobiele telefoon, beveiligingscamera, of misschien zelfs huisrobot, emoties herkent en daarop reageert. Waarschijnlijk zou het dan makkelijker met die apparaten kunnen werken, omdat ze u beter ‘begrijpen’. En wordt bijvoorbeeld elektronisch vergaderen veel effectiever. Of, herkennen we kwaadwillende passagiers in het openbaar vervoer eerder. Tal van toepassingen zijn mogelijk.

Psycholoog Paul Ekman heeft zich jarenlang beziggehouden met emotionele gezichtsuitdrukkingen. Hij definieerde een beperkt aantal basale veranderingen in het gezicht, die samenhangen met het samentrekken of ontspannen van gezichtsspieren. Hij noemt die veranderingen Action Units, waarmee alle emotionele gezichtsuitdrukkingen beschreven kunnen worden. De Roemeense Promovendus Dragos Datcu heeft deze theorie gebruikt om een toepassing voor automatische emotieherkenning te realiseren. Het doel van het onderzoek en het prototype is om de herkenning van emoties via gezichtsuitdrukkingen te combineren met die van emoties in stemgeluid. Vanuit de idee dat die combinatie machines rijkere informatie geeft voor een betere herkenning.

1. HOE JOU TOOL JOU VAK/BEZIGHEID DUIDELIJKER MAAKTE

Hoe kijken wij filmen, hoe kijken we er naar? Als kijker willen we alles kunnen verbinden met elkaar. Met gezichtsuitdrukkingen communiceren wij met gezicht ‘codes’. Een film met een goed verhaal zegt voor mij in ieder geval nog helemaal niks. Acteurs en actrices moeten het verhaal over kunnen brengen. De middelen die zij daarvoor hebben, naast het verbale spel (dialogen), zijn hun gezichtsuitdrukkingen waarmee zij emoties over kunnen brengen. Als een actrice of acteur daar geen kaas van heeft gegeten wordt het automatisch ongeloofwaardig. Daarom is het voor een filmregisseur van belang dat hij zijn actrices en acteurs goed kent om hen alleen maar te vertellen wat de situatie is in de scene die hij of zij moet ervaren.

Als we het hebben over saccadische patronen, dan blijkt het dat we met onze ogen verschillende bewegingen maken bij het waarnemen van een gezicht, object of iets elders. De oog springt van punt naar punt en hecht zicht aan details in plaats van iets in het totaal zich op te nemen. Zo zien wij een gezichtsuitdrukking in delen. We herkennen direct een gelaatexpressie van een emotie aan de ogen en mond.

De tool daagt de neutrale kijker uit om er achter te komen hoeveel een gezichtsuitdrukking kan doen om een filmscène te versterken of juist te verminderen op basis van geloofwaardigheid van het verhaal. De creatieve wisselwerking tussen denken en voelen probeer ik in zijn geheel bij de kijker neer te leggen. Het bewust worden van het feit dat de filmkijker naar een visueel verhaal kijkt wat bijna voor de helft non-verbaal wordt vertaald door middel van gezichtsuitdrukkingen.

Het ‘acteren’ is een vak apart. Als creatieveling zou ik het vak niet willen verstoren met technische elementen maar wel willen versterken met hulpmiddelen op het gebied van creatieve codering. Dit zou ik op de Digital Crafts wijze kunnen beoefenen.

2. CULTURELE CONTEXT VAN JE TOOL/OEFENING

Kyle McDonald, media vormgever, legde zijn gezichtsuitdrukkingen vast met Faceshift, een animatie software, door middel van een Kinect. In Faceshift liet hij zijn uitdrukkingen registreren en voorvertalen naar OSC. Daarmee stuurde hij zijn gezichtsuitdrukkingen naar MIDI poorten/kanalen. Wanneer hij verschillende gelaatexpressies voor de Kinect trok, maakte hij via Ableton geluid. McDonald deelt van dit project een tutorial via internet die ik heb kunnen uitvoeren.

Zo liet Jon afgelopen week een kunstwerk zien, Cinema Redux, van vormgever Brendan Dawes. In één opslag zie je in één vingerprint de hele film. Elk klein beeldje is een seconde frame uit de film. De frames achter elkaar maken er één visuele print van.

George Dunkley houd via zijn weblog ‘Movies in color’ verschillende film color palette’s bij waar op te zien is, uit één frame, welke kleuren een film bevat. Zo liet Dunkley bijvoorbeeld een frame zien uit de film ‘The Lift Aquatic With Steve Zissou’ waar vooral op te zien was dat regisseur Wes Anderson met de kleuren rood, geel en blauwe speelde. Het zegt eerlijk gezegd niets over de gehele film maar over het kleurgebruik van een shot uit een scene. Het staat visueel sterk in één print.

Ik vond een interessant project van kunstenaar Ben Grosser. Grosser wilde weten of er overeenkomsten waren tussen hoe wij naar films kijken en hoe een computer dat doet. Hij schreef software waarmee de computersysteem tijdens het kijken van films kon illustreren wat hij zag. In de software stopte hij reeks wiskundige berekeningen die over de vrijheden beschikte om zelf te bepalen wat belangrijk en onderscheidend is in elk afzonderlijk frame van een scène, zoals gezichten of gebouwen. Grosser stelt de kijker de vraag om hun eigen visuele herinnering te koppelen aan die van de computer. Hij heeft daarom beroemde filmscènes gebruikt uit 2001: A Space Odyssey, American Beauty, Inception, Taxi Driver, The Matrix en Annie Hall. De resultaten die er dan uit komen zien er uit als lijntekeningen die dan ook maar niks zeggen over de film zelf. Wanneer er wordt geschetst, speeld het geluid van de film af en zien we de computer in beeld schetsen. In de sleutelscène van Taxi Driver ("You talkin' to me?") praat hoofdrolspeler Trevis tegen zichzelf in een spiegel. Zeer imposant wanneer je de film ziet, maar de computer tekent enkele simpele lijnen. Per film levert dat allemaal verschillende tekeningen op. Grosser analyseert hiermee het verschil tussen de visie van computer en mens. Het heeft niet direct iets te maken met gezichtsuitdrukkingen maar het is wel een interessante hoek waar ik gelaatexpressies uit films kan belichten.

Een ander fascinerend project die ik had gevonden was het project van kunstenaar Sterling Crispin. Crispin maakte met behulp van een data bank vol met gezichten en sculpturen, die online staan, verschillende data-masks die hij vervolgens liet 3D printen. Crispin wilt met zijn serie data-masks ons waarschuwen voor onze privacy en vrijheid op het internet. Facebook analyseert bijvoorbeeld alle gezichten op van alle gebruikers die geregistreerd staan.

De tool die ik wil realiseren zou de kijker moeten beseffen hoe wij gezichtsuitdrukkingen kunnen gebruiken in het dagelijkse leven - want we communiceren niet alleen maar verbaal - en spelen ook een belangrijke rol om een film verhalend te ondersteunen en te versterken. Als filmmaker vind ik non-verbale communicatie zeer fascinerend in films. Een blik/gezichtsuitdrukking geeft zoveel sfeer en emotie mee aan de kijker. Er zijn voor mijn gevoel maar een aantal goede acteurs en actrices die gezichtsuitdrukkingen realistisch kunnen overbrengen. De Nederlandse film business staat vooral bekend om haar slechte acteerprestaties, voornamelijk verbaal - dialogen. In Nederland wordt de VSCD Mimeprijs uitgereikt aan acteurs of actrices die de belangrijkste bijdrage heeft geleverd aan mime in het betreffende seizoen. Het zijn acteurs en actrices die gezichtsuitdrukkingen en lichaamstaal goed gebruiken bij het acteren.

WORDT NOG AANGEVULD EN VERTAALD