User:E.Stevens/toolsofthetradeedwin

Gezichtsuitdrukkingen

Door middel van onze gelaatexpressies kunnen wij non-verbaal met elkaar communiceren. Via onze gezichtsuitdrukkingen geven wij voortdurend signalen aan elkaar. En meestal verraad het gezicht onze ware gevoelens. Volgens mij beseffen we niet hoe vaak wij onze gezichtsuitdrukkingen gebruiken. Ik ben gefascineerd op een chemie tussen twee mensen die door middel van een frons of een ander gelaatsexpressie al heel veel verteld.

Ideeën

1. Gezichtsuitdrukkingen vertaald naar filmmuziek

2. Gezichtsuitdrukkingen vertaald naar codetaal (bv. Enigma-apparaat)

Sensor

Voor het testen van mijn sensor (Kinect) maak ik gebruik van het programma Faceshift. In het programma programmeer ik verschillende gelaatsexpressies uit door met mijn gezicht te draaien voor de Kinect. Vervolgens heb ik mijn gezichtsuitdrukking gemarkt die het voorbeeldgezicht laat zien.

Je eigen gelaatsexpressie kan je vervolgens ook exporteren naar een 3D bestand die je, bijvoorbeeld, in Meshlab kan openen.

Proces

James Bond - Skyfall geprogrammeerd in een gezichtsherkenning programma die emoties uitleest:

Zo heb ik drie verschillende films non-verbaal geedit. De dialogen heb ik uit de edit geknipt waardoor de focus nu op de gezichtsuitdrukkingen ligt. Ik merkte tijdens het monteren dat de vertel situaties bij de films verschillend uitpakt. Bij de één veranderd er helemaal niks en liggen de dialogen per scène los van de gezichtsuitdrukkingen en bij de ander merkte ik dat de film toch wel haar dialoog moet hebben om een situatie in een scène te verduidelijken. Al met al ben ik er achter gekomen dat de gezichtsuitdrukkingen uit een film het verhaal kunnen vertellen zonder een dialoog te hoeven gebruiken.

Fury (1:09:30) https://vimeo.com/115905380

(wachtwoord: digitalcrafts)

Een ander onderzoek wat ik heb gedaan is met gezichtsuitdrukkingen van nieuwslezers. Ik heb alle eerste MH17 nieuwsuitzendingen uit verschillende landen gepakt en in één overzichtsfilmpje geplaatst. In één overzicht zie je alle gezichtsuitdrukkingen wanneer zij het treurige nieuws vertellen. Wat ik er vooral uit kan halen is dat de nieuwslezer vooral met een opgezette blik, het liefst zo neutraal, het nieuws verteld.

https://vimeo.com/116015096 (wachtwoord: digitalcrafts)

Research

Download PDF: http://cl.ly/2k0B0l251H0a

INTRODUCTIE

De makkelijkste manier om onze gevoelens weer te geven is door middel van gezichtsuitdrukking of gelaatexpressie. Het is een communicatiemiddel waar wij dagelijks mee te maken hebben. Het versterkt en geeft meer duidelijkheid aan een verhaal. Onze emoties zijn het eerst te lezen van ons gezicht en zullen vaak onbewust getoond worden. Om gevoelens herkenbaar te maken aan andere is het niet alleen nodig dat iedereen dezelfde uitdrukkingen gebruikt, personen moeten de emoties bij andere ook herkennen.

De synchronisatie tijdens het verloop van een gesprek, de onderlinge afstemming van de partners op elkaar, verloopt voor een belangrijk deel via het uitwisselen van blikken. Als gesprekspartners geven we elkaar signalen waarmee we de verdeling van de gesprekstijd regelen. Het zien van een hoofdknik, bijvoorbeeld, betekent toestemming om door te praten. Hoewel ook andere signalen een rol spelen, vormt de uitwisseling van blikken het belangrijkste hulpmiddel. Het aankijken is misschien wel ons belangrijkste non-verbale communicatiemiddel.

In de veelheid van gegevens die ons dagelijks passeert, zijn we voortdurend bezig met selecteren, filteren en ordenen. We zijn er beter in dan computers, vooral als de gegevens visueel voorgesteld worden. Een belangrijke functie van ons brein is patroonherkenning. Kunnen we verbanden ontdekken in de informatie die ons bereikt? Het kunnen herkennen van patronen vergrootte de kans op overleven voor de mens in de oertijd. Als het bijvoorbeeld enkele dagen achter elkaar regende, wisten onze voorouders dat de regentijd was aangebroken, en dat het tijd werd ergens anders heen te gaan.

Bijvoorbeeld in films verbinden wij als kijker de blikken en gezichtsuitdrukkingen van acteurs en actrices aan het verhaal. Ik vind het vooral fascinerend hoe één wenkbrauw beweging een verhaal verteld en dat de meeste mensen dat begrijpt. Zo las ik uit nogmaals uit mijn filmgeschiedenisboeken dat er voor 1910 amper gebruik werd gemaakt van close-up shots, shots die volop het gezicht in beeld hebben van mond tot wenkbrauwen. Later werd er volop gebruik van gemaakt om emoties over te brengen. De patronen uit de film zijn emoties en het gevoel wat zich de film vormt. Daar wordt in films gretig gebruik van gemaakt. Vaak onderscheiden wij niet alleen het niveau van acteren door middel van het uitspreken van een dialoog, maar ook de gezichtsuitdrukkingen en gelaatexpressies. Hoe natuurlijker, hoe realistischer.

Eén van de eigenschappen van een goede filmacteur of -actrice is volgens mijn een goed gebruik van het ogen spel en de mimiek. De expressie van het menselijk gelaat, vooral in close-up, is een oceaan van betekenis, waardoor de film door afwisseling van menselijke gelaten zo'n grote emotionele kracht heeft op de toeschouwer. Het is de taak van de regisseur om expressieve menselijke gezichten te vinden. Dit wordt meestal gedaan door een castingbureau.

NIEUWE TECHNIEKEN

Naast dat wij over een paar jaar begroet zullen worden bij onze naam wanneer we binnenlopen in een kledingwinkel (gezichtsherkenning), worden de technieken voor het analyseren van emoties met de dag alleen maar beter. Het is niet zo gek idee als je je auto niet zou kunnen starten als je kwaad/emotioneel bent om ongelukken te voorkomen in het verkeer. Over een paar jaar vinden we de nieuwe technieken heel normaal.

Als het mogelijk is om zonder ‘woorden van betekenis’ bij mensen emoties te herkennen, zouden we dat dan machines kunnen laten doen? Het zou wel heel handig zijn. Stel, dat de TV, mobiele telefoon, beveiligingscamera, of misschien zelfs huisrobot, emoties herkent en daarop reageert. Waarschijnlijk zou het dan makkelijker met die apparaten kunnen werken, omdat ze u beter ‘begrijpen’. En wordt bijvoorbeeld elektronisch vergaderen veel effectiever. Of, herkennen we kwaadwillende passagiers in het openbaar vervoer eerder. Tal van toepassingen zijn mogelijk.

Psycholoog Paul Ekman heeft zich jarenlang beziggehouden met emotionele gezichtsuitdrukkingen. Hij definieerde een beperkt aantal basale veranderingen in het gezicht, die samenhangen met het samentrekken of ontspannen van gezichtsspieren. Hij noemt die veranderingen Action Units, waarmee alle emotionele gezichtsuitdrukkingen beschreven kunnen worden. De Roemeense Promovendus Dragos Datcu heeft deze theorie gebruikt om een toepassing voor automatische emotieherkenning te realiseren. Het doel van het onderzoek en het prototype is om de herkenning van emoties via gezichtsuitdrukkingen te combineren met die van emoties in stemgeluid. Vanuit de idee dat die combinatie machines rijkere informatie geeft voor een betere herkenning.

1. HOE JOU TOOL JOU VAK/BEZIGHEID DUIDELIJKER MAAKTE

Hoe kijken wij filmen, hoe kijken we er naar? Als kijker willen we alles kunnen verbinden met elkaar. Met gezichtsuitdrukkingen communiceren wij met gezicht ‘codes’. Een film met een goed verhaal zegt voor mij in ieder geval nog helemaal niks. Acteurs en actrices moeten het verhaal over kunnen brengen. De middelen die zij daarvoor hebben, naast het verbale spel (dialogen), zijn hun gezichtsuitdrukkingen waarmee zij emoties over kunnen brengen. Als een actrice of acteur daar geen kaas van heeft gegeten wordt het automatisch ongeloofwaardig. Daarom is het voor een filmregisseur van belang dat hij zijn actrices en acteurs goed kent om hen alleen maar te vertellen wat de situatie is in de scene die hij of zij moet ervaren.

Als we het hebben over saccadische patronen, dan blijkt het dat we met onze ogen verschillende bewegingen maken bij het waarnemen van een gezicht, object of iets elders. De oog springt van punt naar punt en hecht zicht aan details in plaats van iets in het totaal zich op te nemen. Zo zien wij een gezichtsuitdrukking in delen. We herkennen direct een gelaatexpressie van een emotie aan de ogen en mond.

De tool daagt de neutrale kijker uit om er achter te komen hoeveel een gezichtsuitdrukking kan doen om een filmscène te versterken of juist te verminderen op basis van geloofwaardigheid van het verhaal. De creatieve wisselwerking tussen denken en voelen probeer ik in zijn geheel bij de kijker neer te leggen. Het bewust worden van het feit dat de filmkijker naar een visueel verhaal kijkt wat bijna voor de helft non-verbaal wordt vertaald door middel van gezichtsuitdrukkingen.

Het ‘acteren’ is een vak apart. Als vormgever zou ik het vak niet willen verstoren met technische elementen maar wel willen versterken met hulpmiddelen op het gebied van creatieve codering. Dit zou ik op de Digital Crafts wijze kunnen beoefenen.

Tegenwoordig ondersteunen we onze digitale communicatie, denk hier aan Whatsapp, Facebook en forums, met bewegende afbeeldingen; gifjes. Gif-afbeeldingen, dat in 1987 geïntroduceerd werd door Compuserve, wordt nu vaak gebuikt om een situatie binnen een digitale communicatie te verduidelijken maar ook menselijker te maken.

Gif’s zijn geanimeerde beeldjes of korte filmsequensen die al bijna vanaf het begin van het Internet bestaan. Al in tijden van Geocities flikkerden zij op de meeste websites en werd de plaatsing van dansende baby’s in combinatie met Comic Sans-tekst toen beschouwd als teken van vakkundigheid en bekwaamheid op het Internet. Dat Gifjes nu nog steeds populair zijn en zelfs tot kunstvorm verheven zijn laat zien hoe veerkrachtig en veelzijdig dit formaat is. Zo is het ook niet opmerkelijk dat nu ook de gifjes meedoen in de analoge trend. Net als met sommige populaire digitale spelletjes, zoals Angry Birds, wordt er nu ook met gif’s geëxperimenteerd in de ‘echte’ wereld. Het kunstenaarscollectief INSA heeft streetart en gifs gecombineerd tot wat zij noemen Gif-iti, waarbij gespeeld wordt met de steeds vager wordende grenzen tussen de online- en de offline-wereld.

Het grappige is dat sommige mensen hun berichten beantwoorden met alleen maar een gif-plaatje. Bijvoorbeeld; wanneer iemand een heleboel vragen aan zijn hoofd krijgt gesmeten via het digitale verkeer, kan degene aan de andere kant zijn vragen beantwoorden met een visuele ‘zucht’ van bijvoorbeeld een acteur uit een film. Ik vind het een interessante hoek om daar iets mee te doen, samengevoegd met het medium; film.

2. CULTURELE CONTEXT VAN JE TOOL/OEFENING

Kyle McDonald, media vormgever, legde zijn gezichtsuitdrukkingen vast met Faceshift, een animatie software, door middel van een Kinect. In Faceshift liet hij zijn uitdrukkingen registreren en voorvertalen naar OSC. Daarmee stuurde hij zijn gezichtsuitdrukkingen naar MIDI poorten/kanalen. Wanneer hij verschillende gelaatexpressies voor de Kinect trok, maakte hij via Ableton geluid. McDonald deelt van dit project een tutorial via internet die ik heb kunnen uitvoeren.

Zo liet Jon afgelopen week een kunstwerk zien, Cinema Redux, van vormgever Brendan Dawes. In één opslag zie je in één vingerprint de hele film. Elk klein beeldje is een seconde frame uit de film. De frames achter elkaar maken er één visuele print .

George Dunkley houd via zijn weblog ‘Movies in color’ verschillende film color palette’s bij waar op te zien is, uit één frame, welke kleuren een film bevat. Zo liet Dunkley bijvoorbeeld een frame zien uit de film ‘The Lift Aquatic With Steve Zissou’ waar vooral op te zien was dat regisseur Wes Anderson met de kleuren rood, geel en blauwe speelde. Het zegt eerlijk gezegd niets over de gehele film maar over het kleurgebruik van een shot uit een scene. Het staat visueel sterk in één print.

Ik vond een interessant project van kunstenaar Ben Grosser. Grosser wilde weten of er overeenkomsten waren tussen hoe wij naar films kijken en hoe een computer dat doet. Hij schreef software waarmee de computersysteem tijdens het kijken van films kon illustreren wat hij zag. In de software stopte hij reeks wiskundige berekeningen die over de vrijheden beschikte om zelf te bepalen wat belangrijk en onderscheidend is in elk afzonderlijk frame van een scène, zoals gezichten of gebouwen. Grosser stelt de kijker de vraag om hun eigen visuele herinnering te koppelen aan die van de computer. Hij heeft daarom beroemde filmscènes gebruikt uit 2001: A Space Odyssey, American Beauty, Inception, Taxi Driver, The Matrix en Annie Hall. De resultaten die er dan uit komen zien er uit als lijntekeningen die dan ook maar niks zeggen over de film zelf. Wanneer er wordt geschetst, speeld het geluid van de film af en zien we de computer in beeld schetsen. In de sleutelscène van Taxi Driver ("You talkin' to me?") praat hoofdrolspeler Trevis tegen zichzelf in een spiegel. Zeer imposant wanneer je de film ziet, maar de computer tekent enkele simpele lijnen. Per film levert dat allemaal verschillende tekeningen op. Grosser analyseert hiermee het verschil tussen de visie van computer en mens. Het heeft niet direct iets te maken met gezichtsuitdrukkingen maar het is wel een interessante hoek waar ik gelaatexpressies uit films kan belichten.

Een ander fascinerend project die ik had gevonden was het project van kunstenaar Sterling Crispin. Crispin maakte met behulp van een data bank vol met gezichten en sculpturen, die online staan, verschillende data-masks die hij vervolgens liet 3D printen. Crispin wilt met zijn serie data-masks ons waarschuwen voor onze privacy en vrijheid op het internet. Facebook analyseert bijvoorbeeld alle gezichten op van alle gebruikers die geregistreerd staan.

Niet alleen kunstenaars gebruiken gezichtsuitdrukkingen, het is biologisch gezien iets wat we allemaal al heel vroeg leren. Ik las een interessant stuk over gezichtsuitdrukking en baby’s, net na de geboorte. Uit onderzoek blijkt dat baby’s gezichtsuitdrukkingen imiteren. Zo oefenen baby’s al op zeer jonge leeftijd in het aflezen van emoties en dus zo het gedrag van anderen. Het doel hiervan is dat de baby het aflezen van gezichtsuitdrukkingen, meer informatie over de wereld krijgt. Wanneer een pasgeboren baby niet bij de moeder is, blijkt het dat hij intenser kijkt naar de gezichtsuitdrukking van anderen. Dit gedrag heeft een baby zodat hij kan inschatten bij wie hij het meeste zorg kan krijgen en hulp, en vergroot dus de overlevingskansen van de baby. Het inschatten van emoties van anderen is later in het leven ook heel belangrijk om te overleven. Als je begrijpt hoe je eigen gevoelens en die van anderen zijn, je de beste verzorging krijgt. http://kiind.nl/articles/280/Voorleven.html

Uiteindelijk leert een mens de informatie van de gezichtsuitdrukkingen onbewust bewerken. Een onderzoek toonde aan dat ondanks de blindheid van een persoon, dat deze toch in staat is om visuele prikkels te “zien” zoals gezichtsuitdrukkingen. Testen en onderzoeken hierover laten een getoond gezicht op een foto wazig maakt zien, zijn mensen alsnog in staat in te schatten welke emotie er op de foto te zien is. Signalen komen niet alleen door het gezicht af te lezen maar ook door het gezicht zelf, de lichaamshouding, de stem, gebaren, manier van lopen en de kleding. Mensen die blind zijn, hebben problemen met het herkennen van het gezicht. Maar door het luisteren naar het stemgeluid, ging dat beter. Andere signalen werden in sommige gevallen ook opgevangen, maar dan duurde het langer voordat dit binnenkwam. http://www.kennislink.nl/publicaties/onbewuste-waarneming-evolutie-zorgde-voor-back-up

Een ander interessant artikel wierp een nieuwe blik op hoe nieuwslezers wenkbrauwen en hoofd gebruiken om eigenschappen van het nieuwsbericht duidelijk te maken, bijvoorbeeld om belangrijke woorden te benadrukken of om aan te geven of ze over een luchtig of serieus onderwerp praten. Onderzoek aan de Universiteit van Tilburg laat zien hoe en wanneer de nieuwslezers visuele expressies gebruiken. Deze informatie kan ook weer gebruikt worden om betere avatars te maken- door digitale technieken geanimeerde gezichten waarmee mensen natuurgetrouw met computers kunnen communiceren. Als je Sacha de Boer, voormalig nieuwslezeres van het 8 uur journaal als voorbeeld neemt, denk je misschien in de eerste instantie dat zij nieuws zo neutraal mogelijk brengt. Maar registratie en analyse laat zien dat woorden die verbaal worden benadrukt, extra gewicht krijgen door de gezichtsexpressies. Al in de eerste eeuw werd er beschreven dat een goede spreker de inhoud van zijn tekst kracht bij kon zetten door een bijpassende expressieve stijl, en animators van alle tijden weten dat gezichtsuitdrukkingen belangrijk zijn om een karakter geloofwaardig te maken. Een digitale avatar laat zien dat je niet bij ieder woord een digitale wenkbrauw kunt optrekken, omdat dit als niet natuurlijk overkomt. http://www.kennislink.nl/publicaties/wenkbrauwen-sacha-de-boer-bron-voor-avatar

De mens wil steeds vaker graag digitaal gebruik maken van een emotie. Met de komst van chat, MSN en later andere social media als Hyves en Facebook, is de emoticon bijna onmisbaar geworden in een tekst. Mensen gebruiken een emoticon in een chatgesprek, omdat je daar de emotie van de ander niet kunt zien als je ermee praat. Een zin kan totaal anders worden geïnterpreteerd zonder het zien van de gezichtsuitdrukking. Iets wat door de schrijver in het chatgesprek als sarcastisch bedoeld wordt, kan totaal anders geinterpeteerd worden door de ontvanger die er dan vervolgens serieus op gaat reageren. Door het gebruik van een emoticon, bijvoorbeeld de emoticon met het uitstekende tongetje, kan je aangeven dat je niet zo serieus bent, en komt zo alsnog, op een digitale manier, de gezichtsuitdrukking terug in een getypte tekst.

Een nieuwsbericht uit maart vorig jaar laat zien dat de emoticon niet alleen onder vrienden en kennissen gebruikt wordt, maar ook steeds vaker zakelijker voorkomt en een opmars van het emotieteken betekent. Steeds vaker gebruiken managers glimlachende en knipogende geichtjes, vaak vooral om kritiek en klachten te verzachten. Maar het kan nog steeds niet bij ieder bedrijf. Hippe communicatiebureaus hebben geen enkel probleem met het gebruik van de emoticon en zien het als een zakelijk voordeel om de digitale gezichtsuitdrukking toe te voegen, maar banken bijvoorbeeld gebruiken het nog steeds niet. Emoticons worden nog steeds niet geadviseerd tijdens het formeel emailen, maar je merkt wel dat er verandering komt en dat er behoefte is aan de emoticon, het digitale gezicht. Het geeft een extra dimensie aan je tekst, je krijgt er een beter idee bij van wat de schrijver nou precies bedoeld. http://www.nrc.nl/handelsblad/van/2014/maart/01/de-zakelijke-opmars-van-het-emotieteken-1350958

Tegenwoordig is het ook gangbaar om emoticons te weergeven als bewegende afbeeldingen, de animated gif, en dat brengt ons bij mijn tool.

3. TOOL

De tool die ik wil realiseren zou de kijker moeten beseffen hoe wij gezichtsuitdrukkingen kunnen gebruiken in het dagelijkse leven en spelen ook een belangrijke rol om een film verhalend te ondersteunen en te versterken. Als filmmaker vind ik non-verbale communicatie zeer fascinerend in films. Een blik/gezichtsuitdrukking geeft zoveel sfeer en emotie mee aan de kijker. Zo heb ik drie verschillende films non-verbaal gemonteerd. De dialogen heb ik uit de film geknipt waardoor de focus nu op de gezichtsuitdrukkingen liggen. Ik merkte tijdens het monteren dat de vertel situaties bij de films verschillend uitpakt. Bij de één veranderd er helemaal niks en liggen de dialogen per scène los van de gezichtsuitdrukkingen en bij de ander merkte ik dat de film toch wel haar dialoog moet hebben om een situatie in een scène te verduidelijken. Sommige scenes zaten vol met dialogen, die je helaas dan moet missen. Al met al ben ik er achter gekomen dat de gezichtsuitdrukkingen uit een film het verhaal kunnen vertellen zonder een dialoog te hoeven gebruiken.

Research (English)

Download PDF: http://cl.ly/2m2S0X2I1s06