[Affective Computing] Het verslag

Inleiding

Voordat ik aan dit onderzoek begon, was mij niet bekend dat er veel met Affective gaming gebeurde. Als ik de term hoorde, moest ik denken aan veel kabels, onhandige besturing en trage interfaces. Nu, een paar weken later, weet ik aan de ene kant meer en aan de andere kant is mijn toenmalige mening bevestigt. Dit onderzoek gaat over of affective gaming vandaag de dag al interessant genoeg is om te gebruiken in nieuwe games. Aan de hand van wat voorbeelden van meer dan twintig jaar geleden, en van slechts twintig dagen geleden, zal duidelijk worden of het al interessant genoeg is of niet. Mijn antwoord zal ik zoeken via de deelvragen en zal ik geven in de conclusie.

Deelvraag 1.0

Wat is affective gaming?

Waar hebben we het eigenlijk over?

Misschien klinkt dit als een domme vraag, maar het tegendeel is waar. Affective gaming is namelijk makkelijk te verwarren met games die slechts je fysieke reacties meten. Het moeilijke er aan is dat een game die emoties registreert, een affective game, je fysieke reacties op neemt, om daar een emotie uit te halen. Hij registreert dus je emoties via fysieke reacties. Een game die alleen je biologische reacties meet, je fysieke reacties, registreert een reactie en concludeert daar verder niets uit. Je kan met je fysieke reacties, wel een spel beïnvloeden, maar hij zal niet weten of je vrolijk bent, of juist een beetje down.

Als we terug gaan naar de hardware en bekijken wat die precies doet, is het makkelijker uit te leggen. Een game gebaseerd op je biologische reacties, zou bijvoorbeeld een scanner kunnen hebben die je Galvanic Skin Response[6] registreert. Als het je nog wat vreemd in de oren klinkt, zou je het kunnen vergelijken met de techniek die gebruikt wordt in een leugen detector. Hij meet de elektrische weerstand in de huid. Als hij hoog is, betekent dat over het algemeen dat je gespannen bent. Als hij laag is, betekent het dat je ontspannen bent. Deze techniek werd gebruikt in een spel genaamd ‘Relax-to-win’[5]. Dit spel werd in eerste instantie ‘verkocht’ als een affective game. Het spel was een race met draken. Als je ontspande, ging je draak sneller en won je de wedstrijd. Naast dat het spel een flop was, alleen mensen die het heel saai vonden wonnen de wedstrijd, was het ook geen affective game. Als je wist wat het spel registreerde, maakte het niet uit in wat voor emotionele staat je was, zolang je maar je hand kon ontspannen.

Een hoge GSR zou kunnen betekenen dat je gespannen bent. Dat je gespannen bent, zou kunnen komen omdat je bang bent, omdat je zenuwachtig bent, heel erg boos bent of stiekem heel erg opgewonden. Alleen het meten van je GSR is niet genoeg om een spel affective te maken. Om je emoties exacter te weten, moet je meer fysieke reacties meten. Zoals de hartslag, de pupilverwijding en kijkrichting, de stem, de houding en beweging en zo zou je nog lang door kunnen gaan. Het is moeilijk om exact de emotie van een mens te registreren.

Als eenmaal de juiste fysieke reacties gemeten zijn, is de affective game nog niet klaar. Zoals eerder vermeld, moet de game alle metingen opnemen en daar dan een emotie uit concluderen. Hij moet dus een flinke variëteit aan emoties in zijn geheugen hebben en verschillende dingen weten te combineren. Als het systeem eenmaal heeft vastgesteld welke emotie er in jou hoofd rond gaat, is het nog niet compleet. Als hij eenmaal weet of je vrolijk, sip, boos of gestrest bent, moet hij daar ook weer in het spel op reageren. Hij zou bijvoorbeeld rustigere muziek kunnen spelen op de achtergrond, als hij merkt dat je gestrest bent. Hij zou extra vrolijke figuurtjes in beeld kunnen laten komen als je sip bent, of verder op welke manier dan ook kunnen inspelen op andere emoties.

Een affective game is dus een game die meerdere fysieke reacties registreert, combineert en daaruit concludeert zodat hij het spel aan kan passen naar jou staat.

Deelvraag 2.0

Wat zijn momenteel de mogelijkheden op het ‘Affective Gaming’ gebied?

Een korte geschiedenis van de techniek voor de toekomst

Om de huidige ontwikkelingen te laten zien, moet ik even wat stappen terug naar waar het begon. Er zijn meerdere meningen over waar het werkelijk is begonnen, maar de mooiste die ik ben tegen gekomen, is eentje die is ontwikkeld bij het begin van gamen op zich. De Atari. De Atari is bekend als één van de eerste consoles in de game wereld. Een schitterend voorbeeld om het begin van affective gaming te showen, uiteraard. Zij kwamen namelijk in 1982 met de MindLink[4]. Zij claimde hiermee dat de hoofdband, hiernaast te zien, jou gedachten kon lezen. Je zou dus met je gedachte een game kunnen besturen. De eerste voorbeelden van ‘affective gaming’ en ook een mooie verklaring voor de vorige deelvraag. Deze hoofdband was namelijk niet tot meer in staat dan de registratie van de aanspanning van jou voorhoofdspier. Een fysieke reactie dus. Nou stond dat wel in de kleine lettertjes van de advertentie, maar toch was dat blijkbaar een te grote afknapper. De Atari MindLink is nooit werkelijk op de markt gebracht. Toch zonde. Ik had wel graag willen fronsen naar het beeldscherm om een blokje te verplaatsten.

Laten we verder in de toekomst kijken, 1997. Het is even een sprong voorwaarts, maar wel een begrijpelijke. Het programma wat er nu aankomt is het beste te vergelijken met een stemmingsring en een slechte kermis attractie. Ik heb het hier over Oshiete Your Heart[7]. Een spel wat vooral voorkwam in Japanse Arcade hallen. Het doel van het spel was een date met een meisje goed af te ronden. Naast dat je gewone controllers had, zoals een joystick en knoppen, zat er ook een scanner op. Deze mat je hartslag en de hoeveelheid zweet. Naast dat je dus de juiste moves moest doen voor je date, moest je ook rustig en cool blijven. Oke, ik moet toegeven, niet een geweldige affective game voorbeeld. Het is echter wel een goede visualisatie van hoe het affective gaming het meeste werd gebruikt. Als een grapje, een gimmick.

Het werd pas wat serieuzer in deze eeuw. In 2005 kwam Philips met het Relax-to-win[5] spel, wat ik hiervoor noemde. Je moest je dus ontspannen om het spel te winnen. Maar hoe leuk de voorbeelden ook zijn, erg affective zijn ze nog niet. Ze komen wel in de buurt en combineren verschillende fysieke reacties in spelervaring. Maar het volledige ‘affective’ pakket leek nog ver weg.

Rond datzelfde jaar kwam Jonathan Sykes, van het eMotionLab[2] in Glasgow. Hij is een van de voorlopers in de ontwikkeling van affective games. Een van zijn belangrijkste voorwaarden is dat hij wel de fysieke reacties wil meten, maar verder de game-ervaring niet verstoren. Zo heeft hij dus drie verschillende meetkundige apparaten ontwikkeld, waarmee hij de biologische responsen kan registreren. De eerste is de ‘Affective Gamepad’[2], dit is een uitgebreide versie van de Galvanic Skin Response scanner van de vorige pagina. Als tweede gebruikt hij een Eye-tracker[2], hiermee kan hij de pupilverwijding meten en het focuspunt volgen. En als laatste gebruik hij een ‘Affective Cushion’[2], waarmee hij exact de bewegingen van het lichaam kan bijhouden. Door deze drie dingen te combineren heeft bij een betrouwbare biologische registratie, waaruit hij bijna exacte emoties kan halen. Deze technieken heeft hij tot nu toe alleen maar gebruikt voor sociaal gerelateerde spellen. Zo heeft hij iDore ontwikkeld, wat een programma is om dyslexie te voorkomen bij kinderen en andere software voor autistische kinderen.

De allernieuwste ontwikkelingen in het ‘affective’ gebied, zijn bekend gemaakt op de E3. De E3 bekend als een van de belangrijkste game beurzen ter wereld, heeft meestal baanbrekende onthullingen en dit jaar is niet anders. Wii kwam met een dubieuze hartslag meter waar je een vinger ingestoken kon worden. De vraag is wat je ermee kan, hoeveel nut het heeft en of het niet allang achterhaald is. Maar er waren wel bizarre verrassingen. Zo kwamen Microsoft en Xbox met Mylo[3], te zien hiernaast. Een volledig interactief geprogrammeerd jongetje die, volgens Microsoft, je stem, gezicht en emoties herkent. Wat hiervan waar is en hoe goed hij werkelijk interactief is, blijft de vraag. Het enige wat ze hebben laten zien is een trailer.

Als je het zo terug kijkt, van de afgelopen twintig jaar, zie je wel dat de ontwikkeling snel is gegaan. We hebben zeker de laatste vijf jaar een gigantische ontwikkeling door gemaakt. Of we echter de volledige affective game al bereikt hebben, valt te betwijfelen.

Deelvraag 3.0

Wat voor toevoeging zou het kunnen bieden aan een game?

Waarom deze zoektocht?

Waarom willen we zo graag een game die onze emoties detecteert en daar op inspeelt? Waarom is zo’n platte game ervaring niet goed genoeg? Het onderzoek van Kiel Mark Gilleade en Alan Dix geeft hier een mooi antwoord op. Ieder mens is anders en zelfs ieder mens is op elk moment weer anders. Hierdoor is een game op het ene moment interessant en op een ander moment te druk. Andersom geldt het zelfde. Wat op het ene moment spannend kan zijn, kan op het andere moment slaapverwekkend worden. Dus gaan de ontwikkelaars op zoek naar een spel wat het allemaal heeft. Nou is dit simpelweg onmogelijk, maar toch zijn ze graag op zoek. Zo kwamen Gilleade en Dix met een theorie, kort samengevat; ‘Assist Me, Challenge Me, Emote Me’[1]. Deze theorie verteld over hoe men graag een game wil hebben en hoe affective gaming dat zou kunnen bieden. Het eerste punt, Assist Me[1], gaat over hoe affective gaming je zou kunnen helpen. Stel je bent moe en gefrustreerd. Een affective game zou dat herkennen en daar op in kunnen spelen. Hij zou het allemaal een stukje trager kunnen laten gaan en irritante herhalingen van dezelfde vijanden eruit kunnen halen. Zo helpt het spel je verder. ‘Assist Me’ dus. Het tweede punt is ‘Challenge Me’[1]. Dit gaat over hoe een affective game een fris en fruitig persoon zou kunnen uitdagen. Als iemand wakker en alert is en een spel gaat spelen, is hij in voor een uitdaging. Het spel registreert dat en laat het allemaal wat sneller gaan zodat de persoon niet verveeld raakt. De laatste regel uit de theorie is wat lastiger voor een spel om voor elkaar te krijgen. Deze ‘Emote Me’[1] is dan ook de meest theoretische uit de drie. De gameplay wat trager of sneller laten gaan is zo moeilijk niet, maar om de speler te emotioneren, is weer een ander niveau. De laatste regel uit de theorie gaat over het emotionele aspect van het spel. Maar het is lastig om iemand te kunnen verrassen, te laten schrikken, stil te krijgen en zelfs de tranen omhoog te kunnen roepen. Hiervoor is meer nodig dan alleen de huidige emotionele staat. Hiervoor is het verleden belangrijk, de ervaringen van de persoon en hoe gewend hij of zij aan het spelen van games. Wel is het een vooruitzicht van de Affective Game. Een idealistische weliswaar, maar wel een vooruitzicht.

Als we dit geheel zouden samenvatten en terug zouden kijken naar de vraag bovenaan, is het antwoord simpel. Het affective aspect zou een verdieping worden van de speelervaring. Het spel is nooit meer hetzelfde en zal zich aanpassen aan jou.

Conclusie

Is affective gaming nu al interessant genoeg om de game ervaring te verrijken?

Aan het begin wist ik nog niet heel veel van het onderwerp, dat moet ik toegeven. Maar het woord game zat er in en dan ben ik geïnteresseerd. Het heeft even geduurd voordat ik door had dat affective met emoties te maken had en toen dat eenmaal begon te dagen, begon de informatiestroom een flinke versnelling op te lopen. Mijn eerste instelling was dat de technologie er nog lang niet ver genoeg voor was. De vraag in deze conclusie is of mijn eerste instelling weerlegt zal worden, of bij zijn originele standpunt zal blijven.

Het hele proces van het registreren, combineren, concluderen en converteren leek mij te complex om snel verwerkt te kunnen worden in een game. Het zou misschien wel kunnen, maar dan op zo’n laag tempo dat het niet interessant genoeg is om nu al in een spel te verwerken. Als je de ontwikkelingen van de afgelopen decennia bekijkt, zijn er grote stappen voorwaarts genomen. Er is veel verandert en de technologie is flink vooruit gegaan. Maar toch was ik nog niet erg onder de indruk. Dat kwam pas toen ik de trailer van Xbox zag en hun nieuwe vriendje Mylo. Hierin zag je directe interactie tussen mens en software. Vloeiend, zonder haperen, zonder misverstanden, zonder dat er dingen herhaalt moesten worden. Vanuit de organisatie werd de belofte gemaakt dat hij jou emoties zou kunnen herkennen aan je stem en je gezicht. Maar als ik deze losse beloftes vergelijk met de doorgronde onderzoeken van Jon Sykes, betwijfel ik of Mylo dan wel zo affective is als beloofd. Het enige wat het doet is je stem herkennen en daar op reageren. Dat is knap, dat moet ik zeggen. Daarnaast volgt hij je bewegingen, maar dat is al niet bijzonder meer. Verder kan de hele trailer in scene zijn gezet, dus hoe waarheidsgetrouw het is, is niet vast te stellen.

Zo kom ik weer terug bij mijn eerste deelvraag. Wanneer is het precies een affective game? Ik denk nog steeds dat de huidige technologie niet ver genoeg is om een volledige affective game op poten te zetten. Zo affective als de heren Gilleade en Dix in hun theorie graag zagen. Ik denk dat de games die nu ‘affective’ genoemd worden, meer uitgebreide versies zijn van de games die op biologische reacties reageren. Nu kunnen games natuurlijk meer hebben en kunnen de fysieke reacties beter gemeten worden, maar ze zijn nog lang niet ver genoeg om een volledige affective game op de markt te zetten. Daar zullen vast en zeker nog enkele jaren onderzoek aan vooraf gaan. Dus geniet van Mylo tot zover dat gaat, maar hou de ogen open voor de echte affective game, want die ligt in het verschiet.

Bronnen

[1] ‘Affective Videogames and Modes of Affective Gaming: Assist Me, Challenge Me, Emote Me’ Kiel Mark Gilleade, Alan Dix

[2] eMotionLab; http://www.stephenelphick.com/emotion_labs/; Jon Sykes

[3] Project Natal, Xbox; http://www.xbox.com/en-US/live/projectnatal/

http://www.youtube.com/watch?v=CvjEJkZi8bw

[4] Atari Museum; http://www.atarimuseum.com/videogames/consoles/2600/mindlink.html

[5] Relax-to-win; http://www.engadget.com/2005/05/09/philips-designs-relax-to-win-game/

[6] Galvanic Skin Response; http://bsamig.uku.fi/research/gsr.shtml

[7] Oshiete Your Heart; http://www.usagi.org/doi/tokimemo/oshiete/index.html

(Niet erg wetenschappelijk, maar er is verder weinig over te vinden)

[Affective Computing] Wat is Affective Gaming?

Het moeilijke van deze vraag, is het vinden van de scheidingslijn. Waar is het gewoon een fysieke reactie en vanaf welk punt zijn het emoties waar het spel op reageert. De fysieke reacties worden al tijden gebruikt in spellen. Vroeger is het natuurlijk begonnen met de joystick, te vinden bij een van de eerste consoles zoals de Atari. Hierbij was jou fysieke reactie op het spel, de manier om het spel te besturen. Dit ging echter niet veel verder dan links en rechts en was pure controle via je handen. In 1983 bracht Atari de MindLink op de markt. Het apparaat registreerde je voorhoofdspieren en door te fronsen kon je het spel beïnvloeden. Maar zoals Kiel Mark Gilleade zegt ‘Furnishing a videogame with biological information during gameplay does not make a game affective.’ De MindLink was bedoelt voor het spel Bionic Breakthrough en het systeem was eigenlijk simpelweg een vervanger voor een standaard joystick. Je kon er niet veel meer mee doen dan je figuurtje naar links en naar rechts sturen. De MindLink registreerde slechts je spierbeweging, een biologische functie en niet een emotionele functie. Voor 1983 was het echter wel een hele revolutie.
Het probleem is dat er een dunne scheidingslijn ligt tussen emoties en fysieke reacties. Emoties uiten zich namelijk in fysieke reacties. Als je iets spannend vindt, gaat je hartslag omhoog, verwijden je pupillen en gaat er een kinetische spanning door je huid. Als je rustig bent, daalt je hartslag weer en nemen je pupillen weer het oorspronkelijke formaat aan. Als je die fysieke responsen los zou registreren, zou het ‘spel’ alleen gebaseerd zijn op biologische reacties. Maar registreer je alle dingen samen en laat je de computer daar een emotie uit halen, dan is het spel dus gebaseerd op emoties. Maar hoeveel fysieke reacties je moet meten en hoe je de computer zo geprogrammeerd om alles te combineren en daar een emotie uit te halen, blijft een grote vraag. Als dit al lukt en alles goed op elkaar afgesteld is, ben je nog niet klaar. Om het spel element interessant te houden moet de computer ook snel kunnen reageren op jou emoties. De analyse van het hele systeem mag dus ook niet langer duren dan een fractie van een seconde. Dus moet het systeem niet alleen alles registreren en analyseren, maar hij moet ook nog eens uit die analyse snel een gevolg halen, die het spel beïnvloed. De vraag of dit snel genoeg kan, om een spel leuker te maken.
Nu ben ik nog niet ver genoeg geïnformeerd, maar als ik het zo bekijk en zie hoever ze over het algemeen zijn met het hele affective gebeuren, denk ik niet dat het nu al iets kan toevoegen aan het game element. De spellen die nu ontwikkeld worden zijn over het algemeen snel, complex en oogverblindend mooi. De consument verwacht dan ook in de toekomst dat de spellen alleen nog maar snelle, complexer en mooier worden. Door de ontwikkeling van het affective gaming, voeg je wel een nieuwe ervaring toe aan het gamen. Dat is een pluspunt wat zelfs de meest grote game-leek kan waarderen en waarschijnlijk zou willen uitproberen. Maar als de consument snellere en mooiere games verwacht, dan is de vraag of de consument zin heeft om te wachten op affective gaming. Hiermee bedoel ik dat het proces wat een spel nodig heeft om affective te zijn, zo zwaar is dat, wil een huidig console het nog enigszins trekken, het af zal doen aan de snel het en aan de ‘schoonheid’ van het spel. Enkele decennia geleden was dat nog geen enkel probleem. Elk spel was traag, computers waren nog in ontwikkeling en mensen waren gewend met de bergen met kabels en de lage graphics te werken. Nu zitten we in zo’n gemaksmaatschappij dat we gewend zijn dat alles bijna draadloos is en snel werkt. Affective gaming zal zoveel kabels en werkgeheugen vereisen, dat het weer net zo traag zal gaan als twintig jaar geleden. De vraag is of de huidige consument bereid is om dat te accepteren, voor een iets rijkere speelervaring. Mocht dat niet het geval zijn, dan zal het sowieso nog minimaal vijf jaar duren voordat er een voor de consument interessante versie uit zal komen. Wordt vervolgt…

[Affective Computing] Bronnen

Nu ik al een tijdje aan het struinen ben in het affective game gebied, is er één naam die mij telkens weer op zoekt. Jonathan Sykes. Hoofd van het eMotionLab in Amerika, wat onderzoek doet naar Affective gaming en hoe ze dit weer kunnen gebruiken in de praktijk. Hij is onderzoeker en richt zich vooral op Cognitieve Psychologie en de interactie tussen Mens en Computer. Naast dat hij meerdere publicaties heeft geschreven, is hij dus ook bezig met de ontwikkeling van de nieuwste manieren om emoties te meten bij mensen en die te linken aan een game. Voorlopig specialiseert zich dit vooral op het 'hulpverleen' gebied en serious game gebied. Hierbij moet je vooral denken aan spellen voor autistische kinderen en tests om emoties te meten tijdens spannende spellen. Het is nu nog in de onderzoeksfase, dus veel kan er nog niet mee gebeuren.

[Affective Computing] Genialiteit kent geen tijd

Een van de eerste dingen die naar boven komt, is de GSR, ook wel de Galvanic skin response. Onderzoek geeft resultaat en ik wou graag weten wat het is. In de Engelse tekst hierboven wordt er verwezen naar het spel: Relax-to-win. Dit is niet het nieuwste van het nieuwste. Ontwikkeld in 2004 alweer, maar toch verwijst het naar Affective Gaming. Het werkt met een scanner die je Galvanic skin response meet via een roze gevaarte. Je moet ontspannen om te winnen. GSR is dus geen apparaat (helder moment) maar een simpele lichamelijke reactie. Deze kunnen ze scannen met de meest simpele apparaatjes, als het in 2004 al kan, is het nu al helemaal een eitje. Maar het is toch redelijk futuristisch. We hoeven alleen te ontspannen om te winnen. Het doet me denken aan de futuristische shows, zoals Star Trek (‘live long and prosper’) en een oud nieuws bericht, waarin verteld werd dat er een apparaat uit het programma werkelijk geproduceerd was door de NASA. Nou zocht ik op GSR, alleen dan volluit geschreven en je raadt nooit wat ik tegen kwam. Star Trek! Het doet me afvragen of alles wat we in de toekomst tegen zullen komen, uit programma’s komt als Star Trek, Battlestar Galactica of Star Wars.
http://en.wikipedia.org/wiki/Galvanic_skin_response
http://memory-alpha.org/en/wiki/Galvanic_skin_response

[Affective Computing] Affective Gaming

Letterlijk:

Game dat zich aanpast aan de emoties van de speler.

Dit doet me meteen denken aan een spel wat er aan zit te komen. Het heet Infamous en gaat over een karakter wat speciale krachten heeft, waarvan hij nog niet precies weet wat hij ermee gaat doen. Je hebt aan het begin de keuze om goed te doen voor mensen of de slechte kant op te gaan. Als je kiest voor de slechte kant, worden de mensen om je heen in het spel gemener en je gehele omgeving wordt grauwer en kaler. Als je kiest de goede kant op te gaan, gaan mensen je aanmoedigen en wordt de wereld om je heen kleurrijker en schoner. De hele wereld past zich dus aan naarmate je goeder of slechter wordt.

http://www.youtube.com/watch?v=ChW_EvTcoe8

Dit principe zou erg goed gebruikt kunnen worden voor het emotie gestuurde spel. Eigenlijk is dat het gehele principe zonder de link met de echte emoties.