SXSW: Exploring the role of gestures in Interface Design

Sessie van Allison Sigrist & Amber Heinbockel van Cantina

Het wordt al jaren, nee decennia getoond in films en series op tv; mensen die met hun armen in de lucht staan te zwaaien, en met de gekste bewegingen dingen voor elkaar krijgen op een al dan niet doorzichtig computerscherm, of als er een beetje budget in is gestopt, een hologram. En terwijl ons verteld wordt dat de technologie heel snel gaat, blijven we hier toch achter. Want, waar blijft mijn Minority Report interface? Waarom kan ik nog geen app bouwen zoals Tony Stark zijn Iron Man pak bouwt?

Alsion en Amber namen ons mee in de historie van de gaberen, of ‘gestures’ zoals de bekendere benaming is, en toonden aan dat we deze al sinds de jaren 60 gebruiken, namelijk de eerste touch-sensitive synthesizers. Door harder op de toetsen te drukken kun je, net als bij een piano, het volume en de kracht van een noot bepalen, en met een vegende beweging over de toets kun je er nog een mooie vibrato aan meegeven. Deze bewegingen missen we nu nog in onze fancy touch-based devices, omdat de schermen waar wij op werken nog geen sensoren hebben daarvoor. Met uitzondering van de iPad, die door de afplatting van je vinger op het scherm kan detecteren hoe hard je op het scherm drukt. Toch wordt deze techniek tot nu toe alleen nog maar in de muzikale apps gebruikt, en dan met name enkel bij, en daar is-ie weer, de piano.

Het lijkt erop dat wij deze techniek niet willen gebruiken of implementeren, en deze stap in de evolutie van gestures gaan overslaan, want ondertussen is de techniek al verder. Er worden namelijk nu met rap tempo producten geintroduceerd, die naast de X en Y as van een gesture, ook de Z-as toevoegen. Apparaatjes zoals de Leap Motion, en binnenkort ook de Myo: een armband die zowel oriëntatie en acceleratie data verzamelt, maar ook de bewegingen van je spieren in je arm detecteert, en zo dus bijvoorbeeld weet wanneer je in je vingers knipt of je duim opsteekt. Dus, zoals het al jaren geroepen wordt; nu gaan we echt snel de overstap maken van 2D naar 3D gestures en besturing.

Helaas ging de sessie van vandaag helemaal niet in op het daadwerkelijk toepassen van deze gestures in interfaces, maar ging het eigenlijk meer over deze toekomst. Wel toevallig, ik ben namelijk net geselecteerd als Alpha Developer van de Myo, wat inhoudt dat ik een eerste versie van hun product heb ontvangen, en lekker met de mogelijkheden mag gaan spelen en experimenteren. De afgelopen weken heb ik dit gedaan, en kwam tot dezelfde conclusie als de dames in deze sessie: 3D gestures zullen het nooit helemaal gaan worden. Deze apparaten zullen namelijk nooit je toetsenbord en muis gaan vervangen. En de reden daarvoor is simpel: het is doodvermoeiend. Stel je een werkdag voor, waarbij je 8 uur achter elkaar met je armen in de lucht staat te zwaaien om een website te ontwerpen. Nee, doe mij maar een muisarm.

Deze apparaten zullen dus enkel een aanvulling gaan worden op onze bestaande input devices. Maar wat voor aanvulling dan? Die vraag blijft voor vandaag helaas nog even open, maar het antwoord gaat dit jaar mogelijk nog komen, als de eerste Myo’s naar de eindgebruikers gaan, en wij als eindgebruikers de praktische toepassing kunnen gaan bepalen.

Deze blogpost is geschreven door: Bart Ramakers, Tam Tam.