Interface Design Bollocks: My Gesture Controlled Middlefinger
In den letzten Tagen gingen einige Videos mit „innovativen“ Interface Designs rum. Zum Beispiel die Gestensteuerung von MYO, die Elektrizität in den Armmuskeln misst. Oder Spacetop, ein gestengesteuerter 3D-Desktop. Oder ein paar neue Videoexperimente mit LEAP von Robert Hodgin.
Das ist alles sehr nett anzuschauen und vor allem Spacetop ergibt im Zusammenspiel mit Google Glasses ziemlich viel Sinn, dennoch überzeugt mich das alles nicht.
Es kommt freilich auf die Anwendungsgebiete an und als Interface für Fernsteuerungen oder Gaming ist ein Interface mit Gestensteuerung wahrscheinlich brauchbar, auch für die Anwendungen auf zukünftigen Versionen der Google Glasses ergibt das Sinn. Letztendlich wird so ‘ne Gestenerkennung aber nie genau genug sein, um damit tatsächlich arbeiten zu können.
Ich kann Euch ja mal meinen Desktop zeigen, so wie er meistens tagsüber aussieht, Gestensteuerung (und auch Touchscreen) werden niemals in der Lage sein, mit dieser Informationsdichte klarzukommen (und ja, ich hab’ eigentlich ‘nen zweiten Monitor, aber der ist beim Umzug draufgegangen, leider):

Steve Jobs hat schon 2010 von PCs als Trucks gesprochen und mir ist völlig klar, dass ich zum Arbeiten immer einen Desktop-PC, mindestens aber ein Laptop brauchen werde, während die meisten Menschen den Großteil ihres digitalen Lebens mit ‘nem Smartphone oder einem Tablet verbringen können, für die Gestensteuerung in Teilbereichen geeignet sein könnte. Find’ ich super, fahre ich eben einen Truck, ich mag Trucks. Das ändert allerdings nur wenig daran, dass Gestensteuerung ziemlich unintuitiv und ungenau ist, von versehentlichen Interaktionen durch Armbewegungen mal ganz abgesehen.
Wie gesagt: Mich überzeugt das alles nicht wirklich, im Gegensatz zu Multitouchscreens auf Handys, die in der Anwendung ziemlich viel Sinn ergeben, auch wenn der Keyboard-Ersatz auf den Teilen nach wie vor ziemlich grausam ist. Man muss sich auch vor Augen halten, wie schnell sich Touchscreens durchgesetzt haben, von Experimenten in Labors und Jeff Hans Präsentation auf der TED 2006 bis zum iPhone verging grade mal 1 Jahr. Gestensteuerung dümpelt seit sieben Jahren (Nintendos Wii) im Consumer Market rum und ist über die nette Spielerei in diesem Zeitraum nie hinweg gekommen. Actually, Gesture Interfaces are from the Past.
Dazu gab’s kürzlich einen schönen Rant von Animator Christian Brown, der sich auf The Awl an Minority Report und dessen eigentlich furchtbarem Gestik-Interface abarbeitet:
In the movie, when Tom Cruise straps on his infogloves and starts rummaging through the dreams of the psychic precogs, classical music begins to play. He stands in front of a semicircular computer screen, the size of a wall, and uses his hands to fast forward and rewind, to zoom in and out and rotate the screen. Many of them are laughable—he places one hand in front of another to zoom in, like a vertical hand jive. He goes to shake someone’s hand and all his files are thrown down into the corner. It’s, frankly, absurd—especially if you haven’t seen it since 2002. THIS is the thing tech reviewers are always comparing a new interface to? […]
The “hovering multitouch” interfaces of Iron Man 2, Total Recall, and Tron have become pop culture’s vision of what’s state-of-the-art, even outside of Spielberg’s movie. None of these are fundamentally different from Minority Report’s technoscreen—they just have varying distances between fingertip and graphic. But all of them are, essentially, what design critic Bret Victor has called “pictures-under-glass.” They are interfaces that look good, rather than interfaces that work well.
Exakt. Und daher ich glaube keine Sekunde daran, dass sich diese Interfaces langfristig wirklich durchsetzen werden. Aber hey, immerhin sind sie nett anzusehen. Is’ ja auch was.
Real Augmented Reality Lenses are here
Es gehen immer wieder Meldungen über Kontaktlinsen mit sogenannter „Terminator“-Augmented Reality-View rum, da wird auch relativ intensiv dran geforscht und die Innovationen bestehen vor allem darin, die Elektronik auf der Linse unterzubringen. Ich halte das alles für Bullshit, man kann ja mal einen Finger 1cm vor’s Auge halten und dann versuchen, das Bild zu fokussieren, das ist schlicht physiognomisch nicht möglich. Mit diesem Problem hat auch GoogleGlas zu kämpfen, es ist kein Wunder, dass man bislang vor allem nur Bilder aus der eingebauten Videocam kennt.
Innovega scheint dieses Problem gelöst zu haben und zwar mit einer Kombination aus Glasses und Kontaktlinse (die auch medizinisch angepasst werden und die ggf. „normale“ bereits vorhandene Kontaktlinse oder Brille ersetzen kann). Die erste Hälfte des Videos oben besteht aus Konzeptkram, die zweite Hälfte sind tatsächlich jetzt bereits durchgeführte Augmented Reality-Projektionen und die sind durchaus beeindruckend. Natürlich wird sich kein Mensch, der nicht sowieso bereits Kontaktlinsen und/oder Brille trägt, auf diese Technologie einlassen, sofern die Augmented Spielereien nicht wirklich zwingend werden, dazu ist diese doppelte Hürde (Linse+Brille) zu hoch für ‘nen breiten Markt. Aber möglich ist es – immerhin.
The issue stems from the fact that humans have a hard time focusing on extremely close images. In order to fix this, you need lenses to re-focus incoming light. Innovega’s innovation is moving those potentially bulky lenses out of the eyewear and into the eye itself, in the form of a contact lens.
The company’s iOptik contact lenses refocus polarized light to the pupil which allows the wearer to focus on an image that is extremely close to the eye. The contacts can also include a user’s own eyewear prescription.
Now that the bulky optics have been eliminated, light-weight wearable displays can be used to project tiny augmented reality images onto the lens of the glasses. The projection, which would normally be impossible to focus on, comes into view with no problem thanks to the iOptik contacts. A large field of view (60 degrees or more, according to Innovega) can be maintained because the light source can be moved very close to the eye without losing focus. Innovega appears to working toward a field of view of nearly 120 degrees.
Innovega Demonstrates Progress on iOptik Contact Lenses for Augmented Reality
Experimental, generative, 3D-scanned Documentary „Clouds“
Im Mai bloggte ich über die experimentelle Doku CLOUDS, die mit Kinects gefilmt wird und deren „Videomaterial“ so als komplett editierbare 3D-Umgebung vorliegt, mit der man dann die irrsten Sachen anstellen kann. Ich hatte schon ein paar Musikvideos damit hier auf NC (such ich jetzt nicht raus) und die Doku versammelt so ziemlich alle Leute, die mit dieser Technologie zu tun haben, am Ende steht wohl eine immer noch klassische Narration, allerdings in einem vom User manipulierbaren Raum. Irgendsowas. Jetzt haben sie eine Kickstarter-Kampagne gestartet und oben ist ein neuer Clip dazu und der sieht nicht weniger als fantastisch aus, New School Storytelling to the max.
The creative practitioners featured in the documentary represent a new breed of interdisciplinary artists who combine software engineering, audiovisual design, and cultural engagement. CLOUDS explores the themes of creativity, aesthetics, simulation, and sharing articulated by these luminaries in the computational arts community.
Counter to the widespread perception of code as exclusively utilitarian, this generation of hacker-artists struggles to develop new forms of visual expression, expanding the vocabulary of technology to resonate at a deeper human level. In an increasingly data-driven culture, our subjects act as intermediaries who can help us to navigate and make sense of our evolving digital universe.
The CLOUDS experience is generated from a database of richly tagged interviews. For you, the viewer, the story begins with your curiosity. You input a question or search term as the starting point, setting the initial trajectory. Just as an everyday conversation will often flow through series of digressions, each subject you encounter offers branching paths to unexplored regions of the video collection. A unique narrative experience is generated just for you. You can sit back and watch the story conversation unfold, or let your interaction with the system guide you toward surprising outcomes.
CLOUDS Interactive Documentary by James George, Jonathan Minard (via Creators Project)
Experimental Filmmaking: Mapping Video on Kinects 3D-Data
Jonathan Minard und James George arbeiten an einer Open Source Video-Editing-Software namens RGBDToolkit und mit diesem Tool verwirklichen sie grade die experimentelle Doku “Clouds” über Hacker , wozu sie grade obigen Clip online gestellt haben. Soweit ich das RGBDToolkit verstanden habe, mapt man damit den mit einer normalen DSLR gedrehten Videoclip auf die 3D-Daten des parallel aufzeichnenden Kinects. Snip von Creators Project:
“The goal behind the documentary is to capture the creative hacker ethos in a media that suits the subject,” explains George. “Clouds is a window into the mentality of the scene responsible for inventing the format that was used to create the film.” Which is probably why anyone who is familiar with the aesthetics of data visualization or has seen one of the countless Kinect hack demos from the past year will recognize influences of both in the film’s style. “The subjects float in a black void, their figures composed of tiny points connected by lines that flicker and break apart at the edges,” continues George. “They’re made out of pure computational matter—the same material the artists depicted work with on a daily basis.”
Though they used a stationary one camera set-up, the 3D Kinect data they capture allows them to render out the images any way they can dream up (and code up) and rephotograph their subjects from any angle in post production.
Experimental Film Clouds Combines Kinects And DSLRs To Imagine The Future Of Filmmaking
Solipsist: Experimental Short
Youtube Direktwhat?, via Flooby Nooby
Toller, zehnminütiger Experimental-Kurzfilm von Andrew Thomas Huang, mit drei Millionen tatsächlich neuen visuellen Ideen, die ich so noch nie gesehen habe. grandioses Ding. Hier die Facebook-Seite zu Solipist, finanziert wurde der Trip per Kickstarter. Von da:
SOLIPSIST is a three part psychedelic fantasy short film about otherworldly beings whose minds and bodies converge into one entity. Filled with elaborate costumes, stunning visual effects, and underwater puppets, the film is a non-narrative purely visual/audio experience designed to transport viewers through a hypnotic, dream-like experience. It consists of three parts, each featuring visually fantastic characters and creatures that converge with each other in surreal ways. The film concludes by featuring all three segments combine into a colorful, psychedelic finale.
“Solipsist” is meant to be a purely visual film built around the idea of convergence and unison between living things. The title comes from the philosophical theory of solipsism in which the self is the only thing that one can know or prove to exist. The isolation of this theory inspired me to imagine a counter-hypothesis – a world in which living beings are not constrained by a singular experience. Rather, the characters in this film are constantly merging into one another, forming a collective consciousness through unison of their minds and bodies.
Tiny Insect-Robots assemble themselves like Popup-Books
Das Robotlab in Harvard hat „faltbare“ Roboterbausätze gebastelt, dank derer man in einem einzigen Produktionsprozess dutzende der Bots herstellen kann und die sich danach in einer Falt-Bewegung wie ein Popup-Buch selbst aus dem Bausatz zusammenbauen. Und in zwei oder drei Jahren drucken wir unsere eigenen Popup-Bots mit nem 3D-Printer zuhause.
A technique inspired by pop-up books could enable quicker production of tiny robots and other electrical devices, according to Harvard engineers. Usually, building a micro aerial vehicle — or any other robot — requires a painstaking assembly process, with each little wing or sensor folded and machined just so. Now it can come together in a single fold.
It works by combining all the robots’ component layers, sandwiching each piece of metal or carbon fiber into a single sheet. First each layer is laser-etched into the proper design, and the sheets are laminated together. The end result is a hexagonal sheet with a small assembly scaffold, with the whole thing the size of a U.S. quarter.
The entire assembly has 137 folding joints. The assembly scaffold, which has folds of its own, performs 22 origami-style folds, resulting in a fully formed robot you can pop out and turn on — in this case, it’s the Harvard Monolithic Bee, or Mobee.
With New Technique, Tiny Robots Can Be Mass-Produced Like Pop-Up Books, hier der Original-Artikel bei Harvard: In new mass-production technique, robotic insects spring to life: Production method inspired by children’s pop-up books enables rapid fabrication of tiny, complex devices
Bear 71: Interactive Datavisualization-Documentary-Thing

Die Installation Bear 71 wird grade auf dem Sundance Filmfestival gezeigt und ist irgendwo zwischen Naturdoku, Datenvisualisierung und interaktivem Storytelling. Bear 71 erzählt die Geschichte einer Grizzly-Bärin, die über 11 Jahre nonstop überwacht wurde, die Filmemacher bekamen Zugang zu den Daten und rekonstruierten daraus das Leben der Bärin. Auf der Website zu Bear 71 kann man ein bisschen rumexperimentieren, hier der Trailer zum Dings und ein Snip aus der Pressemitteilung:
Vimeo Direktbear, via Creators Project
Bear 71 is the true story of a female grizzly bear monitored by wildlife conservation officers from 2001 – 2009.
She lived her life under near constant surveillance and was continually stressed by interactions with the human world. She was tracked and logged as data, indicative of the way that we have come to see the world around us – with Tron or Matrix9like filters – constantly monitoring, qualifying and quantifying, instead of experiencing and interacting.
Leanne Allison gained access to 1 million photos gathered covertly in the wilderness by motion triggered cameras over 11 years, unbeknownst to the animals and humans that provided the rich data captured in the photos on this project.
Bear 71’s story is consistently played out in places all over the globe where humans and wildlife intersect – from cougars in Nova Scotia to Bears in suburban Vancouver to Bear culls in New Jersey. It highlights how our growing dependence on technology divorces us from nature, even while allowing us to keep closer tabs on it. It raises questions about how we view nature, how we view ourselves in relation to technology and nature, and the nature and validity of surveillance both in the wild, and within human society.
Turntable plays Music from Tree-Rings
Bartholomäus Traubeck hat einen Plattenspieler so gemoddet, dass er Baumringe per Ableton als Musik interpretiert: „A record player that plays slices of wood. Year ring data is translated into music, 2011. Technical components include arduino, ps eye, stepper motor for moving the tonearm, vvvv and ableton live, all connected via midiyoke and/or serial.“ (via Creative Applications)
3D Projection-Mapped Multiplayer Game
Sehr schickes Projekt von B-Reel, die ein per Handy und HTML5-Seite gesteuertes Multiplayergame auf einen Haufen Würfel projiziert haben. Projection Mapping auf dem nächsten Level sozusagen und ich stelle mir grade die Daft Punk-Pyramide von ihren Livegigs vor, auf der so ein Game läuft und das komplette Publikum zockt darauf, der Soundtrack dazu kommt von der Band. Ich schätze mal, von dem Kram werden wird demnächst noch öfter hören.
EELS is an R&D project developed at B-Reel London. It combines various technologies into a multiplayer game experience where people can control their virtual EEL projected on a physical installation. People could participate by using their mobile devices, using an HTML5 interface to provide direct control over their EEL.
Realtime Face Substitution
(Vimeo Direktfaces, via Dangerous Minds)
Arturo Castro ersetzt sein Gesicht in Echtzeit mit Michael Jackson, Dali und Obama. Sowas gab’s vor einer Weile schonmal mit unbewegten Gegenständen und Oberflächen, die in Live-Videos wegmanipuliert wurden, jetzt kann ich mich also bald in Überwachungskameras hacken und so tun, als wäre ich James Bond. Which ofcourse is, in fact, the truth.
Next Gen Lasertagging
Awesome! Von Evan Roth und dem französischen Graffiti Research Lab.
Illucias codebending, audiovisual Weirdness
(Vimeo Direktcode, via Make)
Illucia ist eine physische Konsole, die Softwaremodule miteinander verknüpft und miteinander interagieren lässt. Paper Kettle bezeichnet das ganze als Codebending. Heraus kommen dann irgendwelche irren Sachen und hier endet dann bereits mein Verständnis von dem, was hier passiert. Aber ich find’s superfaszinierend.
illucia is a codebending instrument.
Codebending is the exploration of software with “patch points.” Patch points expose the inner workings of computer programs, and allow for atypical connections between things like games, music making software, office suites, etc.
illucia is a USB device with physical jacks that correspond to software patch points, which can be connected and disconnected using patch cables. Thus, illucia is a console for routing information between computer programs, and opens strange relationships across systems that don’t usually interact – it turns systems themselves into play objects.
I’ve written several codebendable games / programs that open their inner workings via patch points. Fascinating and unexpected things happen when connecting otherwise-unrelated programs:
Video games can play other video games. Music synthesizers can control word processors. Feedback loops turn everyday software tropes into generative art. Simple AI is patchable. Anything controls (and can be controlled by) anything; in codebending, every system becomes an instrument with a unique voice, ready to control, and be controlled.
illucia is a physical instrument to explore these kinds of connections – it is a way to treat systems as playgrounds.
SMSlingshot: SMS-Throwups mit ‘ner Holzschleuder
Mit der SMSlingshot kann man SMSe an eine Wand schleudern mit einer klassischen Zwille aus Holz (naja, und einem Projektor). Super Spielzeug für 12jährige wie mich.
The SMSlingshot is wooden device that was designed to create situations of digital augmented urban drift (Dérive). It is equipped with an ultra-high frequency radio, hacked micro processor board, a laser-pointer and batteries. A text messages can be typed on a phone-sized wooden keypad which is integrated in the also wooden slingshot. After the message is finished, people can aim on a media facade and send/shoot the message straight to the targeted point. It will then appear as a colour splash with the message written within. The text message will also be real-time twittered to link up real and virtual worlds.
James Powderly (Graffiti Research Lab) Video-Profile

(Creators Direktlab, thanx Matt!)
Schönes Video über James Powderly, der zusammen mit Ethan Roth das Graffiti Research Lab gründete und so tolle Sachen wie die LED Throwies, Laser Tagging und den Eyewriter entwickelte. Matt schreibt mir:
James Powderly is today’s featured Creator on our recently launched Creators Project site. If you are unfamiliar with James, he’s an aerospace-dropout-turned-super-hybrid-engineer-designer who co-founded Graffiti Research Lab and F.A.T. and most recently worked on the award-winning Eyewriter project which won the prestigious Ars Technica Gold Award.
In this video James takes us through his creative steps and thoughts behind some of the biggest projects that he has worked on such as LED throwies, L.A.S.E.R. Tag, and probably the most gut-wrenching/heart-inspiring story behind the creation of Eyewriter for the graffiti legend Tempt. Tempt suffers from ALS and is virtually paralyzed by the disease. But through sheer tenacity and technology James and the group created a custom “eyewriter” that allows Tempt to once again create with just eye movements, thwarting the effect of ALS.
Vorher auf Nerdcore:
Lasertagged
6 Steps zum eigenen Graffiti Research Lab
EyeWriter online: Graffiti aus Licht für Gelähmte
Die wundervollsten Ideen…
Tagging-Typostudie: Graffiti Taxonomy
BLK River Streetart Festival in Wien
Intellectual Property Asshole Competition
Evan Roths Graffiti Analysis 2.0





SOLIPSIST is a three part psychedelic fantasy short film about otherworldly beings whose minds and bodies converge into one entity. Filled with elaborate costumes, stunning visual effects, and underwater puppets, the film is a non-narrative purely visual/audio experience designed to transport viewers through a hypnotic, dream-like experience. It consists of three parts, each featuring visually fantastic characters and creatures that converge with each other in surreal ways. The film concludes by featuring all three segments combine into a colorful, psychedelic finale.


illucia is a codebending instrument.


