Kids in Paris making music on an iPad by simply moving their hands through sand. Apple
APPLE'S "1.24.14" VIDEO #30YEARSOFMAC #MAC30
Salut User Studio, alors comme ça vous créez des "controllers" maintenant ?!
Nous avons toujours conçu des "controllers" !
Mais c’est vrai qu'en général, il s'agit de "controllers" purement graphiques (Graphical User Interfaces ou interfaces graphiques pour écran) dans lesquelles vous pouvez naviguer en cliquant avec votre souris ou en tapant avec votre doigt sur un smartphone. Cette fois-ci, on voulait concevoir des choses vraiment tangibles. D'ordinaire, nos ingrédients de base sont les pixels et les lignes de code. Là, on a conçu une interface à partir de bois, de métal et d’électronique. Alors les contraintes sont un peu différentes, mais en fin de compte, c’est le même métier : le design d'interaction.
Très bien, on vous croît ;) Mais pourquoi cette interface ?
Il existe aujourd'hui pléthore d'interfaces qui nous permettent, à nous autres les humains, d'interagir avec nos machines : on pense bien évidemment au clavier, à la souris, au joystick, la manette de jeu, l’écran tactile... sans oublier la Wiimote ou le volant de votre voiture.
Un plat de 570cm3 contenant environ 8 600 graines de tapioca
La question à laquelle nos recherches préalables nous avaient amenés était : comment contrôler une grande quantité de particules à l'écran de la manière la plus naturelle, la plus intuitive possible ? Nous nous sommes rendus compte qu'il n'existe pas de meilleur moyen que de manipuler des particules "réelles", bien concrètes, comme du sable. En créant les Dirty Tangible Interfaces (DIRTI, ou interfaces sales), nous nous sommes attachés à concevoir quelque chose d'un peu moins précis mais de beaucoup plus subtil et évolutif. Nous affranchir des interactions froides et lisses que nous imposent les "controllers" traditionnels pour retrouver la dimension charnelle de notre monde de sens…
Du coup DIRTI c'est quoi ?
C’est la première interface à base de tapioca jamais conçue au monde ! Sans rire : elle vous permet de contrôler votre iPad avec du tapioca, ou n'importe quelle autre substance semi-transparente et modelable, comme de la glace à la vanille par exemple. Tout matériau laissant plus ou moins passer la lumière, sous forme granulaire ou liquide, fera l’affaire.
Vous, l'usager, interagissez avec votre ordinateur en remuant et modelant la matière dans un plat en verre. Tout ce que vous allez pouvoir produire à partir de DIRTI ne sera pas extrêmement précis, mais infiniment modifiable et expressif. Il vous est impossible d’annuler une action, mais vous pouvez jouer de tous les visuels et sons produits par votre machine avec une expressivité époustouflante, comme avec un véritable instrument.
2,3 milliards de grains de sable ou 37 milliards de milliards de molécules d'eau
Du coup, quelles sont les particularités de DIRTI pour iPad ?
DIRTI pour iPad est la version compacte et autonome de Dirty Tangible Interface. Elle est très simple à installer et très simple à utiliser. Particulièrement pour les enfants, pour lesquels utiliser des tablettes tactiles est devenu une seconde nature aujourd’hui !
Dans le cas présenté dans nos vidéos, réalisées à la Maison des Petits du CENTQUATRE à Paris, nous nous sommes attachés à relier les mouvements réalisés dans DIRTI aux visuels et aux sons produits par notre application iPad faite maison :
L’interaction - entre la restitution visuelle dans l’application que nous avons développée et ce qui se passe dans le plat - est directe et intuitive. Même chose pour les sons. La "partie sonore" de l'app iPad a été créée et développée par le chercheur Diemo Schwarz de l'IRCAM avec qui le concept de DIRTI a cheminé depuis le début, et les sons ont été composés par le designer sonore Roland Cahen.
Comment ça marche au juste ?
Voilà comment tout ça fonctionne : à l’intérieur de la boîte, c’est le noir complet. Nous avons installé une caméra juste en dessous du plat vitré qui contient le matériau d’interaction. Cette caméra est connectée à un minuscule ordinateur, un Raspberry Pi. Ensemble, ils scrutent les mouvements, analysent la densité du matériau et transmettent cette information à l’iPad... La majeure partie du travail qui vient ensuite – l’interprétation des informations et leur restitution – se passe au niveau de l’iPad.
Bien entendu, nous ne sommes pas arrivés avec cette version du produit tout de suite : plusieurs itérations ont été nécessaires pour faire évoluer l’objet ! Mais la philosophie du produit n'a pas changé. Nous voulions un objet dont l’identité réside dans son principe de conception : le prototypage, l'itération et l'exploration, en faisant en sorte que l'interface prenne le pas sur la forme qui n’est que la résultante d’une somme de contraintes techniques et d'usage.
Ça marche. Donc il y a des applications iPad développées spécifiquement pour DIRTI ?
C’est exactement ça ! Effectivement, à partir de l’API que nous sommes en train de développer, il est possible d'imaginer toutes sortes d’applications qui utiliseraient ce qu’il se passe dans notre interface : des éditeurs de terrain pour la conception de jeux vidéos, des applications de planification urbaine, des outils interactifs d’apprentissage scientifique, et la liste continue...
Des éditeurs de terrain pour la conception de jeux vidéos, des applications de planification urbaine, des outils interactifs d’apprentissage scientifique…
Mais pour l’heure, vous vous concentrez sur un usage destiné aux enfants ?
Nous nous sommes lancés dans le développement d’une version de DIRTI pour iPad avec une seule chose en tête : nous voulions créer l’interface la plus simple et la plus intuitive possible. En même temps, nous aimons la qualifier d’interface "rebelle" : elle incite les enfants à mettre du tapioca partout, vraiment partout ! D'ailleurs on était très impatients de voir ça... et croyez-nous, on n'a pas attendu très longtemps !
Les enfants sont les meilleurs testeurs auxquels vous puissiez faire appel : si ce n’est pas parfait, ils vous le font savoir tout de suite. Ils ne jouent pas avec votre truc, un point c’est tout. Mais s’ils aiment, alors ils se prêtent vraiment au jeu et c’est la récompense la plus gratifiante qui soit ! À la Maison des Petits du CENTQUATRE, nous avons vu des enfants âgés de moins de 4 ans qui y ont joué durant plus d’une heure. C’est incroyable la manière dont ils se sont appropriés DIRTI.
Lets young children control an audiovisual symphony by playing with a bowl of tapioca. GIZMODO
L'interface leur permet d'avoir une relation très intuitive avec les graphismes et les sons qui sont produits par l'appli iPad. C’est vraiment merveilleux de voir combien ils sont absorbés par les choses qu’ils touchent et qu'ils manipulent, par la matière tout simplement. Pour revenir à notre vision du design d'interaction, chez User Studio nous croyons fermement que les interactions tactiles non-conventionnelles sont des outils pédagogiques sous-estimés. Laissons parler nos mains !
Ce projet a été rendu possible grâce au concours du génial chercheur Diemo Schwarz et à l'immense travail de l'équipe IMTR (Interactions Musicales Temps-Réel) de l'Ircam, à l'immense talent du designer sonore Roland Cahen, au non moins talentueux compositeur Éric Broitmann de Motus. Mais aussi grâce aux lasers et aux super professionnels de WeCut, à la magnifique musique de Destronics, aux équipes fantastiques du CENTQUATRE et tout particulièrement Valérie Senghor et Nicole Roux, ou encore à l'aide de Romain Pascal, au soutien indéfectible de Christian Jacquemin et du groupe de recherche Topophonie lui-même soutenu par l'Agence Nationale de la Recherche.