Facebook travaille sur le développement d’un bracelet connecté qui doit interpréter les mouvements de la main pour commander des interfaces à distance. Ordinateur, réalité augmentée ou autres machines seraient ainsi contrôlées d’une toute autre manière. De plus, en mesurant les impulsions nerveuses, ils pourront détecter les mouvements des doigts sans utiliser de caméra ou de gants. Des pressions et vibrations des bracelets permettront de ressentir les objets manipulés.

Une technologie encore à ses débuts
Les chercheurs Facebook Reality Labs expliquent mettre un point d’honneur à développer des technologies pour interagir naturellement et efficacement dans des environnements de réalité augmentée (AR). On ne parle pas ici d’outils de navigation pour applications AR sur smartphone, mais de projets d’interfaces innovantes adaptées à un monde mixte généré via des lunettes, superposant des éléments graphiques au champ de vision complet de l’utilisateur. Ces chercheurs veulent dans ce cadre mettre au point une interface AR permettant «de rester totalement présent dans le monde réel à tout moment », grâce à un système de contrôle générant le moins de frictions possible. Le tout en respectant une longue liste d’exigences dont la confidentialité, la sécurité, la personnalisation, l’aspect intuitif, le confort ou encore l’autonomie.
Les bracelets permettent actuellement d’effectuer des « clics » en pinçant le pouce et un doigt. Toutefois, les chercheurs travaillent également sur des gestes plus complexes, comme écrire sur un clavier virtuel. Il serait alors très simple de créer un bureau temporaire n’importe où, simplement en faisant apparaître le clavier et un écran ou document virtuel. En s’appuyant sur l’intelligence artificielle (IA) pour analyser la manière dont on se sert du clavier, y compris les mauvaises habitudes et les erreurs de frappe, la disposition du clavier pourra être adaptée à chacun et ainsi accélérer la saisie.
Plutôt qu’une interface statique, Facebook souhaite rendre l’utilisation de réalité augmentée plus fluide grâce à l’intelligence artificielle. Les lunettes de réalité virtuelle comprendront votre activité en cours, et permettront d’interagir avec des objets réels, comme allumer ou ajuster une lampe connectée en la pointant du doigt. De plus, l’interface s’adaptera à vos habitudes, et pourra par exemple proposer de lancer la lecture de votre musique lorsque vous faites du sport afin de vous éviter de chercher la fonction dans les menus.
Se projetant encore plus loin, les chercheurs envisagent de compléter cette interface futuriste par un système de rétroaction haptique. Ce dernier transiterait également par des bracelets, via des dispositifs vibro-tactiles et un mécanisme de pression du poignet. Ces sensations haptiques serviraient par exemple à guider l’utilisateur dans l’accomplissement d’une action avec des objets virtuels. Ou encore à signaler de différentes façons la réception d’e-mails en fonction de l’importance de l’émetteur.
Encore faut-il pouvoir doter ce bracelet d’un moyen de communiquer des informations suffisamment riches. Facebook Reality Labs s’est ainsi tourné vers les techniques d’EMG (électromyographie), qui font appel à des capteurs pour traduire les signaux électriques des nerfs et des muscles. Il s’agit donc de placer ce type de capteur dans le bracelet, la technologie étant en mesure de comprendre un mouvement de doigt d’à peine un millimètre.

Le développement de ces systèmes d’interaction futuriste n’est qu’à ses débuts. Mais les chercheurs de Facebook Reality Labs précisent qu’ils publient leurs avancées également dans le but de susciter le débat concernant les questions d’éthique, de sécurité et de confidentialité que ces projets posent.