Dans un billet publié lundi 19 août dernier, sur le blog Google AI du géant américain, les chercheurs en ingénierie Valentin Bazarevsky et Fan Zhang font part d’un petit exploit. "Si elle est naturelle pour l’œil humain, la perception fiable des mains en temps réel est une tâche visuelle résolument complexe en informatique", rappellent-ils tout d’abord, expliquant en effet que "les mains se gênent souvent entre elles (par exemple, les obstructions doigt/paume ou le cas des poignées de main) et manquent de marques très contrastées."

Ainsi, s’il existe déjà des technologies "de pointe" capables d’accomplir une telle tâche, elles sont pour l’heure limitées à des "environnements d’ordinateurs fixes puissants", précisent les chercheurs. Eux affirment, non sans fierté, qu’ils ont réussi à "atteindre une performance en temps réel sur un smartphone, à une échelle impliquant même plusieurs mains."

Pour ce faire, Valentin Bazarevsky et Fan Zhang expliquent qu’ils ont notamment utilisé quelques 30 000 photos de mains, prises dans des positions mais aussi dans des contextes différents (avec divers arrière-plans, en intérieur et en extérieur, sous plusieurs luminosités) pour s’assurer d’une fiabilité maximum quelle que soit la situation. Ils ont ensuite établi 21 coordonnées correspondant aux principaux points de mouvement de la main. Soit une à la base de la paume, deux autres qui mènent au pouce, puis le reste à chaque extrémité des phalanges.

Un algorithme complexe appris à une IA

Apposés manuellement sur chacune des 30 000 images, ces 21 points de coordonnées retrouvés ainsi dans diverses positions ont servi aux chercheurs pour créer un algorithme qui identifie les différents gestes effectués par les mains. Algorithme qui donc, grâce au principe du "machine learning" (ou "apprentissage automatique", en français), permet à une intelligence artificielle de comprendre et donc traduire les données reçues.

Cerise sur le gâteau : cet algorithme, des plus performants à en croire leurs propos, les employés du géant américain ne comptent pas le garder pour eux mais le partager avec le monde entier. Ils l’ont en effet déposé en accès libre sur la plateforme MediaPipe, expliquant dans leur billet sur Google AI : "Nous espérons qu’en offrant cette fonctionnalité de perception des mains à une plus grande communauté de recherche et développement, cela mènera à l’émergence de projets créatifs, encourageant de nouvelles applications et de nouvelles voies pour la recherche."

Ça, c’est beau. Il n’y a plus qu’à attendre que d’autres petits génies se servent de ce petit bijou technologique pour qu’il arrive dans nos smartphones !

Sources : Google AI, TechCrunch