Modélisation des interactions humain-robot inspirée d'une approche de cartographie et de navigation visuelle

Les robots dotés d'une intelligence sociale seraient en mesure de communiquer avec les gens, de comprendre ce qu'ils font, ainsi que leurs intentions. Cette capacité reste à être développée dans les systèmes intelligents grand public. Par exemple, les haut-parleurs intelligents et les assistants vocaux sont assez limités en ce sens, ne réalisant que ce qui leur est explicitement demandé. Pour y arriver, le robot doit être en mesure de percevoir et d'interpréter son environnement, incluant les actions des personnes, et d'agir en fonction de ces perceptions. Les robots perçoivent et interprètent déjà leur environnement pour la navigation et la cartographie visuelle, capacité communément appelée V-SLAM (Visual Simultaneous Localization and Mapping). Le concept illustré dans ce mémoire est qu'il est possible de faire la même chose à partir des interactions visuelles et auditives avec des humains. En s'inspirant du V-SLAM, le robot génère une forme de cartographie de ses perceptions visuelles et auditives afin de modéliser les interactions et d'y détecter des motifs répétitifs menant à des fermetures de boucle, comme c'est le cas en cartographie robotique. Les données perceptuelles utilisées sont prétraitées par des réseaux de neurones à apprentissage profond, puis agrégées pour faciliter leur utilisation lors de la modélisation des interactions. Les perceptions résultantes sont regroupées en nœuds en fonction de la classe d'objet ou de son qu'elles représentent. Les fermetures de boucle se produisent lorsqu'un nouveau nœud est créé avec la même distribution de classes qu'un nœud existant. Les algorithmes implémentés fonctionnent en temps réel. La validation de l'approche exploite un ensemble de données spatio-temporelles audio-visuelles acquises en milieu réel et suivant un scénario d'interaction prédéfini. À l'aide de dix échantillons de 10 minutes chacun représentant une même situation, soit un appel au téléphone dans une pièce, reproduite sur une période de dix jours, des boucles sont créées, permettant la réutilisation de nœuds et de liens. Pour compenser une limitation de l'approche à distinguer des situations ne différant que par le nombre d'instances d'un même objet perçu, une méthode de suivi effectuant un pré-traitement en amont de l'algorithme principal a été évaluée. D'autres pistes sont mentionnées pour poursuivre les recherches dans cette voie. La poursuite du projet permettrait d'ajouter la génération de prédictions à partir de la cartographie des interactions. Modéliser la position spatiale des perceptions par rapport au robot lors de la construction du graphe permettrait également de mieux différencier et reconnaître les situations.

Name thesis:degree_name

M. Sc. A.

Level thesis:degree_level

Maîtrise

Discipline thesis:degree_discipline

Génie informatique

Grantor dc:publisher

Université de Sherbrooke

Year dc:date.issued

2026

Author dc:creator

• Warren, Philippe

Advisors dc:contributor.advisor

• Michaud, François
• Ferland, François

• Robotique cognitive
• Robotique sociale
• Apprentissage multimodal
• Interactions humains-robots
• Intelligence sociale
• Intelligence artificielle générale

Licence dc:rights.uri

• http://creativecommons.org/licenses/by-nc-sa/4.0/

Language dc:language.iso

fr, en

DOI

https://doi.org/10.71892/11143/1403

OAI identifier oai:identifier

oai:usherbrooke.scholaris.ca:11143/23983