L'estimation de pose 6DOF pour les objets industriels complexes dans le cadre de bin picking

Dans le domaine d’assemblage industriel, ce travail vise à apporter de la vision artificielle avancée à l’assemblage de la pièce à l’étude qui est considérée de nature complexe. Dans le cadre d’un problème de Bin Picking, où plusieurs pièces sont déposées de façon aléatoire dans un contenant, ce travail consiste à trouver une solution au bras robotisé pour détecter et estimer la 6DoF. En l’occurrence, une tentative d'essai avec PoseCNN a déjà été testée auparavant, mais cet algorithme n'a réussi à détecter aucune instance dans une scène réelle. Pour mener à bien ce projet, le présent travail vise à étudier plus en détails les raisons de ce problème et à proposer une solution de détection et d’estimation de pose 6DoF qui convient le mieux à la pièce à l’étude étant un objet industriel complexe. Évidemment, l’estimation de pose 6DoF dépend grandement de la détection d’objets. Les approches d’estimation de la 6DoF de l’état de l’art sont fortement basées sur les images RGB qui impliquent une détection 2D, ce qui néglige certains détails géométriques de l'objet. D’autre côté, certaines d'entre elles sont complétement dépendantes des nuages de points, ce qui impose une détection négligeant la couleur et les caractéristiques 2D de l’image RGB. Donc, l'idée est d'avoir une combinaison qui tire parti de la détection 2D et 3D pour extraire le plus de caractéristiques déterminantes possibles. Dans ce contexte, PVN3D fusionne les caractéristiques 2D et 3D et ajoute un réseau de neurones profond de vote 3D pour déterminer les keypoints 3D à la manière de VoteNet lancé par Facebook. De ce fait, la contribution de ce travail est d’intégrer la base de données T-LESS d’objets industriels à PVN3D. Comme résultat final, en exécutant PVN3D, l’objet T-LESS est bien reconnu et ses 8 keypoints ainsi que son centre sont à l’emplacement exacte. Pour conclure, cette perception avancée du bras robotisé permettra aux entreprises d’accélérer leurs assemblages de pièces et de multiplier ainsi leur productivité.

Name thesis:degree_name

M. Sc. A.

Level thesis:degree_level

Maîtrise

Discipline thesis:degree_discipline

Génie électrique

Grantor dc:publisher

Université de Sherbrooke

Year dc:date.issued

2023

Author dc:creator

• El khamlichi, Hajar

Advisor dc:contributor.advisor

• Suleiman, Wael

• 3D keypoints
• 6DoF
• L’estimation de pose 6DoF
• PVN3D
• T-LESS
• Objets industriels
• Object detection
• Instance segmentation

Language dc:language.iso

fr

Handle dc:identifier.uri

http://hdl.handle.net/11143/20673

OAI identifier oai:identifier

oai:usherbrooke.scholaris.ca:11143/20673