Vision donne à un bras robot une carte, mais ne lui donne pas de prise.

Essayez de ramasser un œuf avec uniquement l’entrée caméra et zéro retour de force : soit vous l’écrasez, soit vous le faites tomber. Il n’y a aucun signal indiquant à l’actionneur « vous êtes à 80 % de la pression de rupture, relâchez ».
Ce signal n’existe que sous forme de données haptiques : force, couple, pression tactile, détection du glissement.
C’est pour cela que le « goulot d’étranglement de l’IA incarnée » n’est plus un problème de vision. C’est un problème de toucher. Vous pouvez avoir un modèle 3D parfait d’une poignée de porte et quand même échouer à la tourner si la pince ne sait pas avec quelle intensité elle saisit ou quand elle glisse.
C’est le problème que le modèle Teleop-to-Earn de @InvLambda est conçu pour résoudre. Au lieu d’espérer que la simulation puisse approximer la friction et la compliance du monde réel, T2E met des opérateurs humains dans la boucle : des mains réelles, une dextérité réelle, produisant les jeux de données multimodaux (visuel + haptique) que les environnements de simulation ne peuvent pas contrefaire.
La vision dit à un robot où se trouve le monde.
L’haptique lui dit comment le toucher.
Le second est le problème le plus difficile et celui qui est réellement en train d’être résolu en ce moment.
@InvLambda #InvertedLambdaTheBreach #InvertedLambda #Robotics #Téléopération #SecondContact #SecondContactTheBreach