ETAPE: Embodiment- and Task-Aware Parameter Embeddings for Robotic Foundation Models

Er is de afgelopen jaren veel vooruitgang geboekt in het trainen van grote neurale netwerken in de vorm van "robot foundation models" voor het 'pre-trainen' en besturen van verschillende robotarmen en -platforms; op basis van alleen camera beelden en voorbeeld data. Echter, directe motorische aansturing, zoals hoekposities en -snelheden, blijft een uitdaging voor deze modellen wanneer ze worden ingezet op verschillende robotplatforms. In dit voorstel zullen we nieuwe manieren onderzoeken om voor het modulariseren en structuren van de zogeheten "embedding space" van robot foundation models, waardoor ze het design en de taak van de robot beter kunnen identificeren en generaliseren.