Multimodal context in multilingual referential communication: Integrating deep learning and human perception
Wanneer we taal gebruiken om naar objecten in onze omgeving te verwijzen, komt onze keuze van wat we erover zeggen voort uit een nauwe wisselwerking tussen taalkundige condities en perceptuele processen. We gaan de interactie tussen taalproductie en visuele aandacht modelleren. De visuele aandacht hangt af van opvallende kenmerken, maar ook van onze kennis van alledaagse scènes. Hoe beïnvloedt de uitkomst van dit samenspel tussen opvallende kenmerken en scènekennis de formulering van een taalkundige boodschap? Ons doel is om de interactie tussen perceptie en taal vast te leggen om mensgerichte, cognitief plausibele AI-modellen voor referentiële communicatie te ontwikkelen.
Het NGF AiNed XS Europa programma valt onder AiNed-deelprogramma 1 (Kennis- en innovatiebasis) en is gericht op Europese samenwerking met invloedrijke samenwerkingspartnerorganisaties in AI, in grensverleggend onderzoek met een focus op de uitdagingen in de nationale AI-onderzoeksagenda.