Language and Vision. Using visual information in real-world language situations

Sammanfattning: Popular Abstract in Swedish Denna avhandling undersöker hur vi använder visuell kontextinformation i samtal. Alla modeller över språkprocessning och kommunikation är ense om att visuell kontextinformation har en positiv nettoeffekt på förståelse och kommunikation. Trots detta är det inte klart genom vilka mekanismer denna kontextinformation verkar, eller om dessa mekanismer fungerar i situationer utanför språklabbens experiment. Denna avhandling söker svar på dessa frågor genom primärt tre vägar: 1. Att undersöka om befintliga mekanismer fungerar i mer naturliga miljöer. 2. Utforskar nya mekanismer för hur visuell kontext kan vara användbar. 3. Lösa metodologiska utmaningar som hindrar forskare från att göra språkexperiment under mer naturliga omständigheter. Denna avhandling rapporterar resultat från fem vetenskapliga studier. Studie 1 sökte lösningar på problemet med temporal osäkerhet i ögonrörelsemätare med låg samplingsfrekvens. Studie 2 undersökte vanan att titta på objekt som nämns, och om denna vana även är aktiv i mer utmanande språksituationer. Studie 3 föreslog ett nytt mått för att mäta kommunikativ framgång i naturliga samtalssituationer. Studie 4 fann att talare tenderar att referera till visuell information, även om den inte är obligatorisk för samtalet. Studie 5 fann att bilder med högt emotionellt innehåll uppfattas som mer hjälpsamt i en samtalsinformation med visuell kontext. Studien fann även att talares språkinnehåll inte påverkas av bildernas emotionella innehåll, vilket prediceras av nuvarande forskning.