Perché non riesco a sentire chiaramente quando mi tolgo gli occhiali?

Alcune persone miopi potrebbero notare uno strano fenomeno: se quando parlano con altri si tolgono gli occhiali, la loro vista diventa offuscata e la loro voce sembra poco chiara. Ciò significa che la vista umana può anche "sentire" le cose?

In effetti è quasi vero! I nostri occhi possono aiutarci a "sentire" le cose, ovvero la vista può aiutare l'udito.

Il nostro cervello è in realtà un sistema in cui più sistemi sensoriali lavorano insieme. I diversi canali sensoriali (come la vista, l'udito, il tatto, l'olfatto e il gusto) non sono isolati l'uno dall'altro. Le reti neurali del cervello sono altamente connesse e tra queste aree sensoriali esiste un gran numero di connessioni interattive. Ad esempio, il lobo temporale è responsabile dell'elaborazione uditiva, mentre il lobo occipitale è responsabile dell'elaborazione visiva. Tra queste aree sono presenti numerose fibre nervose in grado di trasmettere informazioni e coordinare le attività. Ognuno di essi fornisce informazioni che il cervello fonde per migliorare l'accuratezza e la ricchezza della percezione. [1]

Utilizzando tecniche di imaging cerebrale, come la risonanza magnetica funzionale (fMRI) e registrazioni elettrofisiologiche, i ricercatori hanno osservato l'attività dinamica in queste aree in risposta alla stimolazione multisensoriale. Prendiamo come esempio la scena audiovisiva:

Quando le informazioni visive e uditive appaiono in sincronia, si verificherà un'attività evidente nella corteccia visiva situata nel lobo occipitale, che è la prima tappa dell'elaborazione delle informazioni visive ed è responsabile dell'elaborazione delle caratteristiche visive di base, quali forma, colore e movimento. Si registra inoltre un'attività significativa nella corteccia uditiva, situata nel lobo temporale, responsabile dell'elaborazione delle caratteristiche primarie delle informazioni uditive, come la frequenza e il volume. La risonanza magnetica funzionale (fMRI) mostra che l'attività nella corteccia uditiva non solo elabora le informazioni sonore, ma risponde anche agli stimoli che compaiono simultaneamente alle informazioni visive.

In questo processo, il solco temporale superiore (STS) è un'importante area di integrazione multisensoriale, soprattutto nell'integrazione audiovisiva. Il solco temporale superiore riceve input sia dalla corteccia visiva primaria che da quella uditiva primaria ed è inoltre collegato ad altre aree corticali superiori. Studi di neuroimaging (come la risonanza magnetica funzionale (fMRI) e la tomografia a emissione di positroni (PET)) hanno dimostrato che il solco temporale superiore mostra un'attività neurale aumentata quando vengono elaborate simultaneamente informazioni visive e uditive. Ciò significa che quando le informazioni visive e i segnali uditivi appaiono contemporaneamente, il solco temporale superiore può integrare i due sensi confrontando questi segnali. Ad esempio, quando una persona vede e sente qualcuno parlare, il solco temporale superiore combina i movimenti visivi della bocca con i segnali uditivi del linguaggio, migliorando la comprensione del linguaggio.

Il sorprendente fenomeno del cervello che "sintetizza" l'udito (effetto McGurk)

Questa integrazione tra vista e udito porta anche a un classico fenomeno psicologico chiamato effetto McGurk. Questo fenomeno fu scoperto per la prima volta da Harry McGurk e John MacDonald nel 1976: i partecipanti che osservavano la bocca di una persona emettere un suono "ga" ma sentivano un suono "ba" spesso riferivano di aver sentito invece un "da" o un altro terzo suono. [2][3]

Questo effetto dimostra che quando le informazioni visive e uditive sono incoerenti, le persone avranno una fusione di esperienze percettive e, talvolta, l'udito sarà influenzato dalla vista, con conseguenti risultati cognitivi errati. Questo effetto rivela l'importante ruolo della vista nella percezione del parlato e il complesso meccanismo mediante il quale il cervello integra diverse informazioni sensoriali.

L'effetto McGurk nasce anche dal meccanismo di integrazione multisensoriale. Il solco temporale superiore (STS) e la corteccia prefrontale del cervello sono responsabili dell'integrazione delle informazioni provenienti dai canali visivo e uditivo. L'effetto McGurk afferma che quando due informazioni sensoriali (visiva e uditiva) sono in conflitto, il cervello tenta di razionalizzare e fondere le informazioni in un'esperienza percettiva coerente. [4]

Questo fenomeno può dimostrare chiaramente che il nostro udito non proviene semplicemente dal canale uditivo, ma è il risultato di una "sintesi" da parte del cervello. Nello specifico, quando gli occhi vedono un'azione linguistica e le orecchie sentono segnali linguistici diversi, il cervello mescola queste informazioni, con il risultato che il linguaggio percepito non è basato né interamente sulla vista né interamente sull'udito, ma su una combinazione dei due. Questo processo di percezione fusionale suggerisce che, in alcuni casi, la vista può influenzare la nostra percezione del linguaggio più dell'udito.

Quindi, parlare con persone diverse influisce sull'effetto audiovisivo?

In realtà, lo è davvero. Ad esempio, parlare con persone familiari o con persone sconosciute produrrà effetti McGurk diversi.

Anche la familiarità del volto di chi parla può influenzare la nostra cognizione. Alcuni studi hanno dimostrato che se lo sperimentatore ha maggiore familiarità con il volto del parlante, l'effetto McGurk è più debole, il che significa che è meno probabile che il nostro udito sia influenzato dalla vista. Al contrario, se stai parlando con qualcuno che non conosci, devi mobilitare la tua vista per capire cosa sta dicendo l'altra persona, e in questo caso l'effetto McGurk è più forte. [5]

L'effetto McGurk varia nelle conversazioni tra parlanti di lingue diverse. Poiché la struttura dei fonemi e le regole di pronuncia delle diverse lingue variano, anche questo può influenzare l'effetto McGurk. Ad esempio, alcune lingue possono avere più consonanti doppie o pronunce consonantiche complesse, e queste componenti fonetiche complesse possono far sì che le informazioni visive svolgano un ruolo più significativo nella percezione del parlato. Ad esempio, l'effetto McGurk è più forte nel cantonese che nel mandarino, il che significa che chi parla questa lingua si affida maggiormente alle informazioni visive.

Anche la cultura della comunicazione tra persone di paesi diversi inciderà sull'effetto McGurk. Ad esempio, molte culture asiatiche (come Giappone e Corea) attribuiscono maggiore importanza all'interpretazione delle espressioni facciali e del linguaggio del corpo durante le conversazioni, il che potrebbe rendere i parlanti asiatici maggiormente dipendenti dalle informazioni visive per la comprensione del parlato. Al contrario, alcune culture occidentali potrebbero dare maggiore importanza alla comunicazione verbale accurata e quindi fare meno affidamento sulle informazioni visive negli esperimenti sull'effetto McGurk.

Qual è l'importanza di comprendere il fenomeno dell'integrazione audiovisiva?

Comprendere i meccanismi alla base dell'integrazione visiva e uditiva del cervello umano potrebbe aiutare a sfruttare questa capacità anche nel campo dell'intelligenza artificiale. Ad esempio, lo sviluppo di un sistema di riconoscimento vocale multimodale e la combinazione di informazioni visive con il riconoscimento vocale possono migliorare la precisione del riconoscimento del sistema in ambienti rumorosi.

Allo stesso tempo, questo può essere applicato anche agli apparecchi acustici progettati per le persone con problemi di udito. Se abbinato a informazioni visive, migliorerà notevolmente la capacità di comprensione del parlato da parte dell'utente. Ad esempio, combinando la tecnologia della lettura labiale, è possibile compensare la mancanza di alcune informazioni uditive.

Naturalmente, comprendere l'integrazione audiovisiva può anche aiutarci a risolvere i problemi quotidiani. Ad esempio, può aiutarci a comprendere i complessi meccanismi alla base del "difficoltà di udito". La prossima volta che non riusciremo a sentire chiaramente gli altri parlare, non dovremo dubitare di essere "sordi" (potrebbe essere perché abbiamo bisogno di un nuovo paio di occhiali).

Riferimenti:

[1] Stein BE, Stanford T R. Integrazione multisensoriale: problemi attuali dal punto di vista del singolo neurone[J]. Nature recensisce le neuroscienze, 2008, 9(4): 255-266.

[2] https://www.youtube.com/watch?v=jtsfidRq2tw

[3] McGurk H, MacDonald J. Udire le labbra e vedere le voci[J]. Natura, 1976, 264(5588): 746-748.

[4] Nath AR, Beauchamp M S. Una base neurale per le differenze interindividuali nell'effetto McGurk, un'illusione vocale multisensoriale[J]. Neuroimmagine, 2012, 59(1): 781-787.

[5] Walker S, Bruce V, O'Malley C. Identità facciale ed elaborazione del linguaggio facciale: volti e voci familiari nell'effetto McGurk[J]. Percezione e psicofisica, 1995, 57(8): 1124-1133.

[6] Combinazione di metodologie comportamentali ed ERP per indagare le differenze tra gli effetti McGurk dimostrati dai parlanti cantonese e mandarino

Autore: Wu Qiong (creatore di divulgazione scientifica)

Revisore: Pan Chunchen, vice primario del Dipartimento di Otorinolaringoiatria, Primo Ospedale Affiliato dell'Università di Scienza e Tecnologia della Cina

L'articolo è prodotto da Science Popularization China-Creation Cultivation Program. In caso di ristampa, si prega di indicare la fonte.