Акустическая и семантическая слуховая обработка потоковой речи: исследование при помощи функции временного отклика для МЭГ-данных

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Доступ платный или только для подписчиков

Аннотация

Восприятие речи – комплексный процесс, включающий многоуровневую нейрофизиологическую обработку различных речевых компонентов. В данной работе использовали новый метод обработки зарегистрированного во время прослушивания потоковой речи сигнала магнитоэнцефалограммы (МЭГ) – функцию временного отклика (ФВО) для анализа нейронального ответа на аудиальные и семантические компоненты речи при ее восприятии в естественных условиях. Временной отклик на динамические изменения звуковой огибающей продемонстрировал ранний нейрофизиологический ответ: от 20 мс с пиком амплитуды на 100 мс, а ответ на восприятие начала слова имеет пиковую латентность на 120 мс. Семантическая компонента речи показала более поздний временной отклик: от 200 мс с пиковой латентностью 300 мс билатерально в височных отведениях. Таким образом, ФВО показала более поздний ответ на семантические изменения речи, чем на изменения акустических признаков в МЭГ-исследовании.

Полный текст

Доступ закрыт

Об авторах

А. С. Овакимян

ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН

Автор, ответственный за переписку.
Email: alena@ovakimian.ru
Россия, Москва

Г. А. Согоян

ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН; Сколковский институт науки и технологий

Email: alena@ovakimian.ru
Россия, Москва; Москва

О. В. Мартынова

ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН

Email: alena@ovakimian.ru
Россия, Москва

О. В. Сысоева

ФГБУН Институт высшей нервной деятельности и нейрофизиологии РАН; Научно-технологический университет «Сириус»

Email: alena@ovakimian.ru
Россия, Москва; Сoчи

Список литературы

  1. Forseth K.J., Hickok G., Rollo P.S., Tandon N. Language prediction mechanisms in human auditory cortex // Nat. Commun. 2020. V. 11. № 1. P. 5240.
  2. Foti D., Roberts F. The neural dynamics of speech perception: Dissociable networks for processing linguistic content and monitoring speaker turn-taking // Brain Lang. 2016. V. 157. P. 63.
  3. Evans S., Davis M.H. Hierarchical organization of auditory and motor representations in speech perception: Evidence from searchlight similarity analysis // Cereb. Cortex. 2015. V. 25. № 12. P. 4772.
  4. Okada K., Rong F., Venezia J. et al. Hierarchical organization of human auditory cortex: Evidence from acoustic invariance in the response to intelligible speech // Cereb. Cortex. 2010. V. 20. № 10. P. 2486.
  5. Петрушевский А. Г., Майорова Л. А. фМРТ-корреляты категоризации звуков речевой и неречевой природы в слуховой коре // Физиология человека. 2019. Т. 45. № 6. С. 5.
  6. Henry M.J., Obleser J. Frequency modulation entrains slow neural oscillations and optimizes human listening behavior // Proc. Natl. Acad. Sci. 2012. V. 109. № 49. P. 20095.
  7. Kleeva D.F., Rebreikina A.B., Soghoyan G.A. et al. Generalization of sustained neurophysiological effects of short‐term auditory 13‐Hz stimulation to neighbouring frequency representation in humans // Eur. J. Neurosci. 2022. V. 55. № 1. P. 175.
  8. Tomé D., Barbosa F., Nowak K., Marques-Teixeira J. The development of the N1 and N2 components in auditory oddball paradigms: A systematic review with narrative analysis and suggested normative values // J. Neural Transm. 2015. V. 122. № 3. P. 375.
  9. Voola M., Nguyen A.T., Marinovic W. et al. Oddeven oddball task: Evaluating event-related potentials during word discrimination compared to speech-token and tone discrimination // Front. Neurosci. 2022. V. 16. P. 983498.
  10. Larionova E.V., Martynova O.V. Frequency effects on spelling error recognition: An ERP study // Front. Psychol. 2022. V. 13. P. 834852.
  11. Liaukovich K., Ukraintseva Y., Martynova O. Implicit auditory perception of local and global irregularities in passive listening condition // Neuropsychologia. 2022. V. 165. P. 108129.
  12. Ребрейкина А.Б., Ларионова Е.В., Мартынова О.В. Динамика вызванных потенциалов в процессе становления грамотности // Современная зарубежная психология. 2020. Т. 9. № 2. С. 21.
  13. Ребрейкина А.Б., Клеева Д.Ф., Согоян Г.А., Сысоева О.В. Влияние слуховой LTP-подобной стимуляции на обработку звуковых стимулов // Сенсорные Системы. 2021. Т. 35. № 2. С. 144.
  14. Kraus N., McGee T., Carrell T.D., Sharma A. Neurophysiologic bases of speech discrimination // Ear Hear. 1995. V. 16. № 1. P. 19.
  15. Sysoeva O.V., Molholm S., Djukic A. et al. Atypical processing of tones and phonemes in Rett Syndrome as biomarkers of disease progression // Transl. Psychiatry. 2020. V. 10. № 1. P. 188.
  16. Näätänen R. The perception of speech sounds by the human brain as reflected by the mismatch negativity (MMN) and its magnetic equivalent (MMNm) // Psychophysiology. 2001. V. 38. № 1. P. 1.
  17. Chen T.C., Hsieh M.H., Lin Y.T. et al. Mismatch negativity to different deviant changes in autism spectrum disorders: A meta-analysis // Clin. Neurophysiol. 2020. V. 131. № 3. P. 766.
  18. Рогачев А.О., Сысоева О.В. Функция временного отклика — новый метод исследования нейрофизиологических механизмов восприятия речи в экологически валидных условиях // Современная зарубежная психология. 2024. Т. 13. № 1. С. 92.
  19. Lalor E.C., Pearlmutter B.A., Reilly R.B. et al. The VESPA: A method for the rapid estimation of a visual evoked potential // Neuroimage. 2006. V. 32. № 4. P. 1549.
  20. Lalor E.C., Power A.J., Reilly R.B., Foxe J.J. Resolving precise temporal processing properties of the auditory system using continuous stimuli // J. Neurophysiol. 2009. V. 102. № 1. P. 349.
  21. Brodbeck C., Simon J. Z. Continuous speech proces-sing // Curr. Opin. Physiol. 2020. V. 18. P. 25.
  22. Brodbeck C., Das P., Gillis M. et al. Eelbrain, a Python toolkit for time-continuous analysis with temporal response functions // Elife. 2023. V. 12. P. e85012.
  23. Brodbeck C., Hong L.E., Simon J.Z. Rapid transformation from auditory to linguistic representations of continuous speech // Curr. Biol. 2018. V. 28. № 24. P. 3976.
  24. Donhauser P.W., Baillet S. Two distinct neural timescales for predictive speech processing // Neuron. 2020. V. 105. № 2. P. 385.
  25. Майорова Л.А., Мартынова О.В., Балабан П.М. и др. Негативность рассогласования и ее гемодинамический эквивалент (по данным фМРТ) в исследованиях восприятия речи в норме и при речевых расстройствах // Усп. физ. наук. 2014. Т. 45. № 1. С. 27.
  26. Буторина А. В., Шестакова А.Н., Николаева А.Ю. и др. Функциональное картирование речевых зон мозга человека: перспективы использования метода магнитоэнцефалографии (МЭГ) // Современная зарубежная психология. 2012. Т. 1. № 1. С. 103.
  27. Khalighinejad B., da Silva G.C., Mesgarani N. Dynamic encoding of acoustic features in neural responses to continuous speech // J. Neurosci. 2017. V. 37. № 8. P. 2176.
  28. MacGregor L.J., Pulvermüller F., van Casteren M., Shtyrov Y. Ultra-rapid access to words in the brain // Nat. Commun. 2012. V. 3. № 1. P. 711.
  29. Lowe M.X., Mohsenzadeh Y., Lahner B. et al. Cochlea to categories: The spatiotemporal dynamics of semantic auditory representations // Cogn. Neuropsychol. 2021. V. 38. № 7-8. P. 468.
  30. Верхлютов В.М., Бурлаков Е.О., Гуртовой К.Г., Введенский В.Л. Распознавание устной речи по данным МЭГ с использованием ковариационных фильтров // Журн. высш. нерв. деят. им. И.П. Павлова. 2023. Т. 73. № 6. C. 800.
  31. Van Petten C., Coulson S., Rubin S. et al. Time course of word identification and semantic integration in spoken language // J. Exp. Psychol. Learn. Mem. Cogn. 1999. V. 25. № 2. P. 394.
  32. Orepic P., Truccolo W., Halgren E. et al. Neural mani-folds carry reactivation of phonetic representations during semantic processing // bioRxiv. [Electronic resourse]. 2024. doi: 10.1101/2023.10.30.564638
  33. Broderick M.P., Anderson A.J., Lalor E C. Semantic context enhances the early auditory encoding of natural speech // J. Neurosci. 2019. V. 39. № 38. P. 7564.
  34. Getz L.M., Toscano J.C. Electrophysiological evidence for top-down lexical influences on early speech perception // Psychol. Sci. 2019. V. 30. № 6. P. 830.
  35. Вайтулевич С.Ф., Петропавловская Е.А., Шестопалова Л.Б., Никитин Н.И. Функциональная межполушарная асимметрия мозга человека и слуховая функция // Физиология человека. 2019. Т. 45. № 2. С. 103.
  36. Дмитриева Е.С., Гельман В.Я., Зайцева К.А., Орлов А.М. Оценка связи восприятия эмоциональной интонации речи с компонентами эмоционального интеллекта // Психология. Журнал ВШЭ. 2012. T. 9. № 1. C. 126.
  37. Лебедева Н.Н., Каримова Е.Д., Казимирова Е.А. Анализ речевого сигнала в исследованиях функционального состояния человека // Биомедицинская радиоэлектроника. 2015. № 2. С. 3.
  38. Verwoert M., Amigó-Vega J., Gao Y. et al. Whole-brain dynamics of articulatory, acoustic and semantic speech representations // bioRxiv. [Electronic resourse]. 2024. doi: 10.1101/2024.08.15.608082
  39. Menenti L., Petersson K.M., Hagoort P. From reference to sense: How the brain encodes meaning for speaking // Front. Psychol. 2012. V. 2. P. 384.
  40. Luthra S. The role of the right hemisphere in processing phonetic variability between talkers // Neurobiol. Lang. 2021. V. 2. № 1. P. 138.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Топограмма предсказательной способности полученной функции временного отклика. r – коэффициент корреляции рассчитанного и исходного сигнала.

Скачать (414KB)
Метаданные
3. Рис. 2. Функция временного отклика (ФВО) на звуковую огибающую. А – общая топограмма для усредненного временного отклика. Б – график временного отклика на динамику звуковой огибающей для каждого отведения с топограммой пиковой латентности справа (100 мс). В – пространственно-временное представление ФВО для всех отведений для пиковых латентности. Цвет соответствует локализации сенсоров на топограммах ниже.

Скачать (1MB)
Метаданные
4. Рис. 3. Результаты пермутационного одновыборочного t-теста временного ряда вызванного отклика на звуковую огибающую прослушиваемого стимула. Сверху черным отображены значимые отрезки временного ряда и топограмма для ответа с латентностью 100 мс (справа). Снизу отображены значимые пространственно-временные отрезки: по оси абсцисс – время отклика, по оси ординат – номера магнитометров.

Скачать (1MB)
Метаданные
5. Рис. 4. Функция временного отклика (ФВО) на вектор начала слов. Обозначения А и В см. рис. 2. Б – график временного отклика на динамику звуковой огибающей для каждого отведения с топограммой пиковой латентности справа (120 мс).

Скачать (1MB)
Метаданные
6. Рис. 5. Результаты пермутацуионного одновыборочного t-теста временного ряда вызванного отклика на вектор начала слов прослушиваемого стимула. Сверху черным отображены значимые отрезки временного ряда и топограмма для ответа с латентностью 120 мс (справа). Остальные пояснения см. рис. 3.

Скачать (1MB)
Метаданные
7. Рис. 6. Функция временного отклика (ФВО) на вектор семантической разности для содержательных слов. Обозначения А и В см. рис. 2. Б – график временного отклика на динамику звуковой огибающей для каждого отведения с топограммой пиковой латентности справа (310 мс).

Скачать (2MB)
Метаданные
8. Рис. 7. Результаты пермутационного одновыборочного t-теста временного ряда вызванного отклика на вектор семантической разности для содержательных слов прослушиваемого стимула. Сверху черным отображены значимые отрезки временного ряда и топограмма для ответа с латентностью 310 мс (справа). Остальные пояснения см. рис. 3.

Скачать (1MB)
Метаданные
9. Рис. 8. Функция временного отклика (ФВО) на вектор семантической разности для вспомогательных слов. Обозначения А и В см. рис. 2. Б – график временного отклика на динамику звуковой огибающей для каждого отведения с топограммой пиковой латентности справа (360 мс).

Скачать (2MB)
Метаданные

© Российская академия наук, 2025