Научный журнал
Международный журнал прикладных и фундаментальных исследований
ISSN 1996-3955
ИФ РИНЦ = 0,593

ДИАГНОСТИКА СТРЕССА МЕТОДОМ ПУПИЛЛОГРАФИИ

Исаева О.Л. 1 Бороненко М.П. 1
1 ФГБОУ ВО «Югорский государственный университет»
Существующие системы распознавания эмоционального состояния человека делают выводы по мимике, по гальваническим реакциям кожи, по электрокардиограмме и пульсу, по анализу звуковых волн, по виброизображению. При этом человек может обмануть машину. Эмоции сильно влияют на размер зрачков. Это связано с однозначной неконтролируемой реакцией организма человека на полученную информацию. Таким образом можно увеличить надежность определения эмоций. Наша цель – разработать методику, позволяющую дистанционно, без специализированного оборудования, осуществлять контроль изменения размеров зрачков и проводить оценку эмоционального состояния (напряжения, стресса). Всего приняло участие в экспериментах более 100 чел. Из общего числа полученных видеофайлов было отобрано 30 лучших. В нашем исследовании мы пытаемся расширить сферу применения синхронизированной пупиллографии и окулографии для выявления стрессового состояния человека по его чрезмерной эмоциональности. В соответствии с поставленной целью найдены условия, при которых тестовые объекты создают одинаковую освещенность поверхности глаза; разработана методика, повышающая точность отслеживания центра внимания при отсутствии ограничения движений головы; выбран метод калибровки, относительно которого можно определить напряженное состояние человека.
тест-объект
эмоциональная реакция
пупиллограммы
1. Пашков А.А., Дахтин И.С., Харисова Н.С. Электроэнцефалографические биомаркеры экспериментально индуцированного стресса // Психология. Психофизиология. 2017. Т. 10. № 4. С. 68–82. DOI: 10.14529/psy170407.
2. Mesin L. Estimation of complexity of sampled biomedical continuous time signals using approximate entropy. In L. Mesin, Frontiers in Physiology. 2018. № 9 (710). Р. 1–15. DOI: 10.3389/fphys.2018.00710.
3. Sapountzis P. Neural signatures of attention: insights from decoding population activity patterns. In P. Sapountzis, G.G. Gregoriou, Frontiers in Bioscience. 2018. № 23. Р. 221–246. DOI: 10.2741/4588.
4. Otero-Millan J. System and method for using microsaccade dynamics to measure atten-tional response to a stimulus: Patent US 9,854,966. In J. Otero-Millan, S.L. Macknik, S. Martinez-Conde; assignee: Dignity Health. 14/359,235; filed 23.11.12; pub. date 30.05.13, pub. WO2013/078462. 10. [Electronic resource]. URL: https://patentscope.wipo.int/search/en/detail.jsf?docId=WO2013078462 (date of access: 25.10.2021).
5. Бороненко М.П., Зеленский В.И., Киселева Е.С. Применение волн внимания в качестве маркера скрытых намерений // Национальный психологический журнал. 2019. № 2 (34). С. 88–98. DOI: 10.11621/npj.2019.0212.
6. Isaeva O., Boronenko M. Application of ImageJ program for the Analysis of Pupil Reaction in Security Systems. Journal of Physics: Conference Series. 2020. Т. 1519. P. 012022. DOI: 10.1088/1742-6596/1519/1/012022.
7. Jorge Otero-Millan, Lance M. Optican, Stephen L Macknik, Susana Martinez-Conde. Modeling the triggering of saccades, microsaccades, and saccadic intrusions. Frontiers in neurology. 2018. № 9 (346). P. 1–12. DOI: 10.3389/fneur.2018.00346.
8. Strauch C., Greiter L., Huckauf A. Pupil dilation but not microsaccade rate robustly reveals decision formation. Scientific reports. 2018. № 8 (1). P. 1–9. DOI: 10.1038/s41598-018-31551-x.

Для определения стрессового состояния можно использовать мимику, пульс, виброизображение. При этом способность человека сдерживать мимическое проявление эмоций можно отнести к недостаткам метода определения эмоций по мимике. Бесконтактный способ измерения пульса слишком чувствителен к количеству движения. Контроль эмоций по звуковым волнам не работает, если человек молчит. Идентификация по виброизображению не регистрирует малые изменения в психофизическом состоянии. Поэтому все эти методы нужно использовать в совокупности. Расширению возможностей таких бесконтактных систем определения стрессового состояния может стать неконтролируемая реакция человеческого организма на услышанную (увиденную) информацию, проявляющаяся в изменении размера зрачков. Пупиллограммы активно применяют для диагностики в офтальмологии, невропатологии, наркологии [1]. В результате сравнительного анализа форм зрачков испытуемых с образцами зрачков людей с известными психическими расстройствами диагностировали болезнь. Известно также, что диаметр зрачков связан с theta-ритмом мозга [2], являющимся надежным маркером стресса [3], при необходимости применяется в качестве индикатора узнаваемости объектов индивидами [4]. Также установлено наличие взаимосвязи микросаккад и внимания с когнитивно модулированными потенциалами мозга, диаметра зрачков и психофизического состояния человека [5]. Особенность дистанционной диагностики стрессового (напряженного) состояния в том, что у респондентов нет никакого специального дорогостоящего оборудования.

Цель нашего исследования – разработать методику, позволяющую дистанционно, без специализированного оборудования, осуществлять контроль изменения размеров зрачков и проводить оценку эмоционального состояния (напряжения, стресса).

Техника и методы эксперимента

Как известно, наибольшее внимание человек непроизвольно направляет на то, что наиболее значимо. Любая информация, особенно новая, имеющая отношение к этой теме, является значимо важной для человека. В связи с этим наши исследования имеют следующую логику. Психическое, депрессивное или напряженное состояние человека сопровождается изменением его эмоциональной реакции на раздражитель. Эмоциональная реакция человека приводит к изменению размеров зрачков в той или иной степени. Имея набор изображений и видеофайлов по наиболее часто встречающимся темам, вызывающим психическое расстройство, можно проводить пупиллографические исследования.

Во время получения значимой информации, в зависимости от глубины интереса, происходит концентрация внимания или даже возникает эмоциональная реакция. Для того, чтобы изображения вызвали повышенное внимание человека, был проведен анонимный опрос (по результатам посчитан χ2, на основании этого составлена презентация из этих изображений). В опросе участвовал любой желающий. Для определения эмоционального отклика человека на предъявляемый стимул была составлена презентация из изображений, получивших подавляющее число голосов. Наибольший эмоциональный отклик получили изображения, в той или иной степени вызывающие эмоцию «страх». В начале презентации обязательно был калибровочный слайд. Чтобы проверить равнозначность результатов айтрекинга в случае отсутствия жесткой координатной связи регистратора и головы, мы использовали две видеокамеры. Одна крепилась на пупиллографическом модуле, вторая располагалась отдельно (рис. 1, а). Так как расстояние между камерой и наблюдаемой сценой значительно превышает фокусное расстояние оптической системы, можно считать, что изображение строится в ее фокальной плоскости (рис. 1, б). Человек располагался на стуле. Стимульный материал демонстрировали с монитора, расположенного на расстоянии, при котором флуктуации освещенности (рис. 1, в) от него незначительны.

missing image file

Рис. 1. а) наблюдение зрачковой реакции двумя видеокамерами; б) стандартная система координат камеры; в) изменение размера зрачка под действием света разной интенсивности (при прочих равных условиях)

После окончания эксперимента испытуемому предлагали оценить возникшее эмоциональное состояние при просмотре изображений. Все испытуемые были добровольцами, результатами довольны, претензий не имеют. Видеофайлы с изображениями зрачков анализировались в бесплатном программном обеспечении Fi-Ji, улучшенном и расширенном дистрибутиве ImageJ [6]. После препарирования видеофайлов в каждом кадре оконтуривали зрачок. Визуализацию результатов и статистический анализ проводили с помощью программы OriginPro 2019. При анализе пупиллограмм данные подвергались очистке от артефактов, обусловленных морганием.

Сравнительный анализ айтрекинга пупиллографического модуля и отдельной видеокамеры

Для проверки идентичности треков, получаемых видеокамерой 1 (закрепленной на голове) и видеокамерой 2 («свободной», т.е. не имеющей жесткой координатной связи с головой), был проведен следующий эксперимент. Первая видеокамера астроZWO-120 расположена на расстоянии 40 см от плоскости глаз. Выбор марки второй видеокамеры (Canon SX620HS, 25X optical zoom) обусловлен ее распространенностью. Вторая видеокамера – независимая, (свободная), установленная на треноге в 250 см от плоскости глаз. Видеосъемка производилась со скоростью 30 fps. Для очевидности получаемых результатов испытуемые должны были смотреть на черную точку (диаметр 6 мм). Для исследования эффективности методики устранения искажений трека (во время просмотра слайда с точкой) нужно смещать и поворачивать голову, не отрывая взгляд от точки. Внутреннее время видеокамер синхронизировано до тысячных долей секунды. Видеокамеры регистрировали зрачковую реакцию во время просмотра слайдов. В каждом кадре видеофайлов измеряли площадь зрачка, координаты его центра масс, а также координаты центра масс отражения монитора на роговице. Так как все внимание было сосредоточено на точке, то координаты центра внимания в каждом кадре должны быть сгруппированы возле одного центра. Чем меньше разброс, тем точнее результат. Однако треки центра внимания до корректировки представляют собой сложную траекторию (рис. 2, а, б). Поэтому без корректировки применение такой методики невозможно. Повышение точности определения координат центра внимания осуществляется путем перехода от системы координат, связанной с неподвижной головой, к системе координат, связанной с движущимся центром зрачка. Для этого на полученных видеокадрах выделяли изображение отраженного в зрачке монитора. Затем отслеживали в каждом кадре центр масс выделения и определяли его координаты. Координаты центра масс отражения монитора в зрачке и измеренный в каждом кадре диаметр зрачка использовали для построения пупиллограмм и окулограмм. После произведенных действий оба трека локализуются в малую область соответственно наблюдаемой точке (рис. 2, в).

missing image file

Рис. 2. Треки внимания до корректировки, полученные с применением: а) видеокамеры, имеющей жесткую связь с головой; б) свободной видеокамерой; в) Statistical: Histogram + Rug/Distribution + Rug and localization of the track of attention around the point

Таким образом, визуально результаты совпадают. Если совпадут численные результаты, то методикой можно пользоваться для дистанционного контроля зрачковой реакции на раздражитель. Проверка данных на нормальность дала отрицательный результат, несмотря на то, что объемы выборок достаточно большие. Стандартизация переменных также не дала желаемого результата. Поэтому применяли непараметрические критерии. Сформулируем проверяемые гипотезы. Null Hypothesis: The samples come from the same population. Alternative Hypothesis: The samples come from different populations. По результатам проверки непараметрическими тестами: At the 0.01 level, the populations are not significantly different. Таким образом, можно считать, что дистанционный айтрекинг по разработанной методике дает достоверный результат.

Эксперименты по определению эмоциональной реакции

Всего приняло участие в экспериментах более 100 чел. Из общего числа полученных видеофайлов было отобрано 30 лучших (обычное количество морганий). Видеосъемка проводилась на видеокамеру ZWO-120 со скоростью 30fps, в качестве стимульного материала использовались изображения, на которые наиболее вероятна эмоциональная реакция. Изображения подбирались по описанной ранее методике. Среди прочих изображений обязательно присутствовал калибровочный слайд. После эксперимента опрос показал, что некоторые респонденты были напряжены. Их файлы помечались. После обработки и анализа пупиллограмм сравнивались с описанными ощущениями испытуемых. Полученные результаты подвергали статистическому анализу. Проверялись следующие гипотезы:

H0: Выборка из пупиллограмм респондентов, испытывающих эмоциональный отклик, не отличается от выборок, состоящих из пупиллограмм респондентов, не испытавших эмоцию при просмотре изображений или калибровочных слайдов.

H1: Выборка из пупиллограмм респондентов, испытавших эмоциональный отклик, достоверно отличается от выборок, состоящих из пупиллограмм респондентов, не испытавших эмоцию при просмотре изображения или калибровочного слайда.

Все полученные пупиллограммы содержат реакции на разные тест-объекты. При этом напряженное (эмоциональное) состояние проявлялось на конкретный слайд. Если пупиллограммы принадлежат одному человеку, то анализируемые группы пупиллограмм зависимые. В таком случае для связных выборок проверка статистических гипотез осуществляется Friedman ANOVA. Результаты сравнения зрачковой реакции с помощью критерия Фридман ANOVA в группах пупиллограмм человека без эмоциональной реакции (h), эмоциональным всплеском (7) и реакция на калибровочный слайд показали, что уровни достоверно отличаются. Следовательно, на любой пупиллограмме можно выделить от 1 до 4 зон (рис. 3).

missing image file

Рис. 3. а) пупиллограмма психически устойчивой реакции; б) пупиллограмма с проявлением эмоциональной реакции, указывающей на психическое напряжение

На рис. 3, а, пупиллограмма снята без применения специального оборудования. Все испытываемые эмоции находятся в «зеленой» зоне, все в норме. На рис. 3, б, пупиллограмма из экспериментов с пупиллографическим модулем, лабораторные исследования. Методика получения пупиллограмм та же самая, стимульный материал представлял собой статические изображения. Несколько стимулов содержали фотографии насекомых (пупиллограмма в желтой эмоциональной зоне). Просмотр симпатичного паука соответствует пупиллограмме в зоне нестабильности (красный уровень). Это пупиллограмма девушки, которая боится пауков (фобия). После эксперимента девушка именно это и сообщила. Красные пики не учитываются, это моргание.

Таким образом, измерив ширину зоны калибровочной пупиллограммы и отметив ее на всей пупиллограмме (выполнить индивидуальную настройку пупиллографического модуля), становится возможным быстро определить напряженное состояние человека.

Общие результаты

Проблема определения концентрации внимания испытуемого на стимуле была недавно решена путем измерения микросаккадской динамики движения глаз испытуемого [7]. Также было показано, что расширение зрачка надежно отражает процесс принятия решения, и при обнаружении цели наблюдается заметная реакция зрачка даже при наличии отвлечения внимания [8]. В нашем исследовании мы пытаемся расширить сферу применения синхронизированной пупиллографии и окулографии для выявления стрессового состояния человека по его чрезмерной эмоциональности.

В соответствии с целью исследования изображения стимулов были преобразованы в равную яркость. Разработана методика, повышающая точность отслеживания центра внимания (определения угла смещения) при отсутствии ограничения движений головы. Разработанные методики построения пупиллограмм апробированы при отсутствии жесткого ограничения движений головы (телесный угол 30 градусов), специализированного оборудования и инфракрасного освещения. Анализ зрачков проводился офлайн. Выбран метод калибровки, по которому можно выявить стрессовое психическое состояние человека. Разработанную методику можно использовать для удаленной диагностики. Полученные результаты также способствуют развитию систем машинного обучения и искусственного интеллекта; открывают новые возможности для ранней диагностики психических расстройств человека и дистанционного изучения его психофизического состояния.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 18-47-860018 р_а.


Библиографическая ссылка

Исаева О.Л., Бороненко М.П. ДИАГНОСТИКА СТРЕССА МЕТОДОМ ПУПИЛЛОГРАФИИ // Международный журнал прикладных и фундаментальных исследований. – 2021. – № 11. – С. 71-75;
URL: https://applied-research.ru/ru/article/view?id=13315 (дата обращения: 29.03.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674