Для определения стрессового состояния можно использовать мимику, пульс, виброизображение. При этом способность человека сдерживать мимическое проявление эмоций можно отнести к недостаткам метода определения эмоций по мимике. Бесконтактный способ измерения пульса слишком чувствителен к количеству движения. Контроль эмоций по звуковым волнам не работает, если человек молчит. Идентификация по виброизображению не регистрирует малые изменения в психофизическом состоянии. Поэтому все эти методы нужно использовать в совокупности. Расширению возможностей таких бесконтактных систем определения стрессового состояния может стать неконтролируемая реакция человеческого организма на услышанную (увиденную) информацию, проявляющаяся в изменении размера зрачков. Пупиллограммы активно применяют для диагностики в офтальмологии, невропатологии, наркологии [1]. В результате сравнительного анализа форм зрачков испытуемых с образцами зрачков людей с известными психическими расстройствами диагностировали болезнь. Известно также, что диаметр зрачков связан с theta-ритмом мозга [2], являющимся надежным маркером стресса [3], при необходимости применяется в качестве индикатора узнаваемости объектов индивидами [4]. Также установлено наличие взаимосвязи микросаккад и внимания с когнитивно модулированными потенциалами мозга, диаметра зрачков и психофизического состояния человека [5]. Особенность дистанционной диагностики стрессового (напряженного) состояния в том, что у респондентов нет никакого специального дорогостоящего оборудования.
Цель нашего исследования – разработать методику, позволяющую дистанционно, без специализированного оборудования, осуществлять контроль изменения размеров зрачков и проводить оценку эмоционального состояния (напряжения, стресса).
Техника и методы эксперимента
Как известно, наибольшее внимание человек непроизвольно направляет на то, что наиболее значимо. Любая информация, особенно новая, имеющая отношение к этой теме, является значимо важной для человека. В связи с этим наши исследования имеют следующую логику. Психическое, депрессивное или напряженное состояние человека сопровождается изменением его эмоциональной реакции на раздражитель. Эмоциональная реакция человека приводит к изменению размеров зрачков в той или иной степени. Имея набор изображений и видеофайлов по наиболее часто встречающимся темам, вызывающим психическое расстройство, можно проводить пупиллографические исследования.
Во время получения значимой информации, в зависимости от глубины интереса, происходит концентрация внимания или даже возникает эмоциональная реакция. Для того, чтобы изображения вызвали повышенное внимание человека, был проведен анонимный опрос (по результатам посчитан χ2, на основании этого составлена презентация из этих изображений). В опросе участвовал любой желающий. Для определения эмоционального отклика человека на предъявляемый стимул была составлена презентация из изображений, получивших подавляющее число голосов. Наибольший эмоциональный отклик получили изображения, в той или иной степени вызывающие эмоцию «страх». В начале презентации обязательно был калибровочный слайд. Чтобы проверить равнозначность результатов айтрекинга в случае отсутствия жесткой координатной связи регистратора и головы, мы использовали две видеокамеры. Одна крепилась на пупиллографическом модуле, вторая располагалась отдельно (рис. 1, а). Так как расстояние между камерой и наблюдаемой сценой значительно превышает фокусное расстояние оптической системы, можно считать, что изображение строится в ее фокальной плоскости (рис. 1, б). Человек располагался на стуле. Стимульный материал демонстрировали с монитора, расположенного на расстоянии, при котором флуктуации освещенности (рис. 1, в) от него незначительны.
Рис. 1. а) наблюдение зрачковой реакции двумя видеокамерами; б) стандартная система координат камеры; в) изменение размера зрачка под действием света разной интенсивности (при прочих равных условиях)
После окончания эксперимента испытуемому предлагали оценить возникшее эмоциональное состояние при просмотре изображений. Все испытуемые были добровольцами, результатами довольны, претензий не имеют. Видеофайлы с изображениями зрачков анализировались в бесплатном программном обеспечении Fi-Ji, улучшенном и расширенном дистрибутиве ImageJ [6]. После препарирования видеофайлов в каждом кадре оконтуривали зрачок. Визуализацию результатов и статистический анализ проводили с помощью программы OriginPro 2019. При анализе пупиллограмм данные подвергались очистке от артефактов, обусловленных морганием.
Сравнительный анализ айтрекинга пупиллографического модуля и отдельной видеокамеры
Для проверки идентичности треков, получаемых видеокамерой 1 (закрепленной на голове) и видеокамерой 2 («свободной», т.е. не имеющей жесткой координатной связи с головой), был проведен следующий эксперимент. Первая видеокамера астроZWO-120 расположена на расстоянии 40 см от плоскости глаз. Выбор марки второй видеокамеры (Canon SX620HS, 25X optical zoom) обусловлен ее распространенностью. Вторая видеокамера – независимая, (свободная), установленная на треноге в 250 см от плоскости глаз. Видеосъемка производилась со скоростью 30 fps. Для очевидности получаемых результатов испытуемые должны были смотреть на черную точку (диаметр 6 мм). Для исследования эффективности методики устранения искажений трека (во время просмотра слайда с точкой) нужно смещать и поворачивать голову, не отрывая взгляд от точки. Внутреннее время видеокамер синхронизировано до тысячных долей секунды. Видеокамеры регистрировали зрачковую реакцию во время просмотра слайдов. В каждом кадре видеофайлов измеряли площадь зрачка, координаты его центра масс, а также координаты центра масс отражения монитора на роговице. Так как все внимание было сосредоточено на точке, то координаты центра внимания в каждом кадре должны быть сгруппированы возле одного центра. Чем меньше разброс, тем точнее результат. Однако треки центра внимания до корректировки представляют собой сложную траекторию (рис. 2, а, б). Поэтому без корректировки применение такой методики невозможно. Повышение точности определения координат центра внимания осуществляется путем перехода от системы координат, связанной с неподвижной головой, к системе координат, связанной с движущимся центром зрачка. Для этого на полученных видеокадрах выделяли изображение отраженного в зрачке монитора. Затем отслеживали в каждом кадре центр масс выделения и определяли его координаты. Координаты центра масс отражения монитора в зрачке и измеренный в каждом кадре диаметр зрачка использовали для построения пупиллограмм и окулограмм. После произведенных действий оба трека локализуются в малую область соответственно наблюдаемой точке (рис. 2, в).
Рис. 2. Треки внимания до корректировки, полученные с применением: а) видеокамеры, имеющей жесткую связь с головой; б) свободной видеокамерой; в) Statistical: Histogram + Rug/Distribution + Rug and localization of the track of attention around the point
Таким образом, визуально результаты совпадают. Если совпадут численные результаты, то методикой можно пользоваться для дистанционного контроля зрачковой реакции на раздражитель. Проверка данных на нормальность дала отрицательный результат, несмотря на то, что объемы выборок достаточно большие. Стандартизация переменных также не дала желаемого результата. Поэтому применяли непараметрические критерии. Сформулируем проверяемые гипотезы. Null Hypothesis: The samples come from the same population. Alternative Hypothesis: The samples come from different populations. По результатам проверки непараметрическими тестами: At the 0.01 level, the populations are not significantly different. Таким образом, можно считать, что дистанционный айтрекинг по разработанной методике дает достоверный результат.
Эксперименты по определению эмоциональной реакции
Всего приняло участие в экспериментах более 100 чел. Из общего числа полученных видеофайлов было отобрано 30 лучших (обычное количество морганий). Видеосъемка проводилась на видеокамеру ZWO-120 со скоростью 30fps, в качестве стимульного материала использовались изображения, на которые наиболее вероятна эмоциональная реакция. Изображения подбирались по описанной ранее методике. Среди прочих изображений обязательно присутствовал калибровочный слайд. После эксперимента опрос показал, что некоторые респонденты были напряжены. Их файлы помечались. После обработки и анализа пупиллограмм сравнивались с описанными ощущениями испытуемых. Полученные результаты подвергали статистическому анализу. Проверялись следующие гипотезы:
H0: Выборка из пупиллограмм респондентов, испытывающих эмоциональный отклик, не отличается от выборок, состоящих из пупиллограмм респондентов, не испытавших эмоцию при просмотре изображений или калибровочных слайдов.
H1: Выборка из пупиллограмм респондентов, испытавших эмоциональный отклик, достоверно отличается от выборок, состоящих из пупиллограмм респондентов, не испытавших эмоцию при просмотре изображения или калибровочного слайда.
Все полученные пупиллограммы содержат реакции на разные тест-объекты. При этом напряженное (эмоциональное) состояние проявлялось на конкретный слайд. Если пупиллограммы принадлежат одному человеку, то анализируемые группы пупиллограмм зависимые. В таком случае для связных выборок проверка статистических гипотез осуществляется Friedman ANOVA. Результаты сравнения зрачковой реакции с помощью критерия Фридман ANOVA в группах пупиллограмм человека без эмоциональной реакции (h), эмоциональным всплеском (7) и реакция на калибровочный слайд показали, что уровни достоверно отличаются. Следовательно, на любой пупиллограмме можно выделить от 1 до 4 зон (рис. 3).
Рис. 3. а) пупиллограмма психически устойчивой реакции; б) пупиллограмма с проявлением эмоциональной реакции, указывающей на психическое напряжение
На рис. 3, а, пупиллограмма снята без применения специального оборудования. Все испытываемые эмоции находятся в «зеленой» зоне, все в норме. На рис. 3, б, пупиллограмма из экспериментов с пупиллографическим модулем, лабораторные исследования. Методика получения пупиллограмм та же самая, стимульный материал представлял собой статические изображения. Несколько стимулов содержали фотографии насекомых (пупиллограмма в желтой эмоциональной зоне). Просмотр симпатичного паука соответствует пупиллограмме в зоне нестабильности (красный уровень). Это пупиллограмма девушки, которая боится пауков (фобия). После эксперимента девушка именно это и сообщила. Красные пики не учитываются, это моргание.
Таким образом, измерив ширину зоны калибровочной пупиллограммы и отметив ее на всей пупиллограмме (выполнить индивидуальную настройку пупиллографического модуля), становится возможным быстро определить напряженное состояние человека.
Общие результаты
Проблема определения концентрации внимания испытуемого на стимуле была недавно решена путем измерения микросаккадской динамики движения глаз испытуемого [7]. Также было показано, что расширение зрачка надежно отражает процесс принятия решения, и при обнаружении цели наблюдается заметная реакция зрачка даже при наличии отвлечения внимания [8]. В нашем исследовании мы пытаемся расширить сферу применения синхронизированной пупиллографии и окулографии для выявления стрессового состояния человека по его чрезмерной эмоциональности.
В соответствии с целью исследования изображения стимулов были преобразованы в равную яркость. Разработана методика, повышающая точность отслеживания центра внимания (определения угла смещения) при отсутствии ограничения движений головы. Разработанные методики построения пупиллограмм апробированы при отсутствии жесткого ограничения движений головы (телесный угол 30 градусов), специализированного оборудования и инфракрасного освещения. Анализ зрачков проводился офлайн. Выбран метод калибровки, по которому можно выявить стрессовое психическое состояние человека. Разработанную методику можно использовать для удаленной диагностики. Полученные результаты также способствуют развитию систем машинного обучения и искусственного интеллекта; открывают новые возможности для ранней диагностики психических расстройств человека и дистанционного изучения его психофизического состояния.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 18-47-860018 р_а.