Scientific journal
International Journal of Applied and fundamental research
ISSN 1996-3955
ИФ РИНЦ = 0,593

EYE-TRACKING COMMUNICATORS AS AN ASSISTIVE TECHNOLOGY AND AS A NEUROREHABILITATION TOOL

Zakharchenko D.V. 1 Torshin V.I. 2 Sveshnikov D.S. 2 Starshinov Yu.P. 2 Yakunina E.B. 2
1 Institute of Higher Nervous Activity and Neurophysiology RAS
2 People Friendship University
3052 KB
The article is an analytical overview of progress in assistive videooculography systems. Considered a number of key aspects of the implementation and use of assistive videooculography communicators for people with disabilities and patients with impaired communication and motor functions. In particular, it describes the scope of these systems, the need for such equipment in Russia and abroad. The article also provides an overview of commercially available assistive videooculography communicators. On the basis of our review attempts to identify the future image of the assistive device, which would satisfy modern requirements from the point of view of assistive functionality and practical accessibility for persons with disabilities (including financial accessibility). In conclusion, it is concluded that only a comprehensive approach to the development, implementation and use of assistive videooculography communicators will make their high-quality and affordable for disabled people and patients with disorders of communicative and motor functions.
videooculography
eye tracking
assistive technology
communication
disabilities
neurorehabilitation

Одним из наиболее характерных индикаторов качества жизни является отношение общества к инвалидам и людям с ограниченными физическими возможностями. Не случайно в странах с высоким уровнем жизни проблемы инвалидов решаются на государственном уровне путём создания соответствующей социальной и транспортной инфраструктуры. Проблема социальной интегрированности существует и для людей, временно нетрудоспособных по причине болезни или травмы. Так, почти все пациенты, перенесшие инсульт, испытывают значительные трудности общения в период реабилитации, поскольку речевые и двигательные функции у них нарушены. Высшие психические функции при этом могут быть в полном порядке, однако невозможность нормально общаться часто создаёт таким пациентам проблемы психологического плана. Другой типичной ситуацией является состояние, когда пациент временно обездвижен (например, находится в гипсе) и не может ни писать, ни говорить, ни пользоваться средствами электронной связи [1]. Помимо травм головного/спинного мозга и инсультов, серьёзные проблемы с коммуникацией вызывает латеральный амиотрофический склероз (болезнь Шарко), рассеянный склероз (Multiple Sclerosis), детский церебральный паралич (Cerebral Palsy), мышечная дистрофия (Muscular Dystrophy), спинальная мышечная атрофия (Spinal Muscular Atrophy), синдром Верднига – Гоффмана (Werdnig – Hoffman Syndrome), синдром Ретта (Rett Syndrome), а также псевдокома (так называемые «закрытые состояния», в которых человек становится конгитивно интактным и единственным каналом связи с внешним миром остаются движения глаз) [2–4]. Список можно продолжать [5]. Таким образом, необходимость средств машинной коммуникации для инвалидов и некоторых групп пациентов является достаточно очевидной [6–8]. Видеоокулографические системы коммуникации и управления компьютером позволяют пациенту одними глазами осуществлять текстовый набор, отправлять SMS и электронную почту, работать с Интернетом и периферийными устройствами (принтером, модемом, освещением, кондиционером, кнопкой вызова медперсонала, инвалидной коляской и т.д.). В странах с высоким уровнем жизни видеоокулографические коммуникаторы используются в клинической практике:

  • в качестве коммуникатора для пациентов с псевдокомой и «закрытыми состояниями» (у которых движения глаз являются единственным каналом связи с внешним миром);
  • в неврологических и хирургических отделениях в качестве средства временной коммуникации для реабилитации пациентов в послеоперационный период и после приступов (травмы головного и спинного мозга, параличи, инсульты и т.д.);
  • в качестве средства вызова медперсонала, средства управления электроприводом кровати, средства переключения каналов телевизора и радиоприёмника.

Указанные коммуникаторы также активно используются инвалидами в частном порядке – в качестве индивидуальной системы управления компьютером и периферийными устройствами (в том числе специально разработанными для инвалидов системами типа «умный дом»).

По мнению аналитиков Tobii (мировой лидер в области ассистивных видеоокулографических технологий), порядка 0,5–1 % человеческой популяции (~ 50 млн человек) нуждается в ассистивных технологиях для повышения качества коммуникации [9]. На сегодняшний день в странах из числа топ-10 наиболее обеспеченных такими технологиями лишь 10 % нуждающихся имеет к ним доступ [9]. Соответственно, число потенциальных пользователей таких систем в мире составляет порядка 45 млн. человек, а в РФ – порядка 1,8 миллиона человек. На Западе разработка разного рода коммуникаторов для нужд клинической нейрореабилитации активно ведётся с 90-х годов ХХ века. В большинстве случаев используется технология видеоокулографии (ай-трекинга), ключевыми достоинствами которой являются эргономичность, простота использования и интуитивная понятность для пользователя (рис. 1).

Логика работы видеоокулографических систем текстового набора хорошо известна специалистам и многократно демонстрировалась на выставках лидерами сегмента – компаниями LC Technologies и Tobii. Практически все видеоокулографические коммуникаторы работают следующим образом: на экран выводится визуальная клавиатура, аналогичная применяемой для Android; выделение нужной кнопки или позиционирование курсора осуществляется с помощью ай-трекера (рис. 2, А).

zah1.tif

Рис. 1. Пациент в инвалидной коляске набирает текст с помощью взгляда. В левой руке – кнопка для ускорения текстового набора

zah2.tif

Рис. 2. Образцы экранных клавиатур: А – клавиатура прототипа коммуникатора на базе видеоокулографа EyeTribe, Б – клавиатура Android для мобильных устройств, В – клавиатура Eyegaze Edge, Г – клавиатура Tobii Dynavox

Щелчок по кнопке осуществляется либо с помощью специальной кнопки/джойстика (рис. 3), либо автоматически по таймеру. Аналогично работает система управления мышью и внешними устройствами: взглядом выделяется объект, щелчок происходит с помощью таймера или внешней кнопки. Пациент при этом находится в кресле (или инвалидной коляске), голова его зафиксирована подголовником сзади. Монитор с закреплённым на нём ай-трекером фиксируется с помощью штатива (рис. 1).

К настоящему моменту разработано значительное число коммерчески успешных решений, которые, однако, так и не стали по-настоящему массовыми из-за неадекватно высокой стоимости. Мировыми лидерами в данной области являются компании LC Technologies и Tobii. LC Technologies выпускает устройства Eyegaze Edge в двух вариантах: Desktop и Tablet [10]. Оба решения (Desktop и Tablet) обладают всем необходимым функционалом (текстовый набор, функции управления компьютером и периферией, озвучивание текста), единственный принципиальный недостаток – стоимость устройств. На сайте производителя стоимость не указана, на сайте реселлера указана цена £3950 (примерно 335350 рублей) по состоянию на 17 июня 2016 года. Компания Tobii предлагает целую линейку устройств для инвалидов и коррекционной педагогики [11]. Как и LC Technologies, Tobii выпускает дорогие качественные устройства примерно с таким же фукнционалом. В настоящий момент Tobii является лидером сегмента ай-трекинговых устройств для инвалидов.

Альтернативой высококачественным, но неадекватно дорогим коммуникаторам может служить коммерческое программное решение «Greed 3» от компании Smartbox. Данное программное обеспечение обладает тем же функционалом, что и продукты лидеров сегмента, однако имеет значительный потенциал к снижению стоимости конечного продукта за счёт применения бюджетных видеоокулографов.

Предпринимались и попытки разработать полностью бесплатное программное обеспечение под бюджетные видеоокулографы стоимостью до $200. Данные попытки оказались успешными лишь отчасти: было разработано бесплатное ПО для текстовой коммуникации и управления компьютером, однако никаких действий по внедрению, выводу на рынок и доведению до потребителя предпринято не было. В результате данные проекты дальнейшего развития не получили и широкому кругу потребителей неизвестны [12–13]. Аналогичная судьба постигла решения, которые разрабатывались для научной работы, но потенциально могли использоваться и как ассистивные [14].

Таким образом, сложилась парадоксальная ситуация: потребители вынуждены приобретать неадекватно дорогие системы, бюджетные системы на рынке отсутствуют, а бесплатное ПО распространения не получило ввиду полного отсутствия рекламы и продвижения. В Российской Федерации видеокулографические коммуникаторы для инвалидов отсутствуют как класс. В настоящий момент для РФ актуальной является разработка бюджетных коммуникаторов на базе дешёвых ай-трекеров, но с функционалом как у дорогих зарубежных систем. Такие решения без особых проблем могут быть разработаны уже в ближайшее время.

С точки зрения обеспеченности инвалидов коммуникативными устройствами сложилась следующая ситуация. Импортные устройства чрезвычайно дороги и подавляющему большинству потенциальных пользователей не по карману. Существующие в РФ государственные программы поддержки инвалидов предполагают бесплатное обеспечение инвалидов ассистивными устройствами коммуникации, однако подобные устройства имеют весьма ограниченный функционал и их количество является недостаточным. Согласно исследованиям Агентства стратегических инициатив [15], вместо полноценных систем текстовой коммуникации и систем управления компьютером инвалидам поставляются «специальные устройства для чтения – говорящие книги» (21336 штук за 2011 год), а также голосообразующие устройства. Голосообразующие устройства (устройства озвучивания текста) поставляются в совсем уж ничтожных количествах и имеют запредельно высокую стоимость (844 устройства в 2011 году по цене порядка 90 тыс. рублей за комплект) [15]. Соответственно, из 1,8 млн потенциальных потребителей нашей системы в РФ государство покрывает потребности примерно 1 тысячи человек в год – при этом поставляет инвалидам системы с недостаточным функционалом (системы озвучивания текста не позволяют производить набор и редактирование текста; также у них отсутствует функционал для управления компьютером и периферийными устройствами). Таким образом, очевидно, что государство не справляется с задачей. Частные компании на рынке видеоокулографических коммуникаторов представлены исключительно дилерами LC Technologies и Tobii; объём продаж в РФ у них близок к нулю, значимого влияния на ситуацию они не оказывают.

Исходя из вышесказанного, попробуем определить облик перспективного видео окулографического коммуникатора, который мог бы быть разработан в рамках государственной программы помощи инвалидам, а также попытаемся наметить пути решения проблемы стоимости устройств.

zah3.tif

Рис. 3. Cпециализированная кнопка для ускорения набора (применяется для пациентов, которые не полностью обездвижены)

Большинство продвинутых видеоокулографических коммуникаторов включают в себя:

  • модуль текстового набора (функционал для набора, редактирования и озвучивания текста, а также отправки текстовых сообщений);
  • систему управления стандартным ПК (позволяет осуществлять управление стандартным компьютером с помощью взгляда и, соответственно, даёт пользователю доступ ко всем функциям коммуникации и мультимедиа на компьютере);
  • систему управления хардверными периферийными устройствами (освещением, кондиционированием, вентиляцией, вызовом медперсонала и т.п.), а также системами типа «умный дом».

Заключение

С учётом текущего уровня развития видеоокулографических технологий весь перечисленный функционал может быть легко реализован на базе бюджетных видеоокулографов – например, на базе Tobii EyeX (стоимостью €119), Steelseries Sentry Eye Tracker (стоимостью €199,99) или myGaze n (стоимостью €499). В настоящий момент существуют как минимум два таких решения – уже упоминавшиеся проекты OptiKey и его российский аналог. Однако практика показывает, что решение должно быть комплексным и включать не только собственно ПО, но и техподержку, рекламу, логистику, информационное сопровождение, реселлинг, аппаратные решения и науку. Разработка программных решений (даже бесплатных) без всего остального проблему не решает – это хорошо видно на примере проектов с открытым исходным кодом, которые так и остались невостребованной экзотикой.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект № 16-06-12025/17 – ОГОН).