Научный журнал
Международный журнал прикладных и фундаментальных исследований

ISSN 1996-3955
ИФ РИНЦ = 0,570

АЙ-ТРЕКИНГОВЫЕ КОММУНИКАТОРЫ КАК АССИСТИВНАЯ ТЕХНОЛОГИЯ И СРЕДСТВО НЕЙРОРЕАБИЛИТАЦИИ

Захарченко Д.В. 1 Торшин В.И. 2 Свешников Д.С. 2 Старшинов Ю.П. 2 Якунина Е.Б. 2
1 Институт высшей нервной деятельности и нейрофизиологии РАН
2 Российский университет дружбы народов
Статья представляет собой аналитический обзор достижений в области ассистивных видеоокулографических систем. Рассмотрен ряд ключевых аспектов внедрения и использования видеоокулографических ассистивных коммуникаторов для инвалидов и пациентов с нарушениями коммуникативных и двигательных функций. В частности, описывается область применения данных систем, потребность в таком оборудовании в РФ и за рубежом, реальная степень обеспеченности коммуникаторами инвалидов. Также в статье даётся обзор имеющихся на рынке ассистивных видеоокулографических коммуникаторов. На основе данных нашего обзора предпринимается попытка определить перспективный облик ассистивного коммуникатора, который удовлетворял бы современным требованиям с точки зрения ассистивного функционала и практической доступности для инвалидов (в том числе финансовой доступности). В заключение делается вывод о том, что только комплексный подход к разработке, внедрению и использованию видеоокулографических ассистивных коммуникаторов позволит сделать их качественными и доступными для использования инвалидами и пациентами с нарушениями коммуникативных и двигательных функций.
видеоокулография
ай-трекинг
ассистивные технологии
коммуникация
инвалиды
нейрореабилитация
1. Blabe C., Gilja V., Chestek C., Shenoy K., Anderson K., Henderson J. Assessment of brain–machine interfaces from the perspective of people with paralysis // Journal of neural engineering. – 2015. – Vol. 12. – № 4. – Р. 043002.
2. Käthner I., Kubler A., Halder S. Comparison of eye tracking, electrooculography and an auditory brain-computer interface for binary communication: a case study with a participant in the locked-in state // Journal of neuroengineering and rehabilitation. – 2015. – Vol. 12. – Р. 76.
3. Pasqualotto E., Matuz T., Federici S., Ruf C., Bartl M., Belardinelli M., Halder S. Usability and Workload of Access Technology for People With Severe Motor Impairment A Comparison of Brain-Computer Interfacing and Eye Tracking // Neurorehabilitation and neural repair. – 2015. – Vol. 29. – № 10. – Р. 950–957.
4. The Eyegaze Edge®:How does it work? What do you need to know? [Electronic resource]. – URL: http://eyegaze.com/wp-content/uploads/How-Does-it-Work-Jan-2013.pdf (date of access: 09.09.2017).
5. van Middendorp J., Watkins F., Park C., Landymore H. Eye-tracking computer systems for inpatients with tetraplegia: findings from a feasibility study // Spinal cord. – 2015. – Vol. 53. – № 3. – Р. 221–225.
6. Al-Rahayfeh A., Faezipour M. Eye tracking and head movement detection: A state-of-art survey // IEEE journal of translational engineering in health and medicine. – 2013. – Vol. 1. – Р. 2100212.
7. Caligari M., Godi M., Guglielmetti S., Franchignoni F., Nardone A. Eye tracking communication devices in amyotrophic lateral sclerosis: Impact on disability and quality of life // Amyotrophic Lateral Sclerosis and Frontotemporal Degeneration. – 2013. – Vol. 14. – № 7–8. – Р. 546–552.
8. Hwang C., Weng H., Wang L., Tsai C., Chang H. An eye-tracking assistive device improves the quality of life for ALS patients and reduces the caregivers’ burden // Journal of motor behavior. – 2014. – Vol. 46. – № 4. – Р. 233–238.
9. Tobii. Investor presentation. 2015 [Electronic resource]. – URL: http://www.tobii.com/siteassets/tobii-group/investor-relations/tobii-q2-2015-investor-presentation (date of access: 09.09.2017).
10. LC Edge [Electronic resource]. – URL: http://www.eyegaze.com/eye-tracking-assistive-technology-device (date of access: 09.09.2017).
11. Tobiidynavox [Electronic resource]. – URL: http://www.tobiidynavox.com/ (date of access: 09.09.2017).
12. Митрошин М. Управление компьютером при помощи глаз – практическая реализация [Электронный ресурс]. – URL: https://habrahabr.ru/post/208108 (дата обращения: 09.09.2017).
13. OptiKey: type, click, speak [Electronic resource]. – URL: https://github.com/OptiKey/OptiKey/wiki (date of access: 09.09.2017).
14. Dalmaijer E., Mathot S., Van der Stigchel S. PyGaze: An open-source, cross-platform toolbox for minimal-effort programming of eyetracking experiments // Behavior research methods. – 2014. – Vol. 46. – № 4. – Р. 913–921.
15. Анализ текущего состояния и перспектив развития рынка медицинских изделий для людей с ограниченными возможностями в Российской Федерации [Электронный ресурс]. – URL: http://asi.ru/social/tsr/docs/Spravka %20MPT1.pdf (дата обращения: 09.09.2017).

Одним из наиболее характерных индикаторов качества жизни является отношение общества к инвалидам и людям с ограниченными физическими возможностями. Не случайно в странах с высоким уровнем жизни проблемы инвалидов решаются на государственном уровне путём создания соответствующей социальной и транспортной инфраструктуры. Проблема социальной интегрированности существует и для людей, временно нетрудоспособных по причине болезни или травмы. Так, почти все пациенты, перенесшие инсульт, испытывают значительные трудности общения в период реабилитации, поскольку речевые и двигательные функции у них нарушены. Высшие психические функции при этом могут быть в полном порядке, однако невозможность нормально общаться часто создаёт таким пациентам проблемы психологического плана. Другой типичной ситуацией является состояние, когда пациент временно обездвижен (например, находится в гипсе) и не может ни писать, ни говорить, ни пользоваться средствами электронной связи [1]. Помимо травм головного/спинного мозга и инсультов, серьёзные проблемы с коммуникацией вызывает латеральный амиотрофический склероз (болезнь Шарко), рассеянный склероз (Multiple Sclerosis), детский церебральный паралич (Cerebral Palsy), мышечная дистрофия (Muscular Dystrophy), спинальная мышечная атрофия (Spinal Muscular Atrophy), синдром Верднига – Гоффмана (Werdnig – Hoffman Syndrome), синдром Ретта (Rett Syndrome), а также псевдокома (так называемые «закрытые состояния», в которых человек становится конгитивно интактным и единственным каналом связи с внешним миром остаются движения глаз) [2–4]. Список можно продолжать [5]. Таким образом, необходимость средств машинной коммуникации для инвалидов и некоторых групп пациентов является достаточно очевидной [6–8]. Видеоокулографические системы коммуникации и управления компьютером позволяют пациенту одними глазами осуществлять текстовый набор, отправлять SMS и электронную почту, работать с Интернетом и периферийными устройствами (принтером, модемом, освещением, кондиционером, кнопкой вызова медперсонала, инвалидной коляской и т.д.). В странах с высоким уровнем жизни видеоокулографические коммуникаторы используются в клинической практике:

  • в качестве коммуникатора для пациентов с псевдокомой и «закрытыми состояниями» (у которых движения глаз являются единственным каналом связи с внешним миром);
  • в неврологических и хирургических отделениях в качестве средства временной коммуникации для реабилитации пациентов в послеоперационный период и после приступов (травмы головного и спинного мозга, параличи, инсульты и т.д.);
  • в качестве средства вызова медперсонала, средства управления электроприводом кровати, средства переключения каналов телевизора и радиоприёмника.

Указанные коммуникаторы также активно используются инвалидами в частном порядке – в качестве индивидуальной системы управления компьютером и периферийными устройствами (в том числе специально разработанными для инвалидов системами типа «умный дом»).

По мнению аналитиков Tobii (мировой лидер в области ассистивных видеоокулографических технологий), порядка 0,5–1 % человеческой популяции (~ 50 млн человек) нуждается в ассистивных технологиях для повышения качества коммуникации [9]. На сегодняшний день в странах из числа топ-10 наиболее обеспеченных такими технологиями лишь 10 % нуждающихся имеет к ним доступ [9]. Соответственно, число потенциальных пользователей таких систем в мире составляет порядка 45 млн. человек, а в РФ – порядка 1,8 миллиона человек. На Западе разработка разного рода коммуникаторов для нужд клинической нейрореабилитации активно ведётся с 90-х годов ХХ века. В большинстве случаев используется технология видеоокулографии (ай-трекинга), ключевыми достоинствами которой являются эргономичность, простота использования и интуитивная понятность для пользователя (рис. 1).

Логика работы видеоокулографических систем текстового набора хорошо известна специалистам и многократно демонстрировалась на выставках лидерами сегмента – компаниями LC Technologies и Tobii. Практически все видеоокулографические коммуникаторы работают следующим образом: на экран выводится визуальная клавиатура, аналогичная применяемой для Android; выделение нужной кнопки или позиционирование курсора осуществляется с помощью ай-трекера (рис. 2, А).

zah1.tif

Рис. 1. Пациент в инвалидной коляске набирает текст с помощью взгляда. В левой руке – кнопка для ускорения текстового набора

zah2.tif

Рис. 2. Образцы экранных клавиатур: А – клавиатура прототипа коммуникатора на базе видеоокулографа EyeTribe, Б – клавиатура Android для мобильных устройств, В – клавиатура Eyegaze Edge, Г – клавиатура Tobii Dynavox

Щелчок по кнопке осуществляется либо с помощью специальной кнопки/джойстика (рис. 3), либо автоматически по таймеру. Аналогично работает система управления мышью и внешними устройствами: взглядом выделяется объект, щелчок происходит с помощью таймера или внешней кнопки. Пациент при этом находится в кресле (или инвалидной коляске), голова его зафиксирована подголовником сзади. Монитор с закреплённым на нём ай-трекером фиксируется с помощью штатива (рис. 1).

К настоящему моменту разработано значительное число коммерчески успешных решений, которые, однако, так и не стали по-настоящему массовыми из-за неадекватно высокой стоимости. Мировыми лидерами в данной области являются компании LC Technologies и Tobii. LC Technologies выпускает устройства Eyegaze Edge в двух вариантах: Desktop и Tablet [10]. Оба решения (Desktop и Tablet) обладают всем необходимым функционалом (текстовый набор, функции управления компьютером и периферией, озвучивание текста), единственный принципиальный недостаток – стоимость устройств. На сайте производителя стоимость не указана, на сайте реселлера указана цена £3950 (примерно 335350 рублей) по состоянию на 17 июня 2016 года. Компания Tobii предлагает целую линейку устройств для инвалидов и коррекционной педагогики [11]. Как и LC Technologies, Tobii выпускает дорогие качественные устройства примерно с таким же фукнционалом. В настоящий момент Tobii является лидером сегмента ай-трекинговых устройств для инвалидов.

Альтернативой высококачественным, но неадекватно дорогим коммуникаторам может служить коммерческое программное решение «Greed 3» от компании Smartbox. Данное программное обеспечение обладает тем же функционалом, что и продукты лидеров сегмента, однако имеет значительный потенциал к снижению стоимости конечного продукта за счёт применения бюджетных видеоокулографов.

Предпринимались и попытки разработать полностью бесплатное программное обеспечение под бюджетные видеоокулографы стоимостью до $200. Данные попытки оказались успешными лишь отчасти: было разработано бесплатное ПО для текстовой коммуникации и управления компьютером, однако никаких действий по внедрению, выводу на рынок и доведению до потребителя предпринято не было. В результате данные проекты дальнейшего развития не получили и широкому кругу потребителей неизвестны [12–13]. Аналогичная судьба постигла решения, которые разрабатывались для научной работы, но потенциально могли использоваться и как ассистивные [14].

Таким образом, сложилась парадоксальная ситуация: потребители вынуждены приобретать неадекватно дорогие системы, бюджетные системы на рынке отсутствуют, а бесплатное ПО распространения не получило ввиду полного отсутствия рекламы и продвижения. В Российской Федерации видеокулографические коммуникаторы для инвалидов отсутствуют как класс. В настоящий момент для РФ актуальной является разработка бюджетных коммуникаторов на базе дешёвых ай-трекеров, но с функционалом как у дорогих зарубежных систем. Такие решения без особых проблем могут быть разработаны уже в ближайшее время.

С точки зрения обеспеченности инвалидов коммуникативными устройствами сложилась следующая ситуация. Импортные устройства чрезвычайно дороги и подавляющему большинству потенциальных пользователей не по карману. Существующие в РФ государственные программы поддержки инвалидов предполагают бесплатное обеспечение инвалидов ассистивными устройствами коммуникации, однако подобные устройства имеют весьма ограниченный функционал и их количество является недостаточным. Согласно исследованиям Агентства стратегических инициатив [15], вместо полноценных систем текстовой коммуникации и систем управления компьютером инвалидам поставляются «специальные устройства для чтения – говорящие книги» (21336 штук за 2011 год), а также голосообразующие устройства. Голосообразующие устройства (устройства озвучивания текста) поставляются в совсем уж ничтожных количествах и имеют запредельно высокую стоимость (844 устройства в 2011 году по цене порядка 90 тыс. рублей за комплект) [15]. Соответственно, из 1,8 млн потенциальных потребителей нашей системы в РФ государство покрывает потребности примерно 1 тысячи человек в год – при этом поставляет инвалидам системы с недостаточным функционалом (системы озвучивания текста не позволяют производить набор и редактирование текста; также у них отсутствует функционал для управления компьютером и периферийными устройствами). Таким образом, очевидно, что государство не справляется с задачей. Частные компании на рынке видеоокулографических коммуникаторов представлены исключительно дилерами LC Technologies и Tobii; объём продаж в РФ у них близок к нулю, значимого влияния на ситуацию они не оказывают.

Исходя из вышесказанного, попробуем определить облик перспективного видео окулографического коммуникатора, который мог бы быть разработан в рамках государственной программы помощи инвалидам, а также попытаемся наметить пути решения проблемы стоимости устройств.

zah3.tif

Рис. 3. Cпециализированная кнопка для ускорения набора (применяется для пациентов, которые не полностью обездвижены)

Большинство продвинутых видеоокулографических коммуникаторов включают в себя:

  • модуль текстового набора (функционал для набора, редактирования и озвучивания текста, а также отправки текстовых сообщений);
  • систему управления стандартным ПК (позволяет осуществлять управление стандартным компьютером с помощью взгляда и, соответственно, даёт пользователю доступ ко всем функциям коммуникации и мультимедиа на компьютере);
  • систему управления хардверными периферийными устройствами (освещением, кондиционированием, вентиляцией, вызовом медперсонала и т.п.), а также системами типа «умный дом».

Заключение

С учётом текущего уровня развития видеоокулографических технологий весь перечисленный функционал может быть легко реализован на базе бюджетных видеоокулографов – например, на базе Tobii EyeX (стоимостью €119), Steelseries Sentry Eye Tracker (стоимостью €199,99) или myGaze n (стоимостью €499). В настоящий момент существуют как минимум два таких решения – уже упоминавшиеся проекты OptiKey и его российский аналог. Однако практика показывает, что решение должно быть комплексным и включать не только собственно ПО, но и техподержку, рекламу, логистику, информационное сопровождение, реселлинг, аппаратные решения и науку. Разработка программных решений (даже бесплатных) без всего остального проблему не решает – это хорошо видно на примере проектов с открытым исходным кодом, которые так и остались невостребованной экзотикой.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект № 16-06-12025/17 – ОГОН).


Библиографическая ссылка

Захарченко Д.В., Торшин В.И., Свешников Д.С., Старшинов Ю.П., Якунина Е.Б. АЙ-ТРЕКИНГОВЫЕ КОММУНИКАТОРЫ КАК АССИСТИВНАЯ ТЕХНОЛОГИЯ И СРЕДСТВО НЕЙРОРЕАБИЛИТАЦИИ // Международный журнал прикладных и фундаментальных исследований. – 2017. – № 12-1. – С. 28-32;
URL: http://applied-research.ru/ru/article/view?id=11957 (дата обращения: 13.12.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074