Важнейшей проблемой для разнообразных подводных аппаратов, как обитаемых, так и беспилотных (безэкипажных), является навигация, т.е. определение местоположения аппаратов в толще воды. В последнее время появление и развитие средств технического зрения дало толчок к решению этой задачи. Прогресс стал возможным благодаря появлению высокочувствительных сенсоров и мощных миниатюрных вычислительных средств, позволяющих эффективно решать задачу выявления признаков объектов, достаточных для того, чтобы производить движение с заданным поведением относительно объектов и стабилизацией положения относительно окружающего пространства. При этом целесообразно применять алгоритмы искусственного интеллекта и интеллектуального управления в частности.
Целью и направлением исследований является разработка базовой версии программно-аппаратной платформы системы автоматического управления необитаемыми подводными аппаратами – телеуправляемыми и автономными, которая отрабатывает заданную миссию, а именно обеспечивает автоматическое движение ТНПА с использованием поступающей от сенсоров информации об особенностях окружающего рельефа и объектов, автоматическое перемещение в заданную точку, обнаружение и обход препятствий.
Под интеллектуальным управлением подразумевается наличие изменения поведения системы, формируемого в процессе её работы, независимо от оператора в автономном режиме или совместно при полуавтоматическом управлении. Поведение системы определяется контурами управления, а также задающими воздействиями. Для реализации алгоритмов управления используется адаптивность, заключающаяся в изменении как структуры контуров управления, так и подстройки параметров динамических звеньев, и формирование ограничений для переменных состояния и задающих воздействий. Алгоритмы, по которым осуществляются эти преобразования, используют нейронные сети, варьирование параметров по заданному критерию качества, при этом производится решение задачи оптимизации в режиме реального времени.
Автономность перемещения до визуального контакта с поверхностью или объектом спереди осуществляется с использованием инерциальной системы. При обнаружении объекта производится автоматическое переключение на управление аппаратом с применением технического зрения. Подтверждение сближения осуществляется сонаром переднего обзора и альтиметром, измеряющим отстояния от дна. Стабилизация аппарата в пространстве достигается инерциальной, визуальной системами управления на основе данных с сонаров и датчика глубины, являющимися основными в режиме следования без визуального контакта с объектами.
Материалы и методы исследования
Основой системы является компонент технического зрения, имеющий свои ограничения, связанные с быстродействием, требований к разрешающей способности, количеству распознаваемых объектов, количеству классифицируемых признаков, скорости передачи данных, быстродействия отдельных элементов системы. Таким образом, для режима реального времени является актуальной задача максимально эффективной работы с данными. Для этого используются как векторизированные команды, позволяющие одновременно работать с несколькими 8-битными значениями, так и параллельная обработка фрагментов кадра, как за счёт многопоточности процессорных ядер общего назначения, так и с использованием многопоточных модулей для графического сопроцессора.
В качестве аппаратной части системы была выбрана одноплатная микропроцессорная платформа Jetson Nano Developer Kit, состав и основные характеристики которой представлены в таблице.
Состав и основные технические характеристики Jetson Nano
|
Графический сопроцессор (GPU) |
128-core Maxwell |
|
Центральный процессор (CPU) |
Quad-core ARM A57 @ 1.43 GHz |
|
Оперативное запоминающее устройство (ОЗУ) |
4 GB 64-bit LPDDR4 25.6 GB/s |
|
Накопитель |
Внешний microSD 128 ГБ |
|
Кодеки видеопотока стандарта ITU-T H.264/H.265 (High efficiency video coding) |
Кодирование видео формат 4K на 30 к/с или 4 потока формата 1080p на 30 к/с или 9 потоков 720p на 30 к/с Декодирование видео формата 4K на 60 к/с или 2 потока по 4K на 30 к/с или 8 потоков 1080p на 30 к/с или 18 потоков 720p на 30 к/с |
|
Видеокамера |
Интерфейс 2 шт MIPI CSI-2 DPHY. Встроенный интерфейс не используется. Применяется поток видео от USB или Ethernet с декодированием |
|
Связь |
Gigabit Ethernet, M.2 Key E |
|
Порт внешнего дисплея |
HDMI и стандартный монитор |
|
Интерфейсы USB |
4 шт USB 3.0 и USB 2.0 Micro-B |
|
Дополнительные интерфейсы |
GPIO, I2C, I2S, SPI, UART |
|
Габаритные размеры и соединитель |
69 мм x 45 мм, торцевой планарный печатный двусторонний разъём на плате 260 выводов |
Данная платформа является достаточно недорогой искусственный интеллект (ИИ) системой, которая позволяет параллельно запускать несколько нейронных сетей для таких приложений, как классификация изображений, обнаружение объектов, сегментация и обработка речи.
Габаритные размеры и требования по питанию платформы позволяют легко ее интегрировать в разрабатываемую платформу.
Для платформы основной источник данных – видеокамера, поэтому проектирование начинается с формирования требований к ней. Например, предложена стабилизация с использованием световых цветных меток как самый простейший способ [1], при этом необходимо наличие специальных световых излучателей-маркеров, что не всегда является доступным. При размещении их на погружаемом аппарате возрастает потребление, при наличии взвесей в воде при сфокусированном свете могут быть ложные лучи, фильтрация которых будет сопряжена с определёнными трудностями, происходит сужение области видимости. Для глобального позиционирования обычно используются гидроакустические системы [2], что также учитывается при разработке конструкции изделия. Для простой системы оценки отстояния до дна или крупных предметов может применяться сонар с использованием модель-предикативного управления [3]. При рассмотрении вопросов с установкой стереоскопической камеры уделяется внимание прежде всего габаритным показателям, необходимости иметь дополнительный резерв питания, однако при этом можно в некоторой мере снизить энергопотребление для измерения расстояния до предметов, а также, разгрузив центральный процессор, решать задачу локального позиционирования и маневрирования [4]. Возможно использование многолучевых сонаров и определённой техники для определения рельефа и пути следования [5]. Таким образом, имеется набор датчиков, которые в совокупности дают общую компоновку устройства исходя из его функционального назначения.
Отличительной особенностью новой системы является использование видеопотока с видеокамеры как для визуализации окружающей обстановки, так и для работы системы технического зрения, призванной оптимизировать работу оператора.
Ниже приведена структурная схема разрабатываемой платформы. В качестве основы взят прототип системы, имеющий дистанционное управление по кабелю-связке.
Рис. 1. Структурная схема платформы
Структура представлена на рис. 1, где 1 – Подводный аппарат, состоящий из набора модулей, в том числе:
- Модуль питания и связи 2, он осуществляет преобразование напряжения и обеспечивает протокол аппаратного взаимодействия модема связи с блоком управления (БУ).
- Модуль бортового вычислителя (МБВ) 3 осуществляет прием и декодирование видеопотока, формирование управляющего воздействия через командный интерфейс для исполнительных механизмов с цифровым управлением. МБВ отвечает за управляющие контуры, работающие в режиме реального времени, систему обработки нештатных и аварийных ситуаций, сигналов с сенсоров, формирование управляющего воздействия на движители и другие подчинённые локальные устройства.
- Цифровые (разрешение FullHD) видеокамеры 4 являются основой разрабатываемой системы компьютерного зрения.
- Датчик давления 5 служит для определения глубины (отстояния от поверхности воды).
- Инерциальный измерительный модуль 6 служит для определения ориентации подводного модуля в пространстве.
- Осветители 11.
– Движительно-рулевой комплекс (ДРК) 12.
Для функционирования разрабатываемой интеллектуальной системы управления необходимо иметь ряд дополнительных датчиков, не входящих в состав ТНПА. В частности, аппарат должен быть дооснащен следующими устройствами:
- Эхолот 7 необходим для измерения дистанции до препятствия на малой дистанции (0,1–5 м) по курсу аппарата.
- Альтиметр 8 необходим для измерения отстояния от дна.
- Гидролокатор кругового обзора 9 предназначен для измерения дистанции до объектов, находящихся вокруг аппарата на расстоянии 1–50 м.
- Маяк гидроакустической навигационной системы (ГАНС) 10 служит для определения дистанции и относительных координат подводного модуля, осуществляет приёмо-передачу импульсов с базовой станцией ГАНС по гидроакустическому каналу связи.
- Было выбрано отечественное оборудование (поз. 7–10). Технические характеристики ГАНС Zima (разработка Лаборатории подводной связи и навигации) в наиболее полной мере удовлетворяют требованиям данного проекта.
Данные, полученные МикроЭВМ, передаются по Ethernet каналу с пропускной способностью 100 Мб/с в надводный блок управления (БУ), который обменивается полученными данными с разрабатываемой платформой. На рис. 2 приведена блок-схема блока управления и цифровой платформы интеллектуальной системы управления.
Рис. 2. Структурная схема блока управления погружаемым аппаратом
Числом 13 на рисунке обозначен надводный блок управления ТНПА с пультом управления и другими сопутствующими устройствами. Разрабатываемая платформа 14 состоит, в свою очередь, из следующих аппаратных модулей. К микрокомпьютеру (микроЭВМ) 15 подключены необходимые периферийные устройства, он осуществляет сбор и обработку данных от сенсоров. Программа, выполняемая процессором микро-ЭВМ 15, работает под управлением ОС реального времени и выполняет расчёт и построение локального навигационного пути по командам с внешнего интерфейса или прямое управление подчинёнными устройствами. Береговая часть ГАНС 17, на основе относительных координат, полученных от базовой станции (подводной приемо-передающей антенны) и абсолютных координат GPS/ГЛОНАСС 18, формирует пакет данных для определения абсолютных координат подводного модуля. Использован принцип измерения времени прохождения отраженных импульсов и положения береговой станции. Программное обеспечение платформы 15, которое реализует функцию интеллектуальной системы управления ТНПА, состоит из следующих модулей, которые можно отлаживать и имитировать независимо на различных аппаратных реализациях.
Программное обеспечение ПО включает следующие логические компоненты:
- Модуль связи, служит для приёма, обработки и передачи данных с периферийных устройств соответствующим модулям. Обработку и формирование команд управления подводным модулем ТНПА.
- Модуль системы счисления пути и инерциальной навигации, выполняет формирование пройденного пути, следует по заданному пути определяемого заранее, определяет локальное поведение исходя из сигналов датчиков гироскопа и акселерометра.
– Модуль системы компьютерного зрения, формирующего сигналы управления при работе автономной навигационной системы на основе привязки к визуальным ориентирам, следования вдоль заданного объекта и др.
- Модуль системы построения оптимального пути и относительной координации, навигация на основе показаний ГАНС. Это такие функции, как локальная (инерциальная) навигация, стабилизация аппарата при погружении, движении на глубине без визуальных ориентиров на промежутке от поверхности до исследуемого объекта.
При разработке структурной схемы учитывались следующие факторы, влияющие на компоновку и выбор сенсоров:
- наличие ила, взвесей в воде на маршруте следования: применение локальных ультразвуковых сенсоров приближения к препятствиям;
- наличие по ходу движения объектов, недосягаемых визуальным контролем или ограничением по освещённости/прозрачности воды: наличие кругового сонара;
- погружение и отсутствие визуальных ориентиров: датчик давления, ультразвуковой альтиметр;
- отсутствие «похожих» объектов, следования вдоль кабелей и др. с визуальным контролем: применение измерения отстояния по сигналам с базовой станции, принимаемых модемом.
Под визуальным контролем следует понимать не только непосредственное участие оператора, но и автономные режимы работы, предусматривающие применение системы технического зрения. На рис. 3 приведена схема подключения сенсоров, которыми оснащен ТНПА. Локальный контроллер обеспечивает прием и первичную обработку данных с сенсоров, а также с видеокамер. Затем они через кабельный интерфейс передаются на пульт оператора, где декодируются и обрабатываются.
Рис. 3. Блок-схема подключения сенсоров, которыми оснащен ТНПА
Рис. 4. Человеко-машинный интерфейс. Картинка пульта оператора
На экран (рис. 4) выводятся меню как для полуавтоматического режима работы с участием оператора, так и автоматического, основанного на использовании системы технического зрения. Стабилизация выбирается по требуемым объектам, для более точной настройки и выбора режимов применяется клавиатура и полное управление с микрокомпьютера.
Заключение
В ходе рассмотренных в статье исследований определены основные функциональные модули, разработана структурная схема платформы ТНПА, выбран состав аппаратуры основных аппаратных и программных частей системы в целом, включающих погружаемый аппарат, береговую станцию, блок управления. В результате реализованы режимы автономного следования в заданную точку маршрута, стабилизацию аппарата в толще воды, обнаружения объектов и соответствующего формирования команд управления ТНПА при обнаружении и обходе препятствий. Кроме того, созданная платформа обеспечивает стабилизацию аппарата относительно объектов, измерение локальной скорости, величины отклонения от траектории, определение границ подводных объектов, классификации границ объектов.
Статья написана в рамках государственного задания ИО РАН по теме № 0128-2021-0011.