На сегодняшний день меланома является одним из самых опасных видов рака. Заболеваемость в России, по статистике, составляет около 8700 случаев в год [1].
Первичная диагностика меланомы представляет собой довольно сложный процесс. Для успешного диагностирования к опыту врача-онколога должно быть приложено оборудование соответствующего качества. И если со вторым фактором в последнее время есть некоторые положительные сдвиги, то с первым, к сожалению, ситуация сложнее. Опытных врачей-онкологов, специализирующихся в области дерматоскопии, в России не так много, как хотелось бы. Особенно ценны специалисты, способные распознать опасное образование на самой ранней стадии, заподозрить так называемую меланому in situ, тем самым существенно повысить шансы пациента на полное выздоровление. Ведь именно от стадии обнаружения меланомы существенно зависят показатели выживаемости больных [2]. На рис. 1 представлен график, описывающий выживаемость пациентов.
Рис. 1. График выживаемости в зависимости от стадий заболевания
По итогам исследования были проведены сравнения результатов нейронной сети с заключениями врачей-онкологов, и мнение врачей на 86 % совпадало с ответом нейронной сети, что можно считать хорошим результатом, не уступающим результатам зарубежных исследований [3].
Цель данной работы заключается в доказательстве гипотезы, которая заключается в том, что нейронная сеть способна диагностировать подозрительные в отношении меланомы дерматоскопические снимки с качеством, соизмеримым с достаточно опытным врачом.
Материалы и методы исследования
При определении меланомы по дерматоскопическим снимкам в качестве одного из критериев для постановки диагноза часто используют так называемую систему ABCDE [4]: Asymmetry (асимметрия), Border (края), Color (цвет), Dimension (диаметр), Evolution (развитие). Принимаются во внимание также факторы, перечисленные на рис. 2.
Исходя из того, что дооперационное диагностирование меланомы, как показано выше, происходит визуальным путем, возникает идея привлечения к данной проблеме нейронных сетей, которые с успехом справляются с задачами классификации изображений в других предметных областях. Например, VGG16 – модель сверточной нейронной сети, предложенная K. Simonyan и A. Zisserman из Оксфордского университета в статье [5]. Модель достигает точности 92,7 % – топ-5 при тестировании на ImageNet в задаче распознавания объектов на изображении.
Рис. 2. Факторы, характерные для меланомы
Были поставлены две задачи:
1. Разработать сверточную нейронную сеть.
2. Провести ряд тестов, используя наборы графических данных, которые были отобраны и классифицированы врачом-онкологом.
Для обучения нейронной сети был собран датасет из 3300 снимков [6], который был классифицирован по двум категориям:
1. Невус с подозрением на наличие меланомы.
2. Обычный невус.
Также к данному датасету были добавлены изображения, полученные в повседневной врачебной практике врачами специализированной клиники Меланома-Юнит и некоторыми другими специалистами, изъявившими желание помочь проведению данного исследования. Всего к первичному датасету было добавлено около 700 снимков. В таблице можно ознакомиться с соотношением количества изображений каждой категории в двух наборах.
Наборы графических данных
|
Тип набора изображений |
Невус с подозрением на наличие меланомы |
Обычный невус |
|
Обучающий набор |
500 |
3500 |
|
Набор для тестирования |
600 |
600 |
Следует отметить, что полученный датасет весьма несимметричен: количество снимков меланом существенно меньше, чем количество снимков обычных невусов. Этот факт объясняется естественными причинами, поскольку частота выявления меланомы среди общего числа дерматологических исследований невелика.
Для разработки прототипа нейронной сети использовалась библиотека TensorFlow. Схема разработанной модели нейронной сети представлена на рис. 3.
Рис. 3. Схема модели нейронной сети
Были созданы ядра свертки, которые устанавливают ограничивающие правила, учитывая входные данные слоя, такие как фильтры и размеры ядер слоя, для получения тензоров выходных данных, где тензор – алгебраический объект, который описывает связь между векторами в едином пространстве, затем данные слои связываются друг с другом и создают единую модель, через которую и будут проходить макроснимки [7, 8]. Разработанная модель состоит из 26 слоев.
Нейронная сеть была обучена на описанном выше датасете и протестирована на данных, не использовавшихся при ее обучении. По итогам испытаний ответ нейронной сети совпал с мнением группы высококвалифицированных врачей онкологов-дерматологов в 86 % случаев. Некоторые из проверочных дерматоскопических снимков приведены на рис. 4, 5.
Рис. 4. Обычные невусы
Рис. 5. Невусы с подозрением на наличие меланомы
Также был произведен эксперимент по выявлению применимости к поставленной задаче иных моделей нейронной сети. Эксперимент проводился с помощью Microsoft ML Builder. В результате при минимальном количестве итераций наилучший результат, по мнению данного инструмента, показала глубокая нейронная сеть модели ResNet50.
На рис. 6 и 9 изображены злокачественные образования, и нейронная сеть на 75+% утверждает, что они являются меланомой.
Рис. 6. Случайное изображение из датасета с меланомой
Рис. 7. Случайное изображение из датасета с доброкачественным образованием
Рис. 8. Случайное изображение из датасета с доброкачественным образованием
Рис. 9. Случайное изображение из датасета с меланомой
На рис. 7 и 8 изображены доброкачественные образования, но при этом нейронная сеть больше склоняется к тому, что они злокачественные.
При изучении статьи ResNet (34, 50, 101): «остаточные» CNN для классификации изображений [9] было рассмотрено все семейство ResNet моделей от 18-слойной части до 152-слойной. На рис. 10 можно увидеть таблицу, в которой описывается, из каких слоев состоит каждая из моделей (18-слойная, 34-слойная, 50-слойная, 101-слойная и 152-слойная), а также трудозатратность вычислений каждой из них.
Также в статье присутствуют результаты работы разных моделей нейронных сетей и статистика их ошибок на датасете ImageNet и PASCAL VOC. В датасете присутствуют сложные изображения, на которых расположены объекты, которые могут подходить под несколько меток сразу или входить только в одну категорию.
По результатам эксперимента, описанного в статье [8], при классификации изображений лучший результат показывает ResNet-152, показывая лучшую точность, чем семейство моделей VGG, поэтому требуется провести эксперимент по вычислению лучшей модели для задачи выявления наличия или отсутствия невуса (рис. 11).
top-1 err – данная оценка показывает, совпадает ли высший класс, который имеет наибольшую вероятность, с целевой меткой;
Рис. 10. Таблица слоев ResNet18-152
Рис. 11. Частота ошибок (%) для одной модели в наборе валидации ImageNet
top-5 err – данная оценка показывает, является ли целевая метка одним из ваших топ-5 прогнозов (5 с наибольшей вероятностью).
Чем меньше каждая из оценок, тем больше совпадение.
Полученный результат демонстрирует, что заявленная гипотеза действительно подтверждает, что использование нейронных сетей в анализе дерматоскопических снимков с изображенными на них невусами, целесообразна, так как результаты работы прототипа собственной нейронной сети и врачи из Меланома Юнит поставили одинаковый диагноз в 86 % случаев, что близко к медицинской практике профессионального врача-онколога.
Также опыт отечественных и зарубежных разработок с использованием уже готовых нейронных сетей и нейронных сетей с иной структурой показывает, что можно улучшить данный результат, унаследовав опыт и модернизируя на его основе прототип.
Заключение
Использование нейронных сетей в дерматоскопии открывает спектр возможностей в первичной диагностике меланомы, что может предоставить дополнительный способ первичного выявления меланомы (сервис второго мнения) и, возможно, заменит отсутствие возможности консультации у квалифицированного врача онколога-дерматолога.