ИИ AMIE от Google диагностирует кожные заболевания по фото точнее врачей

Новая версия медицинского чат-бота Google научилась распознавать кожные заболевания по изображениям, включая фотографии с телефонов и PDF-файлы с анализом результатов. В тестовых системах была продемонстрирована более высокая точность, чем у практикующих врачей.

Экспериментальная модель Articulate Medical Intelligence Explorer (AMIE) разработана на базе языковой модели Gemini 2.0 Flash, способ обработки как текста, так и изображения. Алгоритм адаптирован для ведения медицинских диалогов и полезных рассуждений. Согласно исследованию, AMIE успешно анализирует изображения кожных высыпаний, ЭКГ и лабораторные данные в формате PDF.

Для оценки эффективности модели 25 актеров, игравших роли пациентов, приняли участие в 105 симулированных консультациях как с AMIE, так и с терапевтами. По итогам каждой сессии врач и бот ставили предварительный диагноз и предлагали план лечения. Команда из 18 профильных экспертов сделала точные выводы на основе транскриптов. В среднем AMIE продемонстрировала более высокую точность и меньшую зависимость от качества изображения.

В отличие от больших языковых моделей (LLM), требующих обучения на специализированных медицинских базах, AMIE формирует навыки через имитацию диалогов между пациентом и врачом. Такой подход оказывается проще и масштабируемее. Однако эксперты отмечают, что симуляции с актерами не отражают всей сложности клинической практики. Кроме того, в публикации не раскрыты прикладные программные инструменты и инструкции, которые ограничивают воспроизводимость результатов.

Исследователи считают, что подобные ИИ-системы могут служить для будущих инструментов-диагностов, однако их применение в медицине потребует дополнительного регулирования и регулирования.