Сбер разрабатывает мультимодальный медицинский диагностический ассистент
Учёные Лаборатории искусственного интеллекта и Центра индустрии здоровья Сбербанка приступили к созданию GigaPevt – мультимодального медицинского диагностического ассистента на базе большой языковой модели GigaChat. В основе новой технологии лежит применение бесконтактных методов измерения медицинских параметров в сочетании с диалоговыми возможностями современных больших языковых моделей. Об этом было объявлено на технологической конференции GigaConf.
О технологии
GigaPevt состоит из двух основных компонентов:
- Дистанционная фотоплетизмография: Технология, которая позволяет по видео лица оценивать ключевые социодемографические показатели и некоторые медицинские параметры, такие как индекс массы тела.
- GigaChat: Модель, которая помогает выстроить и реализовать сценарии медицинских консультаций, повышая эффективность работы врачей.
Применение и перспективы
У технологии GigaPevt большой потенциал применения в телемедицине. Она позволяет автоматизировать рутинные этапы медицинского приёма и значительно повысить эффективность работы врачей.
Научная работа, описывающая технологию GigaPevt, доступна в открытом доступе. Демонстрация технологии запланирована на престижной конференции по искусственному интеллекту IJCAI (A*) в Южной Корее в августе 2024 года.
«Внедрение искусственного интеллекта в медицину – это важная работа, которая позволяет повышать качество оказания медицинской помощи, – отметил Сергей Жданов, директор Центра индустрии здоровья Сбербанка. – На базе ИИ мы реализуем несколько проектов. Так, на искусственном интеллекте основан наш цифровой помощник врача "ТОП-3", который анализирует жалобы пациента и предлагает три наиболее вероятных диагноза из 265 групп диагнозов. "ТОП-3" делает диагностику более эффективной и точной. Сервис уже работает в 10 регионах России, врачи поставили с его помощью 20 млн предварительных диагнозов».
«Наша нейросетевая модель GigaChat в начале этого года успешно сдала экзамен на врача по направлению "лечебное дело", обучившись у специалистов Центра имени Алмазова, – добавил он. – Сейчас в сотрудничестве с Санкт-Петербургским медицинским университетом имени Павлова мы углубляем экспертные знания модели в конкретных областях медицины. Развитием GigaChat занимается большая профессиональная команда, что помогает быстро совершенствовать нашу модель. Мы не останавливаемся на достигнутом и ведем постоянную работу по применению технологий искусственного интеллекта в медицине, и GigaPevt внесет в это существенный вклад»
