JAMA Oncology: Чат-бот с ИИ дает неверные рекомендации по лечению рака

В последней публикации, доступной в журнале JAMA Oncology, исследователи обращают внимание на потенциал использования чат-ботов, основанных на больших языковых моделях (LLM) и управляемых алгоритмами искусственного интеллекта (ИИ), для предоставления точных и надежных рекомендаций по лечению рака.

В рамках данного исследования специалисты анализировали эффективность чат-бота LLM в предоставлении рекомендаций по лечению рака простаты, легких и молочной железы в соответствии с рекомендациями Национальной комплексной онкологической сети (NCCN).

Поскольку исследование было завершено в сентябре 2021 года, модель чат-бота LLM использовала рекомендации NCCN 2021 года для разработки своих рекомендаций по лечению.

Для этой цели было разработано четыре шаблона с нулевой загрузкой, которые затем применялись к 26 различным диагнозам рака, образуя в общей сложности 104 варианта рекомендаций. Эти данные стали входными данными для GPT-3.5 через интерфейс ChatGPT.

Исследовательская группа включала четырех сертифицированных онкологов, из которых трое оценивали согласованность рекомендаций чат-бота с рекомендациями NCCN 2021 года на основе пяти критериев, установленных исследователями. Для принятия окончательного решения использовалось правило большинства.

Четвертый онколог помогал решать разногласия, которые возникали, когда рекомендации чат-бота LLM оставались неоднозначными. Например, в случае, когда LLM не давал ясной рекомендации о сочетании различных методов лечения для конкретного типа рака.

В итоге 104 уникальные рекомендации, оцененные по пяти критериям, получили 520 баллов, из которых 322 балла, или 61,9%, совпали в оценках всех трех экспертов. Кроме того, чат-бот LLM предоставил рекомендацию по лечению для 98% запросов.

Все предоставленные рекомендации включали, по меньшей мере, один метод лечения, соответствующий рекомендациям NCCN. Также было выявлено, что в 35 из 102 случаев рекомендовались методы, не соответствующие друг другу. В 34,6% случаев все четыре шаблона подсказок получили одинаковое количество баллов по всем пяти критериям.

Более 12% ответов чат-бота были несогласующимися с рекомендациями NCCN методами лечения. Эти ответы, которые исследователи называют "галлюцинациями", включали методы, такие как иммунотерапия, локализованное лечение распространенной болезни и другие таргетные методы.

Также замечено, что рекомендации чат-бота LLM варьировались в зависимости от формулировки вопросов со стороны исследователей. В некоторых случаях чат-бот предоставлял размытые данные, что вызывало разногласия между экспертами.

Разногласия также возникали из-за разных интерпретаций рекомендаций NCCN. Тем не менее, эти разногласия подчеркивают сложность интерпретации результатов LLM, особенно в отношении описательных ответов.

Итоговый вывод данного исследования заключается в том, что чат-бот LLM, оцененный в ходе исследования, допускал как верные, так и неверные рекомендации по лечению рака, даже при наличии экспертной оценки. Таким образом, 33,33% рекомендаций чат-бота были, по меньшей мере, частично несогласованы с рекомендациями NCCN.

Эти результаты подчеркивают важность информирования пациентов провайдерами медицинских услуг о возможных ограничениях и дезинформации, которые могут сопровождать использование искусственного интеллекта. Они также поднимают вопрос о необходимости законодательного регулирования в области искусственного интеллекта и других технологий, которые могут воздействовать на общественное здоровье при недостаточной информированности и неправильном использовании.