Не соглашайтесь автоматически: как проверять вывод ИИ в клиническом разборе

ИИ-ассистент может звучать особенно убедительно именно тогда, когда случай совсем не выглядит однозначным.

Ответ может быть логично построен, уверенно сформулирован и подкреплён источниками и всё равно расходиться с тем, что вы видите при осмотре, в анамнезе или в динамике пациента.

В такой ситуации полезный вопрос не «кто из нас прав?», а:

На чём держится этот вывод и что способно его изменить?

Несогласие с ИИ не обязательно означает ошибку системы. Но и согласие с ней не делает вывод правильным. Гораздо полезнее превратить расхождение в проверяемый клинический разбор.

Несогласие — повод проверить основания

Запрос «проверь ещё раз» редко помогает. Ассистент может просто сформулировать тот же вывод другими словами или добавить уверенности там, где нужна дополнительная проверка.

Гораздо полезнее задать более конкретные вопросы:

1. На каких данных именно этого пациента держится ваша оценка?
2. Что говорит против ведущей гипотезы?
3. Какой признак мог получить слишком большой вес?
4. Что в этом случае проще всего пропустить?
5. Какие новые данные действительно изменили бы оценку?

Эти вопросы не требуют от ассистента «признать ошибку». Они помогают разделить наблюдаемые факты, общие знания о заболевании, предположения и неопределённость.

Как это выглядит в Terav

В Terav такой второй проход встроен непосредственно в диалог как Challenge.

Вместо просьбы просто повторно оценить случай врач может попросить критически проверить уже сформированную оценку.

Challenge структурирует ответ вокруг четырёх направлений:

• Against the lead — что говорит против ведущей гипотезы;
• Overweighted finding — какой признак мог быть переоценён;
• Easiest to miss — что легче всего упустить;
• What would change this — какие данные способны существенно изменить интерпретацию.

Пример интерфейса Terav: Challenge используется для критической проверки уже сформированной оценки. Скринкаст показывает формат взаимодействия с продуктом, а не является подтверждением клинической точности конкретного ответа.

Challenge не превращает ответ ИИ в проверенный диагноз и не гарантирует, что система обнаружит собственную ошибку.

Его задача скромнее и полезнее: сделать альтернативы, противоречия и условия пересмотра вывода явными.

Что проверять в ответе

Опирается ли вывод на данные конкретного пациента?

Ассистент может правильно описывать типичный паттерн заболевания, но при этом незаметно подменить индивидуальный случай общим представлением о нём.

Особенно важно замечать ситуации, когда отсутствие информации трактуется как отсутствие признака.

Полезный вопрос здесь:

Какие выводы основаны именно на предоставленных данных пациента, а какие — на общих знаниях или предположениях?

Насколько честно представлены альтернативы?

Список дифференциальных диагнозов сам по себе мало что даёт.

Полезнее понимать:

• какие данные поддерживают каждый вариант;
• что ему противоречит;
• какие признаки способны различить конкурирующие гипотезы.

Можно спросить:

Представьте сильнейший аргумент в пользу ближайшей альтернативной гипотезы. Какие находки сделали бы её более вероятной?

Применимы ли источники?

Даже реальная статья может относиться к другой популяции, другому виду животных, иной стадии заболевания или вообще к медицине человека.

Наличие ссылки подтверждает существование источника. Оно не доказывает, что этот источник применим к конкретному пациенту.

Поэтому имеет смысл проверить:

• вид животных;
• характеристики исследованной популяции;
• дизайн исследования;
• размер выборки;
• клинический исход;
• соответствие вопросу, который вы пытаетесь решить.

Что изменит позицию?

Рабочая гипотеза должна быть изменяемой.

Вопрос:

Что заставило бы вас пересмотреть текущую оценку?

помогает понять, есть ли у вывода условия опровержения.

Если никакой дополнительный факт не способен повлиять на заключение, перед нами скорее утверждение, чем клиническое рассуждение.

Пример: вместо «вы уверены?»

Предположим, у собаки есть вялость, снижение аппетита, периодическая рвота, умеренная азотемия и недостаточно концентрированная моча.

ИИ-ассистент ставит повреждение почек во главу дифференциального списка.

Вместо:

«Вы уверены?»

можно спросить:

«На каких данных этого случая держится ведущая гипотеза? Что ей противоречит? Какие признаки могут также объясняться преренальными или постренальными причинами? Какой результат сильнее всего изменил бы текущую оценку?»

Такой запрос не подсказывает ассистенту нужный диагноз.

Он просит сделать различия между гипотезами достаточно явными, чтобы врач мог их проверить.

Automation bias: что мы знаем, а чего не знаем

В исследованиях человеческих факторов и клинических систем поддержки решений описан automation bias — склонность чрезмерно полагаться на автоматизированную рекомендацию или реже замечать информацию, которая ей противоречит.

Систематические обзоры показывают, что такой эффект действительно встречается, в том числе в задачах, связанных с клиническими решениями. При этом большая часть этой доказательной базы относится к медицине человека и другим профессиональным областям, а не к ветеринарной практике. [1,2]

Ранее мы отдельно разбирали, что известно и чего пока нельзя утверждать о влиянии ИИ на клиническое мышление ветеринарного врача.

Кратковременное согласие с ошибочной автоматизированной рекомендацией и долгосрочная утрата клинического навыка — разные вопросы.

На сегодняшний день нет продольных исследований, которые показывали бы, что использование AI-ассистентов приводит к ухудшению клинического мышления ветеринарных врачей. Существующая литература позволяет говорить о риске чрезмерного доверия к автоматизации, но не о доказанном долговременном «отучении думать». [1,2]

Поэтому полезнее не обещать, что определённый способ работы с ИИ «сохранит клиническое мышление», и не утверждать, что ИИ неизбежно его разрушит.

Более практичный вопрос:

остаётся ли клиническая оценка открытой для критики, альтернатив и новых данных?

Попробуйте на знакомом кейсе

Возьмите знакомый обезличенный случай и до обращения к ассистенту кратко зафиксируйте:

• собственную рабочую гипотезу;
• данные, которые её поддерживают;
• признаки, которые вызывают сомнение.

После ответа не ограничивайтесь оценкой «согласен / не согласен».

Запустите Challenge или задайте те же вопросы вручную:

• что говорит против ведущей версии;
• какой признак мог быть переоценён;
• что легко пропустить;
• что изменило бы вывод.

Затем сравните обе версии.

Отметьте:

1. что подтвердило вашу первоначальную оценку;
2. что заставило её уточнить;
3. что осталось непроверенным.

Цель не в том, чтобы выиграть спор у ИИ — или позволить ИИ выиграть спор у вас.

Цель в том, чтобы сделать клиническую оценку явной, проверяемой и способной измениться при появлении более сильных данных.

Источники и дополнительное чтение

1. Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association. 2012;19(1):121–127.
   https://pubmed.ncbi.nlm.nih.gov/21685142/
   DOI: https://doi.org/10.1136/amiajnl-2011-000089

2. Lyell D, Coiera E. Automation bias and verification complexity: a systematic review. Journal of the American Medical Informatics Association. 2017;24(2):423–431.
   https://pubmed.ncbi.nlm.nih.gov/27516495/
   DOI: https://doi.org/10.1093/jamia/ocw105

3. Amann J, Blasimme A, Vayena E, Frey D, Madai VI. Explainability for artificial intelligence in healthcare: a multidisciplinary perspective. BMC Medical Informatics and Decision Making. 2020;20:310.
   https://doi.org/10.1186/s12911-020-01332-6

4. World Health Organization. Ethics and governance of artificial intelligence for health. 2021.
   https://www.who.int/publications/i/item/9789240029200