Страх «привыкнуть к готовым ответам» понятен. Особенно если однажды уже видел убедительно сформулированную рекомендацию, которая плохо подходит конкретному пациенту.
Но вопрос «не разучимся ли мы думать из-за AI?» на самом деле объединяет две разные проблемы.
Первая — можно ли сейчас принять неверную подсказку, потому что она выглядит убедительно.
Вторая — может ли длительное использование AI со временем изменить или ослабить самостоятельный клинический навык.
Для первой проблемы существуют исследования в области человеческого фактора и медицины человека. Для второй данных значительно меньше. А исследований, которые показывали бы долгосрочную утрату клинических навыков именно у ветеринарных врачей из-за AI-ассистентов, сейчас нет.
Это различие важно.
Автоматизационное смещение: когда ошибочная подсказка кажется достаточно убедительной
В литературе используется термин «автоматизационное смещение» (automation bias), или смещение в пользу автоматики — склонность чрезмерно полагаться на рекомендации автоматизированной системы.
Это может проявляться по-разному. Пользователь может принять неверную рекомендацию системы или, наоборот, не заметить проблему, потому что система её не отметила.
Систематический обзор Goddard, Roudsari и Wyatt показал, что такие эффекты наблюдались в исследованиях из разных областей, включая системы поддержки клинических решений. При этом автоматизированные системы во многих исследованиях в целом улучшали выполнение задачи — риск возникал именно тогда, когда пользователи продолжали доверять системе и в тех случаях, когда её рекомендация была ошибочной.
Более поздний обзор Lyell и Coiera также рассматривал автоматизационное смещение в медицине и исследованиях взаимодействия человека с автоматизированными системами. На результат могли влиять сложность проверки, характер задачи и условия работы.
Это важный сигнал для клинических инструментов. Но его нельзя автоматически переносить на ветеринарную практику как доказательство того, что ветеринарные AI-ассистенты приводят к тем же ошибкам с той же частотой.
Исследования проводились с другими системами, специалистами и сценариями.
Утрата навыка — другой вопрос
Совсем другой страх звучит так:
если ассистент регулярно предлагает дифференциальные диагнозы, ищет литературу и структурирует случай, станет ли врач со временем хуже делать это самостоятельно?
Это уже гипотеза о долгосрочном сохранении навыка.
Чтобы её проверить, недостаточно показать, что человек однажды согласился с неправильной рекомендацией. Нужны длительные исследования: с оценкой исходного уровня компетентности, характера использования инструмента и способности выполнять ту же задачу без него спустя месяцы или годы.
Для ветеринарных AI-ассистентов таких данных пока нет.
В исследованиях человеческого фактора давно обсуждается и более общий эффект выпадения из контура управления: оператор может хуже отслеживать происходящее и испытывать трудности, когда ему приходится снова самостоятельно брать управление на себя.
Есть и наблюдения из совсем других областей. Например, исследование использования GPS обнаружило связь между более частым использованием навигации и худшими показателями пространственной памяти при самостоятельной навигации. Авторы также наблюдали часть участников повторно спустя несколько лет.
Но GPS-навигация — не ветеринарная диагностика. Такие исследования показывают, что вопрос о взаимодействии человека и инструмента заслуживает внимания. Они не доказывают, что AI вызывает деградацию клинического мышления у ветеринарных врачей.
Почему данные из других областей нельзя автоматически переносить в ветеринарию
Большая часть исследований чрезмерного доверия к автоматизированным рекомендациям появилась в медицине человека, авиации и других областях, где решения принимаются при поддержке автоматизированных систем.
Эта литература помогает сформулировать возможные риски, но не даёт готового ответа для ветеринарии.
Ветеринарная практика отличается по многим параметрам:
- пациенты относятся к разным видам;
- объём и качество анамнеза сильно различаются;
- данные могут быть фрагментированы между клиниками и лабораториями;
- доказательная база неодинакова для разных видов и заболеваний;
- решения включают не только медицинские данные, но и возможности владельца, прогноз, благополучие животного и доступность диагностики;
- рабочие процессы общей практики, стационара, неотложной помощи, онкологии, патологии, продуктивных животных или лошадей заметно различаются.
Поэтому корректнее сказать не «мы знаем, что AI ослабляет клиническое мышление», а:
мы знаем, что люди способны чрезмерно доверять автоматизированным рекомендациям; что происходит с самостоятельным клиническим навыком ветеринарного врача при многолетнем использовании AI, ещё предстоит изучить.
Почему правдоподобный ответ так легко принять
Уверенно сформулированный ответ особенно привлекателен, когда клинический случай сложный, информации много, а времени мало.
Но правдоподобность сама по себе не показывает, насколько хорошо вывод соответствует конкретному пациенту.
Особого внимания требуют ситуации, когда:
- AI получил неполный или неоднозначный контекст;
- вывод сформулирован уверенно, но не видно, какие данные для него ключевые;
- предложение совпадает с первой гипотезой врача и поэтому почти не вызывает желания его оспорить;
- источник или исследование выглядит релевантным по заголовку, но отличается по виду животных, популяции или клинической задаче.
Это не аргумент против AI. Это аргумент против режима работы, в котором вопрос звучит как «скажи, что у пациента», а ответ становится последней точкой рассуждения.
Использовать AI как собеседника для проверки гипотезы
Один из возможных способов работы — сформулировать собственную рабочую гипотезу до запроса к системе.
Например:
«Моя основная версия — X. Её поддерживают A и B, но C в неё не укладывается».
После этого AI можно использовать не для получения готового диагноза, а для проверки этой конструкции.
Полезными могут быть вопросы:
- Какие данные действительно поддерживают эту гипотезу, а какие ей противоречат?
- Какие альтернативные дифференциальные диагнозы остаются возможными?
- Какая недостающая информация сильнее всего изменила бы их порядок?
- На какие исследования опирается этот вывод и насколько их популяция соответствует моему пациенту?
- Какой аргумент сильнее всего против моей основной версии?
Такой формат не доказан как способ предотвращения утраты навыков. Это просто один из способов оставить собственное рассуждение видимым внутри взаимодействия с инструментом.
И это важное ограничение: сейчас нельзя утверждать, что определённый формат взаимодействия с AI или определённый способ формулировать запросы лучше сохраняет клинические навыки. Для такого вывода нужны отдельные исследования.
Как оценивать AI на знакомых случаях
Если вы пробуете новый AI-инструмент, начинать можно с обезличенных случаев, которые вы хорошо знаете.
Особенно интересны случаи, где:
- первоначальная гипотеза позже изменилась;
- два дифференциальных диагноза действительно конкурировали;
- лабораторный результат выглядел очевидным, но оказался контекстно сложнее;
- решающей оказалась деталь анамнеза.
Смысл такого теста не только в том, совпадёт ли итоговый диагноз.
Можно посмотреть:
- какие противоречия инструмент заметил;
- какие пропустил;
- где сформулировал вывод увереннее, чем позволяли данные;
- какие альтернативы предложил;
- насколько релевантными оказались его источники;
- какие утверждения пришлось перепроверять.
Такой тест ничего не доказывает о долгосрочном сохранении клинических навыков. Но он позволяет увидеть, как конкретный инструмент ведёт себя на материале, качество которого врач уже способен оценить самостоятельно.
Где здесь Terav
Terav создаётся как AI-помощник для ветеринарных специалистов, работающих с клиническими случаями, лабораторными результатами и документами.
Он может участвовать в обсуждении рабочей гипотезы, предлагать альтернативы, помогать сопоставлять доступный контекст и работать с источниками.
Но Terav не доказано предотвращает предвзятость автоматизации, не защищает от утраты клинических навыков и не гарантирует более качественные решения или лучшие клинические исходы.
Поэтому окончательная клиническая оценка, проверка источников и решение по пациенту остаются у ветеринарного врача.
Пока главный вопрос остаётся открытым
Сегодня есть основания серьёзно относиться к краткосрочному чрезмерному доверию к автоматизированным рекомендациям. Этот эффект изучался задолго до появления генеративного AI и описан в исследованиях человеческого фактора и медицины человека.
Но это не то же самое, что доказанная долгосрочная деградация профессионального навыка.
Тем более у ветеринарного врача.
Поэтому вопрос сейчас, пожалуй, не «AI заставит нас разучиться думать?» и не «AI точно никак не повлияет на мышление?».
Гораздо точнее:
как использовать новый инструмент так, чтобы собственное клиническое рассуждение оставалось видимым, проверяемым и открытым для возражений — пока мы собираем реальные данные о долгосрочных последствиях?
Источники и дополнительное чтение
- Parasuraman R, Manzey DH. Complacency and bias in human use of automation: an attentional integration. Human Factors. 2010;52(3):381–410.
https://pubmed.ncbi.nlm.nih.gov/21077562/
DOI: 10.1177/0018720810376055 - Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association. 2012;19(1):121–127.
https://pubmed.ncbi.nlm.nih.gov/21685142/ - Lyell D, Coiera E. Automation bias and verification complexity: a systematic review. Journal of the American Medical Informatics Association. 2017;24(2):423–431.
https://pubmed.ncbi.nlm.nih.gov/27516495/
DOI: 10.1093/jamia/ocw105 - Dahmani L, Bohbot VD. Habitual use of GPS negatively impacts spatial memory during self-guided navigation. Scientific Reports. 2020;10:6310.
https://pubmed.ncbi.nlm.nih.gov/32286340/
DOI: 10.1038/s41598-020-62877-0