Биостатистика для врача: как врачу правильно читать статьи и клинические исследования

Екатерина Иванова

Я бы сказала в принципе о том, как читать статью, нежели менять протокол лечения, потому что лечение происходит на основании клинических рекомендаций, которые надо уметь правильно читать, чтобы не…

Екатерина Иванова

Да, как правильно читать, чтобы не ошибиться.

В первую очередь изучить раздел методов выборки, потому что выводы, которые мы делаем на очень маленькой выборке, могут быть сделаны, но нужно к этому относиться очень осторожно, потому что мы всегда работаем с выборками. Генеральная совокупность всех больных диабетом, гепатитом и другими заболеваниями очень большая. Мы каждый раз работаем с выборками, эти данные не случайны. Поэтому очень важно принимать во внимание размер выборки.

Если это что-то меньше 30 участников, если мы говорим о каком-то исследовании, каких-то данных на людях, — я не говорю про мышей, крыс и так далее, — это первое: размер выборки. Посмотреть на него в первую очередь.

И уже далее, когда мы переходим к таблицам с результатами, я уже начала об этом говорить, — о p-value. Пресловутое p-value 0,05, которое как мантра: если меньше 0,05, то все классно. Но на самом деле это p-value 0,05 может говорить о разных вещах. Чтобы не ошибиться в выводах, очень важно изучать это p-value. Оно вообще каким тестом получено? То есть это, например, t-test Стьюдента или критерий Уилкоксона — это тоже важно учитывать.

А следующее — это к чему оно относится. То есть что с чем сравнивали, как оценивали разницу между, допустим, терапией и плацебо. И краеугольный камень, на мой взгляд, — это доверительный интервал. Это критически важно. Он должен быть приведен в статье. И уже соответственно из этого доверительного интервала у нас получится определенное p-value.

И на самом деле, если в статье есть только p-value и нет доверительного интервала, это вызывает вопросы. Потому что если p-value меньше 0,05, доверительный интервал не зацепит, например, ноль, если мы говорим о гипотезе превосходства и других гипотезах. А если доверительного интервала нет, это вызывает вопросы, почему его захотели не привести.

Екатерина Иванова

Помимо отсутствия доверительного интервала и оценки эффекта — не точный, интервальный такой — может быть подгрупповой анализ. Обращайте на это внимание. В методах обычно бывает указана популяция, на которой проведено исследование. При этом результаты эффективности иногда могут быть представлены в какой-то конкретной подгруппе, в какой-то популяции. Если это непрозрачно, может быть так, что результат представлен за исключением каких-то участников, и это именно тот результат, который хотят показать.

На это можно обращать внимание помимо p-value и доверительного интервала. Методы, описание методов, насколько они учитывают данные, с которыми мы работаем. На это тоже, я думаю, нужно обращать внимание.

Чаще всего бывает, тут тоже сложно это выявить, потому что в исследовании может быть очень много различных точек, параметров, которые исследуются, анализируются, а представлять могут только то, что выглядит лучше. Тут всегда нужно относиться настороженно. То есть презумпция невиновности, а в статистике у нас наоборот презумпция того, что эффекта нет. И нужно эту гипотезу отвергнуть: о том, что между терапией и плацебо или терапией и активным контролем нет разницы.

Поэтому советую относиться настороженно, подробно изучать указанные методы и те подгруппы, в которых представлен анализ, чтобы не возникало вопросов к тому, на какой популяции все-таки анализ проведен. Это широкое поле для статистических манипуляций.

Екатерина Иванова

Очень актуальный вопрос. Буквально сессия была полчаса назад, и там представители департамента здравоохранения Москвы, аффилированные с этим учреждением, рассказывали о том, как они анализируют данные. У них есть доступ к ЕМИАС, но это актуально для Москвы в первую очередь, потому что это огромная база данных, где собрана информация о пациентах. И это, мне кажется, почти неисчерпаемый источник информации, но доступный не всем.

Я думаю, что в ближайшее время доступ к этим данным будет расширяться. Понятно, это не станет доступно всем, кто хочет получить этот доступ, потому что это очевидно. Но мне хотелось бы, особенно как представителю контрактной исследовательской организации, чтобы у нас была возможность в том числе с этими данными поработать. Потому что в клинических исследованиях данные ограничены протоколом всегда. Мы не собираем больше, чем нужно. Это не соответствует принципам GCP и так далее.

Но если мы говорим не только о Москве, я думаю, что в других регионах тоже есть похожие системы, которые работают на уровне регионов.

Екатерина Иванова

Да, мне кажется, что все-таки в нашей большой стране субъектов очень много, и где-то такие системы есть. Но на уровне учреждения, я думаю, данные можно просто агрегировать не в текстовом виде, а в виде таблицы.

Пока вы озвучивали вопрос, я сама еще раз задумалась о том, что еще можно посоветовать врачам. Мне кажется, что один из важных навыков, помимо каких-то основ статистики и чтения статей, — владение Excel. Потому что у врача может быть очень много данных, но когда они в текстовом виде не структурированы, их нельзя проанализировать и сделать выводы не на уровне одного участника, а на более высоком, системном уровне.

Поэтому в этой связи, мне кажется, освоить Excel, чтобы была возможность минимально быстро свести это в таблицу и далее уже спросить: а как мне в Excel представить эти данные и выполнить несколько таких процедур? Поэтому, конечно, у этих данных большой потенциал, особенно если они собираются унифицированно, по типу ЕМИАС.

Екатерина Иванова

Это очень обсуждаемая тема на самом деле. RWD, RWE — эти темы практически на всех конференциях, которые связаны с клиническими исследованиями и фармацевтической тематикой, часто обсуждаются. Об этом очень много говорят.

Но возможный эффект от этих данных немного преувеличен. Их однозначно стоит использовать. Но проблема в том, что для регистрации это точно не подойдет, потому что нет протокола, нет критериев включения и исключения. Данные могут быть очень вариабельны.

Например, есть какая-то шкала, которая оценивает эффект препарата. Это может быть психологическая шкала, оценка тревоги, например. И очень важно, как эти данные собраны.

Если даже на уровне клинического исследования в разных центрах разные подходы, может быть субъективное влияние, то на уровне данных, которые просто собираются в реальной клинической практике, они будут очень вариабельны. И для каких-то регистрационных результатов этого точно недостаточно, качество этих данных пока недостаточно для таких задач, потому что мы говорим о качестве в клинических регистрационных исследованиях.

Это не в полной мере применимо к RWD и RWE, но как источник информации для генерации гипотез в отношении препаратов, различных нозологий — вполне. Но это требует огромного ресурса на этапе обработки этих данных, их объединения и дальнейшей экстракции выводов.

Екатерина Иванова

Я не могу напрямую ответить на этот вопрос, потому что я все-таки работаю с данными клинических исследований, то есть они обычно собираются под конкретные цели и задачи, они заранее понятны. Но мне кажется, если на уровне субъектов или даже одного учреждения данные представлены в каком-то структурированном виде и у нас есть ресурсы их проанализировать, то можно получить интересные выводы в отношении нежелательных явлений на препараты, в том числе какие-то выводы об эффективности.

Потому что у нас есть информация об эффективности препарата в регистрационном исследовании, в статьях. Но на практике эффект может быть подвержен влиянию комплаентности пациента. Поэтому, думаю, там могут быть интересные выводы относительно того, как пациент реагирует на терапию, какие у него нежелательные явления.

Екатерина Иванова

В любом случае, да. Мы, когда много работаем с данными, какие-то агрегирования данных и получение выводов являются для нас обычной ежедневной работой. Но бывает так: мы работаем со специалистами медицинскими, которые видят данные на уровне конкретного одного участника исследования в рамках системы ИРК. А когда мы это представляем в виде графиков, сводных таблиц, действительно очень часто возникают вопросы, связанные с тем, почему так изменился показатель у этого участника.

То есть это всегда создает почву для обсуждения. Поэтому это must have — агрегировать данные и получать выводы.

Екатерина Иванова

Да, актуальная проблема клинических исследований на уровне взаимодействия с исследователями. Я думаю, что драйвером может стать применение искусственного интеллекта, потому что за рубежом крупнейшие игроки этого рынка, например Medidata и Medrio, активно внедряют искусственный интеллект в системы сбора данных EDC и встраивают, например, умных помощников по протоколу. То есть чат-бот внутри системы, потому что теоретически врач может использовать искусственный интеллект, какие-то бесплатные варианты для помощи, но тут все упирается в конфиденциальность, в протокол, в данные. Мы не можем и не должны этого делать.

Но идеи, связанные с внедрением ИИ внутрь ИРК для того, чтобы подсказывать исследователю или координатору, который эти данные вносит, какие-то вещи по протоколу, — это перспективное направление. И, конечно, в целом развитие самой системы, не только с внедрением ИИ, а технически, тоже может повлиять. Но это все требует ресурсов.

Мы активно на данном этапе занимаемся обновлением нашей EDC. У коллег очень много идей. Но это требует времени и инвестиций. Мы понимаем, что это важно. С искусственным интеллектом сложности в том, что у нас нет доступа к моделям. Потому что по определенным причинам этот путь использования для нас закрыт. Ну и в том числе клинические исследования — там много чувствительных данных. Просто так использовать облачные решения мы не можем. А вопрос постановки моделей в свой контур требует очень больших инвестиций. И в целом видно, что это действительно может принести эффект, но все зависит от качества реализации.

Екатерина Иванова

Это очень философский вопрос, мне кажется. Потому что клиническое исследование — это много этапов. Допустим, если мы говорим о регистрационном исследовании, например третьей фазы. Очень много этапов, факторов ключевых, которые влияют на результаты этого исследования. Всегда хочется максимально снизить риски, чтобы на этапе анализа — почти предпоследнем этапе до формирования клинического отчета и подачи регистрационного досье — все риски учесть.

Критически важно, на мой взгляд, участие исследователей, лидеров мнений в различных нозологиях, их участие в разработке протоколов. Это один из ключевых факторов, потому что именно протокол, его правильный дизайн, выбор точек, четкое описание и прозрачность позволяют дальше на этапе сбора данных, мониторинга, обработки данных, формирования отчета получить тот результат, который ожидается. В этой связи очень важно активное участие на этапе разработки протокола.

Если мы говорим об этапе проведения клинического исследования, мне кажется, это непросто исследователям и врачам, у которых есть практика, есть реальная жизнь, и нужно параллельно вносить данные, оценивать по протоколу. Тут я даже не знаю, что можно врачам посоветовать. Наверное, терпение.

Мне бы хотелось в этой части скорее сказать про тех, кто проводит исследования: мониторы, проектные менеджеры должны максимум усилий приложить для того, чтобы исследователям было удобно. То есть ответственность здесь на нашей стороне, когда мы говорим об удобстве. Это и протокол, и сама ИРК. Потому что ИРК бывает такой, что данные вносить сложно и это занимает очень много времени. Поэтому здесь тоже в зоне ответственности спонсора и КИО сделать систему сбора данных удобной и понятной для врача.

А врачам — терпение. Ну и, возможно, использование инструментов, которые могут ускорить процесс работы, в частности инструментов искусственного интеллекта. Мне кажется, что для ряда задач, связанных с анализом информации, с агрегированием большого количества информации, вполне может справиться нейросеть — DeepSeek, ChatGPT, — естественно, без загрузки чувствительных данных.

Екатерина Иванова

Это тоже актуальная тема, мне кажется, и для конференции, потому что буквально вчера на сессии с регулятором рассказывали про их открытость, готовность такие адаптивные дизайны проверять, протоколы с такими дизайнами далее проверять и делать экспертизу регдосье. Очень интересная тема. И на самом деле влияние на врача, который принимает участие в протоколе с адаптивным дизайном, не очень значительное.

Потому что адаптивный дизайн нужен для того, чтобы в середине исследования, например при 30 или 50 процентах данных, пойти в анализ, остановиться, посмотреть, что происходит, и при необходимости скорректировать стратегию. Но корректировка стратегии связана в первую очередь с донабором выборки, с возможным изменением каких-то процедур. Но такое, что это будет совершенно новый протокол, бывает крайне редко.

То есть да, там могут добавиться какие-то новые процедуры, возможно, какие-то избыточные процедуры и визиты могут быть убраны по решению спонсора. Если мы видим, что исследователям сложно и процедуры слишком сложные, а это не требуется и не отвечает целям исследования, — могут быть изменения. Но это в действительности нагрузка в моменте только на команду, которая готовит отчеты, промежуточные сокрытия и так далее.

Для врача это, наоборот, может означать, что потом выборка будет расширенной, пациентов станет больше и работы тоже станет больше.

Екатерина Иванова

Сначала вернемся в целом к инструментам искусственного интеллекта. Нейросети, на мой взгляд, могут стать скорее дополнением и помощником врача. Уже есть очень много различных продуктов. Мы совместно с Сеченовским университетом и ГК «ХимРар» проводили буквально в феврале-марте кейс-чемпионат. И одним из кейсов была как раз разработка помощника для анамнеза истории болезни онкологических пациентов, для формирования рекомендаций на основании клинических рекомендаций и различных руководств.

И это всегда звучит очень оптимистично, но когда мы доходим до реализации, до реальной разработки продукта и внедрения искусственного интеллекта, сталкиваемся с реальностью, которая не всегда радует, потому что данные сложные, и унифицировать сбор всех данных невозможно.

Вероятно, если мы говорим о ЕМИАС, структурированном хранении и сборе данных, это, конечно, улучшает качество модели. Но помимо самих данных у модели есть другие параметры, которые очень сильно влияют на ее производительность.

Поэтому, на мой взгляд, качество данных влияет, но в контексте применения больших языковых моделей это не настолько критично, потому что, если данные есть, средствами программирования их можно привести к тому виду, который нужен для обучения. Мне кажется, сейчас это уже не настолько сверхнеобходимая задача — изначально собирать данные по-другому, потому что уже есть эффективные методы работы с неструктурированными данными и их приведения к виду, пригодному для обучения моделей.

Екатерина Иванова

Чаще всего цифры были правы. Исследования планируются, и на этапе протокола мы, как я в начале говорила, активно общаемся с медицинскими экспертами для того, чтобы наши предпосылки были обоснованы и реалистичны. Потому что если мы изначально запланировали, что эффект будет какой-то огромный и нам для этого нужна небольшая выборка, а потом по факту оказывается, что эффект есть, но он не такой большой, мощности для оценки гипотезы может не хватить.

Наверное, если изначально планированию не уделено достаточное количество времени и не привлечены эксперты, особенно медицинские, врачи, которые понимают нозологию, то потом с тем, что цифры расходятся, будет разбираться спонсор. Но мы этому уделяем огромное внимание, особенно биостатистики, потому что участвуем в планировании на этапе оценки размера выборки и очень тесно общаемся со специалистами.

Это очень ценный опыт, когда мы можем напрямую поговорить с людьми, которые это делают руками, потому что мы, как люди цифры, в значительной степени работаем как программисты. Конечно, у нас недостаточно компетенции для того, чтобы оценить реально: вот есть статья, в которой предполагается какой-то эффект терапии, а как это будет работать на практике?

Тут мы всегда стараемся как можно раньше сверить то, что есть в литературе, и то, что считают клиницисты. Нужно эти две реальности свести, заложить определенный запас для риска. Потому что если мы понимаем, что в статье какие-то классные результаты — это может быть правдой. Но если врачи говорят, что в реальной практике такого эффекта мы ожидать не можем, мы корректируем свои стратегии и закладываем запас: например, немного занижаем ожидаемый эффект, чтобы было больше участников и выше уверенность, что мы этот эффект поймаем. Но это обычно происходит все-таки на этапе планирования, а не уже в процессе исследования, потому что потом уже поздно.

Екатерина Иванова

Наверное, в первую очередь я бы посоветовала не пренебрегать использованием искусственного интеллекта в изучении этой темы. Потому что когда технологии искусственного интеллекта не были так развиты три-четыре года назад, изучение больших книг, например «Биомедицинская статистика» Гланца или «Статистика и котики», требовало очень много времени.

Мы понимаем, что у врачей, которые практикуют и при этом участвуют в клинических исследованиях, этого времени не всегда достаточно. Мы это обсуждали — как найти время, оптимизируя EDC и другие процессы. Поэтому я бы посоветовала классические источники изучать с использованием искусственного интеллекта. Загружать материалы, использовать режимы глубокого изучения в различных сервисах и изучать это вместе с ИИ. Это действительно может очень сократить время на обучение.

Екатерина Иванова

Наверное, технологии с искусственным интеллектом будут дальше развиваться, у нас в России появится больше моделей, которыми мы сможем пользоваться в полной мере, не боясь потерять данные или чувствительную информацию. И мне кажется, что органичное встраивание нейросетей и, вероятно, других технологий, которые появятся за эти 10 лет, в работу врача позволит получать информацию намного быстрее.

Условно, мы открываем историю болезни — и, скорее всего, это уже будет доступно всем регионам, не только Москве, — в автоматизированном, удобном формате, с агрегированием информации на уровне различных агентов и помощников, быстро и доступно.

И мне кажется, с подсказками, с прогнозом, возможно, даже с рекомендациями — что, например, посоветовать. Но при обязательной проверке врача. Здесь нет иллюзий, что искусственный интеллект кого-то заменит. Мне кажется, что нет. Он должен стать помощником. Есть такая концепция Human in the Loop, когда все-таки человек в центре технологии, в том числе технологии искусственного интеллекта. Он как навигатор и проводник, который оценивает валидность и адекватность того, что искусственный интеллект выдает.

Наверное, я это так вижу. Но мне кажется, что это должно наступить быстрее, чем через 10 лет.

Екатерина Иванова

Да, прекрасный вопрос. На самом деле промптинг — это важно. Но если выбирать между тем, использовать ли искусственный интеллект хоть с каким бы то ни было промптингом или вообще не использовать, я бы первое все-таки выбрала.

Стандартно советуют задавать вопрос и обозначать роль помощнику: что ты врач-онколог или врач со знанием методов статистики, проанализируй статью. То есть задавайте роль. Это стандартный подход, хотя иногда нет времени, чтобы подробный промпт составить. Но, кстати, для того чтобы составить промпт, тоже можно использовать искусственный интеллект. Соответственно, попросить одну модель составить промпт для другой под конкретную задачу. И она с этим справится очень быстро и хорошо.

И лучше все-таки переобучать немного себя. Вместо Google или Яндекса — Google, наверное, уже все-таки запрещен — использовать это в рутине, чтобы было меньше сопротивления.