Искусственный интеллект помогает исследователям исследовать, как тысячи медицинских исследований используют общий код
Данные и код, лежащие в основе научного исследования, могут рассказать нам, что на самом деле было сделано и как. Например, как в медицинском исследовании отбирались пациенты для включения в исследование? Как обрабатывались пропущенные значения? Как оценивались результаты?
Доступ к данным и коду исследования помогает исследователям ответить на эти вопросы, изучить методы и продолжить работу.
"Исследования предполагают множество вариантов подготовки данных, разработки моделей и оценки эффективности. Это иногда называют "степенями свободы исследователя", - говорит Том Поллард, научный сотрудник Лаборатории вычислительной физиологии и компьютерных наук Массачусетского технологического института и Лаборатории искусственного интеллекта. "Выбор, который мы делаем, влияет на результаты, и раздел "Методы" в статье может содержать не так много деталей".
Хотя совместное использование кода может быть первым шагом, для того чтобы код можно было понять и использовать повторно, он должен быть достаточно структурирован и описан. Проблема в том, что на данный момент у исследователей мало рекомендаций о том, что представляет собой хорошо организованная и хорошо описанная коллекция кода.
Именно в этом международная команда, возглавляемая исследователями из Массачусетского технологического института и Института рака Дана-Фарбер, попыталась помочь, изучив, как в настоящее время используется общий код в исследованиях по клиническому прогнозированию. В таких исследованиях разрабатываются или оцениваются модели для оценки результатов лечения пациентов, таких как риск развития заболевания. Поскольку эти модели служат основой для принятия решений об уходе за пациентами, исследователи должны иметь возможность тщательно изучить, как они были созданы и протестированы.
Используя большие языковые модели (LLM), исследователи изучили около 4000 статей, чтобы выявить утверждения об общем коде. Затем они проанализировали сотни репозиториев, связанных с кодом.
Их анализ выявил два ключевых недостатка: совместное использование кода по-прежнему встречается редко, а публикация кода не всегда означает предоставление документации и вспомогательной информации, необходимой для повторного использования. Полученные в открытом доступе результаты, недавно опубликованные в Nature Medicine, легли в основу TRIPOD-Code, руководства по отчетности, разрабатываемого для разъяснения того, чем исследователи должны делиться.
Следуя кодексу
TRIPOD-Code основан на контрольных списках TRIPOD и TRIPOD+AI, которые помогают исследователям сообщать о том, как разрабатывались и оценивались модели клинического прогнозирования. Чтобы понять текущую практику совместного использования кода, команда выбрала исследования, в которых использовались оба руководства. Обзор включал почти 4000 исследований, в которых разрабатывались, обновлялись или подтверждались модели прогнозирования, и полные тексты которых были доступны в открытом доступе на PubMed Central.
"Проблема заключалась в том, что информация была крайне противоречивой. Во-первых, мы должны были определить, используется ли в статье общий код", - говорит Томас Сунак, первый автор исследования. Он добавляет, что авторы "обсуждают код из статьи и ссылаются на него разными способами".
The team used an LLM to help screen papers, identify statements about code availability, and extract links. Software then retrieved the linked repositories — online collections of code and related files — for further assessment.
The workflow went beyond checking whether a link existed. It also assessed repositories against characteristics such as completeness of documentation, software requirements, and terms of reuse.
"The real benefit of LLMs is their ability to process unstructured information such as text. These models helped us work with information that was scattered across papers and software repositories, rather than neatly organized in a table," says Pollard, who is a senior author of the study. "That allowed us to examine how code was being shared in much more detail across a large collection of studies."
Human reviewers evaluated the work of the LLMs. Two researchers independently checked 500 papers and a separate sample of repositories, resolving disagreements before comparing their assessments with the automated results.
Agreement was stronger for concrete characteristics, such as whether a license file was present, than for judgments about the adequacy of documentation. Because classification errors remain possible, the authors emphasize the overall patterns rather than treating every count as exact.
Inconsistent code sharing
Only about 1 in 8 studies reported sharing code. Where code was shared, the contents of repositories varied widely.
Some repositories were "extremely well-organized and -documented, while others gave almost no guidance at all," Sounack says. Good code sharing, he explains, means "giving enough information to understand what the code does and be able to run it to reproduce the results reported in the paper."
Practices also varied substantially across journals and countries. Among journals, the proportion of studies sharing code ranged from zero to more than 70 percent. Some journals with low sharing rates nevertheless had written code-sharing policies, suggesting that policies alone may not be enough to motivate code sharing.
The review also helped to identify examples of effective practice. Some researchers, for example, provided synthetic datasets to assist with code reuse where the original patient records could not be shared publicly.
Setting a standard for code sharing
Researchers who share code are already making an effort to make their work transparent. But clinical prediction research brings together people from medicine, statistics, and computer science, whose expectations for documenting and sharing code may differ.
TRIPOD-Code aims to establish a consensus. Through an expert review process, the team is developing guidance on which elements of shared analytical code should be considered essential.
"We want to give researchers practical guidance on how to share code, and give journals clearer expectations to communicate to authors," Pollard says. "The review gives us evidence to inform those discussions."
>
