CodeScientist: сквозная полуавтоматическая система научных открытий 128

Что такое CodeScientist?

CodeScientist — это сквозная полуавтоматизированная система научных открытий, основная задача которой — изучение того, как осуществлять научные открытия автоматизированным способом, в частности с помощью экспериментов, выраженных в форме кода. Цель системы состоит в создании новых экспериментальных идей путём мутации комбинаций научных статей и примеров кода с использованием метода LLM-as-a-mutator (большая языковая модель в роли мутатора). CodeScientist стремится расширить границы автономных научных открытий, помогая учёным выявлять пробелы в научном знании, а также автоматически генерировать, тестировать и проверять новые эксперименты для заполнения этих пробелов.

Проще говоря, учёные обычно проводят множество экспериментов, чтобы исследовать неизвестное, но этот процесс отнимает очень много времени. CodeScientist выступает в роли интеллектуального помощника: он способен самостоятельно придумывать новые экспериментальные идеи, затем реализует эти эксперименты и в итоге оформляет результаты в виде отчёта. Одновременно он изучает множество научных статей и кода, а затем с помощью изящного метода (называемого генетической мутацией) модифицирует эти материалы, порождая совершенно новые экспериментальные замыслы. Это словно снабжает учёных множеством свежих идей и помогает им находить ранее не замеченные пробелы в знаниях.

Функциональные особенности CodeScientist

• Сквозная автоматизация: CodeScientist способен автоматически выполнять весь процесс — от проектирования эксперимента до формирования отчёта, включая генерацию экспериментальных идей, составление плана эксперимента, написание и отладку экспериментального кода, проведение эксперимента и формирование подробного отчёта.

• Модульная архитектура: поддержка пользовательских блоков кода и предметно-ориентированных научных статей позволяет системе легко адаптироваться к потребностям различных областей исследований. Пользователи могут добавлять собственные блоки кода и статьи в соответствии со своей областью исследования, чтобы получать экспериментальные идеи, максимально отвечающие предметной специфике.

• Гибкие режимы работы: поддерживаются два режима — с участием человека и полностью автоматический. В режиме с участием человек помогает формировать примеры кода, отбирать экспериментальные идеи и давать краткие комментарии по их реализации; в полностью автоматическом режиме система самостоятельно генерирует идеи и проводит эксперименты.

• Богатые наборы данных: проект предоставляет обширные экспериментальные данные и отчёты, что удобно для анализа и воспроизведения результатов.

• Движок генетической мутации: с помощью LLM (большой языковой модели) выполняется мутация существующих научных статей и кода для генерации новых экспериментальных идей, что позволяет исследовать более широкое пространство экспериментов.

• Построение и отладка экспериментов: автоматическое создание экспериментального кода, его запуск и отладка в контейнерах, что обеспечивает исполнимость и надёжность экспериментов.

Сценарии применения CodeScientist

Автоматизированное проектирование экспериментов: в области data science и машинного обучения — автоматическая генерация и проверка экспериментальных гипотез, быстрая итерация и валидация различных экспериментальных схем, повышение эффективности исследований.

Анализ научных статей: формирование новых исследовательских идей и планов экспериментов на базе существующих публикаций, помогающее исследователям выявлять потенциальные направления работы в обширной литературе.

Образовательный инструмент: использование в качестве учебного пособия, помогающего студентам понять процесс разработки и выполнения научных экспериментов, развивая исследовательское мышление и экспериментальные навыки.

Междисциплинарные исследования: подходит для научных задач, требующих быстрой итерации и тестирования большого числа экспериментов, особенно в области ai-агентов и виртуальных сред.

Установка и использование CodeScientist

1. Установка окружения:

• Установите базовое окружение: Python, Git, PyTorch и т. п.

• Клонируйте исходный код CodeScientist: git clone https://github.com/allenai/codescientist.git.

• Установите необходимые зависимости из исходного кода, как правило командой pip install -r requirements.txt.

2. Настройка системы:

• Настройте API-ключи: убедитесь, что предоставленный CodeScientist API-ключ имеет жёсткие ограничения, и постоянно контролируйте его использование.

• Сформируйте библиотеку блоков кода и научных статей: добавьте пользовательские блоки кода и предметно-ориентированные статьи в соответствии с исследовательскими задачами.

3. Запуск экспериментов:

• Выберите режим работы: можно выбрать режим с участием человека или полностью автоматический режим.

• Запустите CodeScientist: запустите главную программу системы, чтобы начать генерацию и выполнение экспериментов.

• Отслеживайте ход экспериментов: с помощью встроенных инструментов мониторинга просматривайте состояние и результаты выполнения экспериментов.

4. Анализ результатов:

• Просмотр отчётов: по завершении эксперимента система формирует подробный отчёт, включающий результаты и выводы.

• Метаанализ: система повторяет каждый эксперимент многократно, чтобы оценить надёжность результатов.

Репозиторий на Github: https://github.com/allenai/codescientist