CodeScientist: ein Ende-zu-Ende halbautomatisches System für wissenschaftliche Entdeckungen 131

Was ist CodeScientist?

CodeScientist ist ein End-to-End-Halbsautomatisierungssystem für wissenschaftliche Entdeckungen. Es erforscht hauptsächlich, wie wissenschaftliche Entdeckungen auf automatisierte Weise gemacht werden können – insbesondere durch in Codeform ausgedrückte wissenschaftliche Experimente. Ziel ist es, durch genetische Mutation (mittels der LLM-as-a-mutator-Methode) Kombinationen aus wissenschaftlichen Artikeln und Codebeispielen zu mutieren und so neuartige Experimentideen zu erzeugen. Ziel von CodeScientist ist es, die Grenzen der autonomen wissenschaftlichen Entdeckung zu erweitern, Wissenschaftlern dabei zu helfen, Lücken im wissenschaftlichen Wissen zu identifizieren und automatisch neue Experimente zu generieren, zu testen und zu validieren, um diese Lücken zu schließen.

通俗来讲，就是科学家们平时要做很多实验来探索未知的事情，但这个过程很费时间。CodeScientist 就像是一个智能助手，它能自动想出新的实验点子，然后自己把实验做出来，最后还能把结果整理成报告。同时它会读很多科学文章和代码，然后用一种聪明的方法（叫遗传突变）来改变这些内容，创造出全新的实验想法。这就像是给科学家们提供了很多新的思路，帮助他们找到以前没发现的知识空白。

CodeScientist Funktionen und Merkmale

• End-to-End-Automatisierung: CodeScientist kann den gesamten Prozess vom Experimentdesign bis zur Berichterstellung automatisch durchführen, einschließlich der Generierung von Experimentideen, der Erstellung von Experimentplänen, dem Schreiben und Debuggen von Experimentcode, der Durchführung von Experimenten sowie der Erstellung detaillierter experimenteller Berichte.

• Modulares Design: Unterstützt benutzerdefinierte Codeblöcke und domänenspezifische Arbeiten, sodass das System problemlos an die Anforderungen verschiedener Forschungsbereiche angepasst werden kann. Benutzer können je nach Forschungsrichtung spezifische Codeblöcke und Arbeiten hinzufügen, um Experimentideen zu erzeugen, die besser zu den Anforderungen des jeweiligen Bereichs passen.

• Flexible Betriebsmodi: Unterstützt sowohl einen Modus mit menschlicher Beteiligung als auch einen vollständig automatischen Modus. Im Modus mit menschlicher Beteiligung können Menschen beim Erstellen von Codebeispielen helfen, Experimentideen filtern und kurze Kommentare zur Umsetzung der Ideen geben; im vollständig automatischen Modus kann das System eigenständig Experimentideen generieren und Experimente durchführen.

• Umfangreiche Datensätze: Das Projekt stellt eine große Menge an experimentellen Daten und Berichten bereit, die den Benutzern die Analyse und Reproduktion erleichtern.

• Genetische Mutations-Engine: Mutiert mittels LLM (Large Language Model) bestehende wissenschaftliche Artikel und Code, um neue Experimentideen zu generieren, und kann einen breiteren Experimentraum erkunden.

• Experimentaufbau und Debugging: Erstellt automatisch Experimentcode und führt diesen in Containern aus und debuggt ihn, um die Ausführbarkeit und Zuverlässigkeit der Experimente sicherzustellen.

CodeScientist Anwendungsfälle

Automatisiertes Experimentdesign: In den Bereichen Datenwissenschaft und maschinelles Lernen automatisch experimentelle Hypothesen generieren und testen, schnell verschiedene experimentelle Ansätze iterieren und validieren, um die Forschungseffizienz zu steigern.

Analyse wissenschaftlicher Arbeiten: Basierend auf bestehenden Arbeiten neue Forschungsideen und experimentelle Designs generieren, um Forschern dabei zu helfen, aus einer großen Menge an Literatur potenzielle Forschungsrichtungen zu erschließen.

Bildungs工具：作为教学工具，帮助学生理解科学实验设计和执行过程，培养学生的科研思维和实验能力。

多领域研究：适用于需要快速迭代和测试大量实验的科学研究场景，尤其是在 ai 代理和虚拟环境领域。

CodeScientist 安装使用

1. 安装环境：

• 安装 Python、Git 和 PyTorch 等基础环境。

• Clone CodeScientist 的源码：git clone https://github.com/allenai/codescientist.git。

• 安装源码所需依赖库，通常可以通过 pip install -r requirements.txt 安装。

2. 配置系统：

• 配置 API 密钥：确保为 CodeScientist 提供的 API 密钥具有硬性限制，并持续监控 API 密钥的使用情况。

• 设置代码块和论文库：根据研究需求，添加自定义的代码块和领域特定的论文。

3. 运行实验：

• 选择运行模式：可以选择人工参与模式或完全自动模式。

• 启动 CodeScientist：运行系统的主程序，开始实验的生成和执行。

• 监控实验进度：通过系统的监控工具查看实验的运行状态和结果。

4. 结果分析：

• 查看实验报告：实验完成后，系统会生成详细的实验报告，包括实验结果和结论。

• 进行元分析：系统会重复每个实验多次，以评估结果的可靠性。

Github项目：https://github.com/allenai/codescientist