Research Pipeline

• Sie haben eine Forschungsrichtung oder ein Thema und möchten, dass das System selbstständig tragfähige Ideen entdeckt, Experimente implementiert und einen überprüfbaren Paper-Entwurf erstellt – der „Full-Pipeline"-Anwendungsfall.
• Sie möchten über Nacht Multi-Seed-GPU-Experimente ausführen und morgens automatisch überprüfte Ergebnisse ohne manuellen Eingriff vorfinden.
• Sie benötigen ein durchgängig reproduzierbares Forschungsartefakt: gerankte Ideen, Experiment-Logs, Review-Verlauf und LaTeX-Quellcode in einer kohärenten Ausgabe.
• Sie zielen auf eine bestimmte Veranstaltung (ICLR, NeurIPS, ICML, CVPR, ACL usw.) ab und möchten, dass die Research Pipeline automatisch ein im Veranstaltungsformat erstelltes PDF schreibt und kompiliert.

• Sie benötigen nur eine einzelne Phase isoliert (z. B. nur die Ideenfindung, nur die Durchführung von Experimenten oder nur das Verfassen von Artikeln) — rufen Sie stattdessen die einzelnen Skills direkt auf (/idea-discovery, /run-experiment, /paper-writing).
• Sie verfügen nicht über GPU-Ressourcen oder konfigurierte Remote-Server, da die Phasen 3–4 eine Infrastruktur für die Experiment-Bereitstellung erfordern.
• Ihre Forschung erfordert die manuelle Erstellung von Abbildungen vor dem Verfassen des Artikels — die Research Pipeline wird pausieren und warten, berücksichtigen Sie dies daher in Ihrer Zeitplanung.

Orchestriert Workflow 1 (/idea-discovery), Workflow 2 (/run-experiment + /auto-review-loop) und den optionalen Workflow 3 (/paper-writing) in Reihenfolge. Jeder Workflow erzeugt eigenständige Ausgabedateien, sodass Sie jederzeit den Stand prüfen oder den Prozess an einer beliebigen Stelle fortsetzen können.

AUTO_PROCEED=true wählt automatisch die bestbewertete Idee aus und fährt fort, ohne auf eine Bestätigung zu warten; AUTO_PROCEED=false hält bei Gate 1 an und wartet auf eine explizite Nutzerbestätigung. HUMAN_CHECKPOINT=true zeigt die Bewertungsergebnisse nach jeder Runde an, sodass Sie individuelle Korrekturanweisungen geben können, bevor die Schleife fortgesetzt wird.

Die automatische Review-Schleife unterstützt drei gegnerische Stufen: medium (Standard-Review), hard (Reviewer-Gedächtnis + Debattierprotokoll) und nightmare (GPT liest das Repository direkt über codex exec + Gedächtnis + Debatte). Bis zu 4 Runden von Review-/Fix-Zyklen laufen autonom ab und zielen auf eine Bewertung von ≥ 6/10.

Kleine Batches (≤5 Jobs) werden über /run-experiment gesendet; große Multi-Seed-Sweeps (≥10 Jobs) werden an /experiment-queue weitergeleitet – mit OOM-Wiederholung, Bereinigung veralteter Screens, Phasenabhängigkeiten und absturzsicherem Zustand. Die GPU-Verfügbarkeit wird vor dem Deployment geprüft.

Wenn AUTO_WRITE=true und VENUE gesetzt ist, ruft die Research Pipeline nach Phase 5 automatisch /paper-writing auf, durchläuft die Phasen Plan → Abbildung → Schreiben → Kompilieren → Verbesserungsschleife und erzeugt eine abschließende paper/main.pdf.

Jede Phase erzeugt versionierte, manifest-protokollierte Ausgabedateien: IDEA_REPORT.md, AUTO_REVIEW.md, NARRATIVE_REPORT.md sowie einen vollständigen Research Pipeline Report, der GPU-Stunden, Review-Runden, Bewertungen und verbleibende TODOs zusammenfasst.

Setze AUTO_PROCEED=true, HUMAN_CHECKPOINT=false und starte den Prozess vor dem Schlafengehen. Die Research Pipeline entdeckt Ideen, wählt automatisch die besten aus, implementiert Experimente, deployt sie auf deinen GPU-Server, führt bis zu 4 Überprüfungs-/Korrekturiterationen durch und erstellt bis zum Morgen einen NARRATIVE_REPORT.md.

Setze AUTO_PROCEED=false, um an Gate 1 zu pausieren, die bewerteten Ideen selbst zu überprüfen, Ideen auszuwählen oder zu kombinieren und dann zu genehmigen. Die Phasen 2–4 laufen anschließend vollständig autonom ab – du behältst die menschliche Kontrolle über die Forschungsrichtung, ohne die Experimente ständig überwachen zu müssen.

Setze AUTO_WRITE=true und VENUE=NeurIPS (oder ICLR, ICML, CVPR, ACL usw.). Nachdem Experimente und Review-Schleifen abgeschlossen sind, schreibt, kompiliert und verbessert die Research Pipeline ein konformformatiertes LaTeX-Dokument für die jeweilige Konferenz und endet mit paper/main.pdf, das zur Einreichung bereit ist.

Setze REVIEWER_DIFFICULTY=nightmare, damit GPT das Repository direkt liest und während der Überprüfungsrunden Gedächtnis- und Debattierprotokolle anwendet. Verwende dies, wenn du das schärfstmögliche Feedback vor der Einreichung bei einem kompetitiven Publikationsort erhalten möchtest.