Recursive 自动化 AI 研究系统首秀：让算法自己跑实验，三项基准跑赢人类最优

import itertools
import json
import subprocess
import time
from pathlib import Path

# 1. 定义搜索空间——相当于「提出想法」
search_space = {
    "learning_rate": [1e-4, 3e-4, 1e-3],
    "batch_size": [32, 64],
    "hidden_dim": [128, 256],
}

def generate_configs(space):
    """把搜索空间展开成具体实验配置"""
    keys = list(space.keys())
    values = list(space.values())
    for combo in itertools.product(*values):
        yield dict(zip(keys, combo))

# 2. 执行单次实验——相当于「实现 + 执行」
def run_experiment(config, train_script="train.py"):
    """
    调用外部训练脚本，传入超参配置。
    train.py 需要接受 --config 参数并输出 JSON 格式的指标。
    """
    config_path = Path(f"configs/exp_{hash(str(config))}.json")
    config_path.write_text(json.dumps(config))
    result = subprocess.run(
        ["python", train_script, "--config", str(config_path)],
        capture_output=True, text=True, timeout=600
    )
    if result.returncode != 0:
        return {"status": "failed", "error": result.stderr[:200]}
    return json.loads(result.stdout.strip())

# 3. 分析 + 迭代——相当于「分析结果 + 改进」
def auto_research_loop(space, max_rounds=3, top_k=2):
    """
    自动跑多轮实验，每轮保留 top_k 结果，
    下一轮在最优配置附近细粒度搜索。
    """
    best_results = []
    current_space = space

    for round_idx in range(max_rounds):
        print(f"=== Round {round_idx + 1} ===")
        round_results = []

        for config in generate_configs(current_space):
            metrics = run_experiment(config)
            if metrics.get("status") == "failed":
                continue
            round_results.append((config, metrics))
            print(f"  config={config} -> metric={metrics.get('val_acc', 'N/A')}")

        # 按验证准确率排序，保留 top_k
        round_results.sort(key=lambda x: x[1].get("val_acc", 0), reverse=True)
        best_results.extend(round_results[:top_k])

        # 下一轮：在最优配置附近做细粒度搜索
        if round_results:
            top_config = round_results[0][0]
            current_space = {
                "learning_rate": [top_config["learning_rate"] * f for f in [0.5, 1.0, 2.0]],
                "batch_size": [top_config["batch_size"]],  # 固定已找到的最优值
                "hidden_dim": [top_config["hidden_dim"]],
            }

    # 最终汇报
    best_results.sort(key=lambda x: x[1].get("val_acc", 0), reverse=True)
    print(f"\n=== Best result ===")
    print(f"config={best_results[0][0]}, metrics={best_results[0][1]}")
    return best_results[0]

# 启动自动研究循环
best = auto_research_loop(search_space, max_rounds=3, top_k=2)

import json, argparse, sys
from pathlib import Path

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("--config", required=True)
    args = parser.parse_args()

    config = json.loads(Path(args.config).read_text())
    # 这里替换成你的实际训练逻辑
    # 示例：假装训练并返回一个指标
    val_acc = 0.85 + 0.05 * (config["learning_rate"] / 1e-3)

    # 必须输出 JSON 到 stdout，供研究循环解析
    result = {"val_acc": round(val_acc, 4), "train_loss": 0.12}
    print(json.dumps(result))

if __name__ == "__main__":
    main()