Супер-проверка · промт оператора:

Вот конкретный эксперимент для агента. Скопируй как есть.

Эксперимент #85: Initial-Only Weight Decay + Tail Averaging

Статья: 2608.22953 Файл: exp85_initial_only_weight_decay_tail_averaging.py

Гипотеза

Weight decay нужен только на ранней фазе обучения, чтобы задать масштаб весов. На поздней фазе он мешает сходимости. Tail averaging последних шагов снижает дисперсию финальных параметров и улучшает generalization. Вместе они дают ту же или лучшую accuracy при меньшем числе шагов.

Задача

MNIST, MLP 3 слоя: 784 → 256 → 256 → 10, активация ReLU. Оптимизатор: AdamW, lr=1e-3, betas=(0.9,0.999), weight_decay=0.05. Расписание: cosine annealing, T=5000 шагов. Seeds: 5.

Варианты (4 режима)

| Код | Weight decay | Tail averaging | |---|---|---| | baseline | все T шагов | нет | | initwd | только первые p*T шагов, p=0.5 | нет | | initwd_tail | первые p*T шагов, p=0.5 | да, последние q*T шагов, q=0.2, равномерное усреднение | | wd_tail | все T шагов | да, последние q*T шагов, q=0.2 |

wd_tail — контроль, чтобы отделить эффект tail averaging от эффекта initial-only WD.

Реализация хитростей

• Initial-only WD: модифицировать AdamW так, чтобы weight_decay применялся только на шагах step < p*T. После p*T — обычный Adam без WD.
• Tail averaging: хранить копию параметров. На каждом из последних q*T шагов добавлять текущие параметры в сумму. В конце разделить на число шагов хвоста. Итоговую accuracy считать по усреднённым весам.

Метрики

• test_accuracy (среднее ± std по 5 seeds)
• best_test_accuracy за всё обучение
• steps_to_best — на каком шаге достигнут лучший результат
• final_weight_norm — L2-норма всех параметров в конце
• mid_gradient_norm — средняя норма градиента на шагах 2000-3000

Критерий успеха

1. initwd_tail по accuracy ≥ baseline при том же T.
2. Или initwd_tail достигает accuracy baseline за меньше шагов (сравнить steps_to_best).
3. initwd_tail лучше initwd и лучше wd_tail — значит оба компонента работают.

Фальсификация

Если initwd без tail averaging уже хуже baseline, а tail averaging не компенсирует — гипотеза неверна. Если wd_tail ≈ initwd_tail, значит весь эффект от tail averaging, а не от initial-only WD.

Это минимальный воспроизводимый эксперимент на CPU/одной GPU. Запускается за минуты. Если агент хочет быстрее — уменьшить T до 3000 и width до 128, но тогда 5 seeds обязательны.

Ответ агента:

{ "worked": false, "confidence": 9, "verdict": "Built and ran the specified 784-128-128-10 ReLU MLP with AdamW, cosine learning-rate annealing, 3,000 steps, and five seeds on real MNIST. The operator inequality sanity check passed, but initial-only decay did not produce a distinct improvement: initwd_tail reached 0.97744 +/- 0.00110 accuracy versus 0.97720 +/- 0.00106 for constant WD, while constant-WD tail averaging also reached 0.97744 +/- 0.00109. Thus the observed small gain is attributable to tail averaging, not the proposed initial-only schedule; no faster best step was observed.", "metrics": { "baseline": "MNIST, 5 seeds: baseline constant WD test accuracy 0.97720 +/- 0.00106, best accuracy 0.97764 +/- 0.00058, steps-to-best 2700 +/- 300, weight norm 15.5723 +/- 0.1096, mid-gradient norm 0.5346 +/- 0.0108, runtime 23.06 +/- 1.37 sec/mode-seed. wd_tail: 0.97744 +/- 0.00109; paired gain over baseline +0.00024 +/- 0.00009.", "idea": "initwd_tail: test accuracy 0.97744 +/- 0.00110, best accuracy 0.97764 +/- 0.00059, steps-to-best 2700 +/- 300, weight norm 15.7558 +/- 0.1114, mid-gradient norm 0.5352 +/- 0.0105, runtime 23.62 +/- 1.25 sec/mode-seed. Paired gain over baseline +0.00024 +/- 0.00025, over initwd +0.00020 +/- 0.00032, and versus wd_tail approximately 0.00000 +/- 0.00019 (2/5 wins). Operator check passed with gaps -0.000371 and -0.000376." }, "how_to_run": "/home/maxwelhelp/main/bin/python3 exp85_initial_only_weight_decay_tail_averaging.py --runs 5 --T 3000 --width 128 --out super_results.json", "files": [ "exp85_initial_only_weight_decay_tail_averaging.py", "super_results.json", "report.md", "experiment.py", "results.json" ], "limitations": "Tested one real dataset, one MLP width, one prescribed weight-decay/horizon/window configuration, and five seeds; did not test CIFAR-10, ResNet, momentum SGD, hyperparameter sweeps, sharpness, or matched-FLOP/steps-to-target analyses. MNIST evaluation sampled every 300 steps, and the operator inequality uses finite Monte Carlo sampling. The reported final weight norm for tail modes is the non-averaged training norm." }