Experiment Ledger

实验矩阵与回测接口

所有模型使用同一数据切分与评价口径；每个结果必须能追溯到模型、Wangwen 和数据版本。

更新于 2026-07-24
主要指标Rank IC横截面排序能力
经济检验5 / 10 Groups分组单调性
测试区间2024 - 2025严格样本外
训练目标Huber Loss降低极端值影响

必做实验

P1 权威实验固定为 20260723T014153；B2-B4 使用同一冻结预算。

ID模型实验目的状态R2Rank ICICIR（日度 / 年化）产物
B0 Elastic Net 稀疏线性基准 已完成 0.009642 0.099948 0.816280 / 12.958 20260722T093202
B1 LightGBM 非线性与变量交互 已完成 0.006474 0.112957 0.853496 / 13.549 20260722T093202
B2 FT-Transformer（公平重跑） 统一预算机制基准 已完成 0.005499 0.110556 0.907199 / 14.401 20260723T014153
B3 FT + 市场变量拼接 信息增量对照 已完成 0.006470 0.113746 0.856114 / 13.590 20260723T014153
B4 Regime-Adaptive FT 完整改进模型 已完成 0.004924 0.107558 0.894454 / 14.199 20260723T014153

P1 结论：Elastic Net 以最低复杂度取得最高 R2 和 Top 组成本后均值，复杂度与收益不单调。多 seed 稳健性实验（5 seed × 3 模型，共 33,581,220 行预测）确认：B3 相对 B2 的配对 Rank IC 差异为 -0.000333 ± 0.003094（3/5 正），B4 的 Rank IC 方向性为正（+0.002723，4/5 正）但 ICIR 全败（-0.022876，0/5 正）；单 seed 的模型间差异为噪声，B2 作为最简基准仍最可靠。

成本后结果摘要

统一 10bp 口径；收益为重叠五日信号的样本均值。

B0Elastic Net
Top 10% 净收益
1.1576%
多空净收益
1.4977%
Top 换手率
34.06%
B1LightGBM
Top 10% 净收益
1.0775%
多空净收益
1.5117%
Top 换手率
30.39%
B2FT-Transformer（公平重跑）
Top 10% 净收益
0.8371%
多空净收益
1.2361%
Top 换手率
38.44%
B3FT + 市场变量拼接
Top 10% 净收益
0.9911%
多空净收益
1.4404%
Top 换手率
35.57%
B4Regime-Adaptive FT
Top 10% 净收益
0.7908%
多空净收益
1.1295%
Top 换手率
40.21%

五日持有期在相邻信号日之间重叠；上述收益与图中累计曲线用于同口径模型比较，不代表可逐日复利的可交易净值。

SUPPLEMENTARY / POST-HOC

计划外补充验证

三组运行扩展证据边界，但不替换 P0.2/P1 权威主表。

20260723T093456 已完成

P1 CUDA 跨硬件复跑

在 NVIDIA A40 上复现主要方向：B3 深度模型 Rank IC 较高，B4 无总体增量。

同一数据、seed、预算与测试区间；用于跨硬件核验，不替换权威主表。
20260723T105957-posthoc-b3b4 已完成

B3/B4 事后调优

10 个验证期候选和两个 winner 完成完整测试，部分指标改善。

候选网格晚于权威测试结果查看，只作 post-hoc 补充。
20260723T133208-posthoc-b0m-b1m 已完成

B0-M/B1-M 市场状态变体

B0-M 无实质增量；B1-M 的 Rank IC 改善伴随 ICIR 下降和验证/测试方向反转。

包含配对 control，不回填 B0/B1 权威结果。
20260724T012310-posthoc-multiseed 已完成

B2-B4 多 seed 稳健性

5 seed × 3 模型共 15 个独立训练，33,581,220 行测试预测。B3 相对 B2 的配对 Rank IC 差异为 -0.000333 ± 0.003094（3/5 正），不支持 B3 的单 seed 优势为稳健结构优势；B4 的 Rank IC 方向性为正（+0.002723，4/5 正）但 ICIR 全败（-0.022876，0/5 正），不构成全面胜出。

使用同一 2024-2025 测试区间，标记为 post-hoc；不可据此继续选择结构或超参数。
P2.1 / DONE · POST-HOC

多 seed 稳健性已通过

5 个共同 seed（20260718--20260722）× B2/B3/B4 共 15 个独立训练，33,581,220 行预测，服务器与本地双重 verify 均通过。B3 相对 B2 无稳健优势；B4 的 Rank IC 方向性为正但 ICIR 全败，不构成全面胜出。结果仍标记为 post-hoc——使用同一 2024-2025 测试集，不可据此继续选模。

已完成
P2 / PUBLICATION

正式结果图与模型架构图

仅接入根状态确认且可追溯到权威实验的公开资产。

五模型样本外 R2、Rank IC 与日度未年化 ICIR 对比
正式结果 五模型主指标

Elastic Net 的 R2 最高；B3 的 Rank IC 小幅领先，但单 seed 下不能视为稳健结构优势。

实验 20260723T120956 · 来源 P0.2 + P1 冻结指标
五模型 10bp 成本后五日收益与 Top 组换手率对比
正式结果 复杂度、收益与换手权衡

Elastic Net 和 LightGBM 在经济指标上保持竞争力，复杂度与收益不呈单调关系。

实验 20260723T120956 · 来源 P0.2 + P1 冻结指标
B2 原始 FT、B3 市场变量直接拼接和 B4 CLS 级条件仿射调制架构
项目自制架构图 B2、B3、B4 实现对照

B4 只调制 8 维最终 CLS，不让市场状态进入 Encoder 内部特征交互。

实验 20260723T120956 · 来源 项目自制 TikZ 架构图
P0.2 / HISTORICAL

历史基线回测面板

仅覆盖 B0-B2 的 gross aligned 5-day returns，不是 P2 正式主图。

B0 Elastic Net 2024 至 2025 年 Wangwen 回测面板，包含分组累计收益、多空收益、回撤、IC、IC 衰减和因子分布
B0Elastic Net 回测面板毛收益面板 · 查看原图
B1 LightGBM 2024 至 2025 年 Wangwen 回测面板，包含分组累计收益、多空收益、回撤、IC、IC 衰减和因子分布
B1LightGBM 回测面板毛收益面板 · 查看原图
B2 FT-Transformer 2024 至 2025 年 Wangwen 回测面板，包含分组累计收益、多空收益、回撤、IC、IC 衰减和因子分布
B2FT-Transformer 回测面板毛收益面板 · 查看原图

模型训练诊断

B0-B2 泛化差异、B1 early stopping 与 B2 原五轮学习曲线。

P0.2 模型训练诊断，展示 B0 至 B2 泛化差异、B1 early stopping 和 B2 学习曲线

原 P0.2 五轮 B2 继续保留；P1 在测试加载前统一冻结 max_epochs=10、patience=3，公平重跑 B2 选择第 9 epoch，不回填或覆盖原基线。

模型输出契约

模型与 Wangwen 之间唯一稳定边界。

datetime信号形成日 tDatetime
code股票代码String
value预测分数或预测收益Float
允许额外保留 model_name、split 和 seed，但传入 Factor 时只使用三个标准字段。

可复现记录

每轮正式实验都必须填写。

  • artifactp1/20260723T014153
  • wangwen_commit2e2c200 (main)
  • seed20260722
  • train_rows500,000
  • valid_rows250,000
  • test_rows2,238,748
RETURN ALIGNMENT

信号日 t 对齐 t+1 至 t+6 的五日复权收益

Wangwen main 2e2c200 已通过显式收益接口对账；正式评估不使用含义不同的 close 快捷入口。

ri,t = AdjCloset+6 / AdjCloset+1 - 1