Files
CloudLab 11e0151269
CloudLab CI/CD / 门禁 doctor (push) Failing after 45s
CloudLab CI/CD / 单元测试 (push) Skipped
CloudLab CI/CD / 归档完整性 (push) Skipped
CloudLab CI/CD / 构建站点与归档 (push) Skipped
CloudLab CI/CD / 部署到 lab.hdtime.space(rsync) (push) Skipped
CloudLab CI/CD / 构建镜像并推送 Gitea 容器仓库 (push) Skipped
CloudLab CI/CD / 容器部署到 lab.hdtime.space (push) Skipped
CloudLab CI/CD / 发布版本(Tag) (push) Skipped
feat(verify): 独立交叉验证套件(RDKit + 自写 Cash–Karp 5(4))
- validation/reference/check_chem01_rdkit.py:用 RDKit 2022.09.3 独立核对
  503 个 SDF 的 TPSA/HBD/HBA/可旋转键,期望值来自外部实现或冻结 cases.json
- validation/reference/check_ode_independent.py:自写 Cash–Karp 5(4) 自适应
  积分器与自适应 Simpson,独立复算 BIO-02/CHEM-04 共 8 项,不导入平台 runner
- validation/reference/run_all.py:汇总 17 项检查并写 latest.json,失败非零退出
- validation/reference/README.md:固定版本、许可证、数值方法、容差、适用域与复现
- tests/test_reference_harness.py:5 个回归测试(缺依赖时跳过)
- docs/VERIFICATION.md:逐项结果表、CHEM-01 已知分歧解释、限制与结论

实测:run_all PASS(17 项:16 pass / 1 info / 0 fail,5.7 s);tests 5 OK
(6.4 s)。关键误差均小于容差:CHEM-04 环境 4.29e-05/2e-4、线性
1.11e-04/1e-3、正弦 3.08e-04/1e-3、阶跃 4.85e-05/1e-3;BIO-02 恒化器
4.51e-04/1e-3、动态分批 2.29e-04/1e-3、分批 PRCC 8.98e-04/2e-3、
补料 PRCC 4.50e-05/2e-3。产物不含机器绝对路径。
2026-11-18 08:17:21 +00:00

18 KiB
Raw Permalink Blame History

CloudLab 独立交叉验证报告(validation/reference)

  • 报告对象:CHEM-01 分子描述符(503 个 PubChem SDF 快照)、BIO-02 生物反应器动态/PRCC、CHEM-04 动态环境 profile。
  • 代码位置:validation/reference/;机器可读结果:validation/reference/latest.json。
  • 本次运行:2026-11-18T08:02:58Z(UTC),总耗时 5.705 s;17 项检查中 16 pass / 1 info / 0 fail。
  • 结论先行:在本文限定的输入、模型方程与参数区域内,上述数值结果已被独立实现复算,未发现无法解释的实现错误;5 个 TPSA 分歧、7 个可旋转键上界多计、HBD/HBA 语义差异均为已定位的适用域/定义差异。该结论不外推到模型真实性、其他分子或其他参数区域。

1. 环境与固定版本

版本取自 latest.json 的 environment 字段(run_all.py 实际运行生成):

组件 版本 说明
CPython 3.11.2 CPython 实现,Linux
RDKit 2022.09.3 Debian 包,/usr/lib/python3/dist-packages;BSD-3-Clause
NumPy 1.24.2 仅记录环境版本;验证脚本不直接使用;BSD-3-Clause
SciPy 未安装(scipy: null) ODE 改用自写 Cash–Karp 5(4)
数据目录 /var/www/cloudlab 只读;可用 CLOUDLAB_DATA 覆盖
快照 503 个 *_3d.sdf 另有 119 个仅有属性 JSON,未纳入

SciPy 安装尝试记录:apt-get install -y --no-install-recommends python3-scipy 在下载 43.1 MB 包时失败,错误为 E: Failed to fetch ... Unable to connect to deb.debian.org:http:;按 5 分钟 timebox 终止,未使用 pip。因此不存在“SciPy 版本”可记录,报告与 README 均明确写为未安装。

2. 方法与独立性

2.1 CHEM-01:RDKit 外部参考

对每个 AtomLab/data/_pubchem_raw/<molecule>_3d.sdf:

  • 用 RDKit 读入 SDF;HBD 保留显式 H(removeHs=False)后 CalcNumHBD,其余描述符先去 H(Chem.RemoveHs);
  • TPSA 用 CalcTPSA(mol, includeSandP=True);HBA 用 CalcNumHBA(仅作独立对照);可旋转键用 CalcNumRotatableBonds(RDKit 默认严格度);另计 N/O 元素数核对解析器;
  • 平台函数只作为被测对象导入,用于生成“平台实际值”;任何期望值都不调用平台函数;
  • 期望值来自两类独立来源:RDKit 计算值,以及 validation/cases.json 中冻结的期望字段(不修改)。

2.2 BIO-02 / CHEM-04:自写独立积分器

check_ode_independent.py 不导入 runner.run_experiment,也不调用平台任何计算函数;模型方程按文档/案例参数重新实现:

  • Cash–Karp 5(4) 嵌入式 RK 对,6 阶段;误差按 sqrt(mean_j(((y5-y4)/(atol+rtol*max(|y|,|y5|)))^2)) 归一化;步长因子 0.9*err^-0.2,接受时上限 5、下限 0.2,拒绝时上限 1、下限 0.1;hmax=0.5 h,在 0.5 h 输出网格处精确截断;
  • 精度:恒化器 rtol=1e-10, atol=1e-13;普通动态 rtol=1e-9, atol=1e-12;PRCC 轨迹 rtol=1e-8, atol=1e-11;均严于平台 rtol=1e-6;
  • 第二独立参考:恒化器稳态用解析式;环境 profile 用自适应 Simpson(eps=1e-12)+ 密采样/黄金分割求极值 + 二分求根求 γ=0.5 穿越;
  • PRCC:独立实现平均秩、Gauss–Jordan 求逆、偏秩相关与 2000 次置换,p=(1+#{|ρ_perm|≥|ρ_obs|})/(B+1)(最小值 0.0005);参数抽样顺序、区间与截断按平台输入分布复现(输入分布是案例设计的一部分,不是数值期望值);
  • 期望值全部逐字段取自 validation/cases.json 的 expect 与 tol;任一字段超差即 fail,不做“已知差异”豁免(CHEM-01 的已知分歧只从数值误差统计中单列,不改变计数断言)。

2.3 汇总器

run_all.py 顺序运行两个 checker,汇总为 latest.json:pass 表示全部通过,incomplete 表示有 skip/依赖缺失(退出码 2),fail 表示至少一项失败(退出码 1)。

3. 逐项结果表

所有 maxError 与 tolerance 直接来自 latest.json。CHEM-01 的 maxError 是“扣除已解释分歧后的最大未解释误差”,原始最大差见 details.maxErrorAll。

check id 对照/方法 结果摘要 maxError tolerance status
chem01.tpsa_vs_rdkit 平台 TPSA vs RDKit includeSandP=True 498/503 在 0.05 Ų 内;5 个已知分歧 1.71e-13 0.05 pass
chem01.tpsa_vs_cache 平台 TPSA vs PubChem CACTVS 缓存 322/503 在 0.05 Ų 内(文档口径) 89.23(原始;计数型,无容差) null pass
chem01.rdkit_vs_cache_tpsa RDKit TPSA vs 缓存(信息项) 324/503 在 0.05 Ų 内 89.23 null info
chem01.hbd_vs_cache 平台 SDF-HBD vs 缓存 501/503;仅 HF/HCl 0(扣除 2 个已知) 0 pass
chem01.hba_vs_cache 平台 N+O 原子数 vs 缓存 348/503(文档口径) 0(N+O 定义解释全部差异;原始最大 17) 0 pass
chem01.hba_n_plus_o_vs_rdkit_elements 平台 N+O vs RDKit 元素计数 503/503 0 0 pass
chem01.rotatable_vs_cache 平台上界 vs 缓存 496/503;7 个上界多计 0(扣除 7 个已知) 0 pass
chem01.cases_named_molecules 6 条命名案例、13 个字段 vs cases.json 全部复现 0 0.01 pass
chem01.rdkit_aspirin_reference RDKit 阿司匹林 TPSA vs 63.60 63.6 0 0.01 pass
chem04.environment Rosso 基数式解析重算 γT/γpH/γ/μeff 4 个案例 4.29e-05 2e-04 pass
chem04.ramp 线性 profile:Simpson+求根 6 项指标;连续 below=0.2783 1.11e-04 1e-03 pass
chem04.sine 正弦 profile:Simpson+求根 5 项指标;连续 below=8.4274 3.08e-04 1e-03 pass
chem04.step 阶跃 profile:分段精确积分 5 项指标 4.85e-05 1e-03 pass
bio02.chemostat Cash–Karp 长期积分+解析稳态 X*/S*/Dc/80 h/5 个弹性 4.51e-04 1e-03 pass
bio02.dynamic_batch Cash–Karp 3 状态动态+动态 γ X/S/Dead/γ 9 项 2.29e-04 1e-03 pass
bio02.batch_prcc 独立抽样+ODE+秩相关/置换 耗尽时间 μmax ρ=−0.9924, p=.0005 8.98e-04 2e-03 pass
bio02.fedbatch_prcc 独立抽样+ODE+秩相关/置换 X(t_end) Y ρ=0.99996, p=.0005 4.50e-05 2e-03 pass

4. CHEM-01 已知分歧

4.1 TPSA:5 个分子,平台与 RDKit 的定义差异

分子 平台 RDKit 缓存 Δ(平台−RDKit) 归因
white_phosphorus 54.36 0.00 0.00 +54.36 P4 的每个 P 为三单键,平台 P 类型表记 13.59 Ų;RDKit 对元素磷记 0
chlorpromazine 36.41 31.78 31.80 +4.63 平台紧凑 Hückel 把吩噻嗪中央含 S/N 六元环判芳香:N 4.93 vs 3.24,S 28.24 vs 约 25.30
carbamazepine 48.02 46.33 46.30 +1.69 七元氮杂䓬环被平台判芳香,环 N 4.93 vs 3.24
indigo 65.98 65.45 65.50 +0.53 内酰胺 N 的平台类型 12.89 vs RDKit 12.36(芳香/互变异构边界)
acesulfame_k 80.14 80.85 80.90 −0.71 含 S/N 五元环被判芳香(O 13.14 vs 9.23,N 15.79 vs 12.03,+7.67);四配位磺酰 S 平台少约 8.38,净 −0.71

说明:RDKit 的逐原子 _CalcTPSAContribs 对 S/P 原子返回 0,因此上表中的 S/P 贡献由 CalcTPSA 总差反推;N/O 逐原子差异与上表一致。5 个分子均保留在“已知分歧”集合中,若未来名单或数值变化,chem01.tpsa_vs_rdkit 会直接 fail。

4.2 可旋转键:7 个上界多计

分子 平台上界 RDKit 缓存 多计
acrylonitrile 1 0 0 +1
acetamiprid 4 2 3 +1
azoxystrobin 9 7 8 +1
betaine 2 2 1 +1
carnitine 4 4 3 +1
sam 7 7 6 +1
vitamin_u 4 4 3 +1

平台上界规则是“单键、非环、两端重原子度 ≥2”的启发式,不是 RDKit/CACTVS 的严格定义;7 个多计均来自“末端基团/对称基团”的边界。平台与 RDKit 的完整对比为 469 相等、27 平台多、7 平台少,说明两边不是同一函数,不能简单互相替代。

4.3 HBD 与 HBA 的语义差异

  • HBD:平台只统计“带显式 H 的 N/O/S”。HF、HCl 的 H 在卤素上,平台为 0;CACTVS 缓存计为 1;RDKit 对 HF/HCl 也返回 0(其 SMARTS 对 O/S 只认 H1,H2O/H2S 同样为 0)。因此:
    • 平台 vs 缓存:501/503,仅 hydrogen_chloride、hydrogen_fluoride 两个差异;
    • RDKit vs 缓存:499/503(HF/HCl/H2O/H2S 四个差异);
    • 这证明“501/503”是平台语义与缓存语义的差异,而不是 RDKit 与平台一致。
  • HBA:平台刻意采用 Lipinski 的“N+O 原子数”定义,缓存 CACTVS 与 RDKit CalcNumHBA 使用 SMARTS 供体/受体规则。平台 vs 缓存 348/503、最大差 17;RDKit vs 缓存 287/503。平台 N+O 与 RDKit 元素计数 503/503 完全一致,说明差异来自定义而不是解析错误。

4.4 命名分子案例

分子 平台 TPSA/HBD/HBA(N+O)/rot RDKit 同项 缓存同项 结论
aspirin 63.60 / 1 / 4 / 3 63.60 / 1 / 3 / 2 63.60 / 1 / 4 / 3 TPSA 与 HBD 一致;HBA/rot 定义不同
acrylonitrile 23.79 / 0 / 1 / 1 23.79 / 0 / 1 / 0 23.80 / 0 / 1 / 0 上界多计 1 已记录
nitroglycerin 157.11 / 0 / 12 / 5 157.11 / 0 / 9 / 8 165.00 / 0 / 9 / 5 缓存 TPSA 为整数化 CACTVS 值;HBA 定义差异

6 条命名案例(涉及 aspirin、acrylonitrile、nitroglycerin 三个分子,共 13 个字段)全部在容差内复现,chem01.cases_named_molecules maxError=0。

5. BIO-02 / CHEM-04 逐项结果

5.1 CHEM-04 动态环境

案例 关键独立值 cases 期望 最大误差
默认 37 ℃/pH 7.4 γT=1.0,γpH=0.961142857,γ=0.961142857,μeff=0.768914286 γ=.9611,μeff=.7689 4.29e-05
边界 48 ℃ γT=γ=μeff=0 0 0
20 ℃/pH 5.5 γT=.317430326,γpH=.509090909,γ=.161600893,μeff=.129280715 .3174/.5091/.1616/.1293 3.03e-05
线性 25→42、pH 7.4→5.5、6 h 起点 .546651542;终点/最小 .428734160;最大 .879318715;加权 .740335134;∫γdt=4.442010803;below 连续=.278321,平台 121 点离散=.300000 .5467/.4287/.8793/.7403/4.4419/.3 1.11e-04
正弦 T=37±5、pH=6±1、period=12、phase=2、24 h min=.193991525;max=.996936800;加权=.635556289;∫=15.253350927;below 连续=8.427425,平台 121 点离散=8.6 .1943/.9968/.6356/15.2534/8.6 3.08e-04
阶跃 25→42、pH 7.4→5.5、duration=6、stepTime=2 前 .546651542;后 .428734160;加权 .468039954;∫=2.808239726;below=4.0 .5467/.4287/.4680/2.8082/4.0 4.85e-05

关于 below 的差异:平台用 121 点离散网格计数再乘步长,独立实现用连续函数二分求根;线性案例平台值 0.3000 vs 连续 0.2783(差 0.0217,小于一个网格步长 0.05 h),正弦 8.6 vs 8.4274(差 0.1726,约 3.5 个网格步长)。这是“平台指标定义”的离散化误差,不是积分器错误;本套件在字段上复现平台离散定义,同时保留 belowContinuous 供审计。

5.2 BIO-02 恒化器与动态分批

恒化器(D=.35, Sin=10, μmax=.8, Ks=.2, Y=.5, 37 ℃, pH 7.4):

指标 独立值 cases 期望 误差
γ / μeff .961142857 / .768914286 .9611 / .7689 4.29e-05 / 1.43e-05
Dc .753837535 .7538 3.75e-05
S* .167098622 .167 9.86e-05
X* 4.916450689 4.916 4.51e-04
80 h X / S 4.916450689 / .167098622 4.916 / .167 4.51e-04 / 9.86e-05
X* 弹性(Sin/Y/D/Ks/μmax) 1.016993827 / 1.0 / −.031192052 / −.016993827 / .031192052 1.016994 / 1.0 / −.031192 / −.016994 / .031192 < 2e-07

动态分批(Sin=10, μmax=.2, Ks=.2, Y=.5, m=.02, kd=.05, 24 h,线性 37→42 ℃、pH 7.4→6.5):

指标 独立值 cases 期望 误差
初始 μeff .192228571 .192 2.29e-04
24 h X / S / Dead 1.212855 / 6.545212 / .470449 1.213 / 6.5452 / .4704 1.45e-04 / 1.2e-05 / 4.9e-05
终点/最小 γ .792617776 .7926 1.78e-05
最大 γ .984327999 .9843 2.8e-05
加权 γ / ∫γdt .934723298 / 22.433359160 .9347 / 22.4334 2.33e-05 / 4.08e-05

5.3 动态 PRCC:最强结论已复现,次级参数不稳定

分批培养 PRCC(64 样本、seed=20261115、rel=.1、2000 次置换、输出 round 6 位):

  • 最强输出:耗尽时间;最强参数:μmax;独立 ρ=−0.992398(cases 期望 −0.9915,误差 8.98e-04 < 2e-03);p=0.0005。
  • 平台口径下 X(t_end)、S(t_end) 为常数/相关矩阵奇异,独立实现同样跳过(observedRounded=null、reason 明确记录)。
  • 次级参数:独立 rounded6 口径 Ks=.299094、Y=.883851;独立 raw 口径(不 round)Ks=.500409、Y=.856817。两者差异很大,说明耗尽时间的 PRCC 对输出量化极敏感。
  • 耗尽时间范围:rounded6 为 [5.9999999993, 7.4999999638];raw 为 [6.4495398287, 7.4999999721]。平台的 0.5 h 采样 + 6 位小数舍入把耗尽时刻量化到网格附近。
  • 诊断(使用平台自身 rk45,仅用于定位差异,不作期望值):默认 rtol=1e-6 时 Ks=.3732、Y=.8624;收紧到 rtol=1e-10 时 Ks=.2991、Y=.8839,与独立 rounded6 的 .299094/.883851 一致(差异 < 1e-4)。因此 8.98e-04 的最强参数误差与次级不稳定来自平台默认求解器噪声 + 输出 quantization,而不是本实现与平台模型方程不一致。

补料分批 PRCC(64 样本、seed=20261115、rel=.1、Sfeed=15、F=.05、V0=1):

  • 最强输出 X(t_end);最强参数 Y;独立 ρ=.999955(期望 1.0000,误差 4.5e-05 < 2e-03);p=0.0005;
  • 次级:X 的 μmax=.079177、Ks=−.052329;S(t_end) 的 μmax=−.953341、Ks=.959399、Y=.137649;
  • 该案例的结论“X(t_end) 几乎完全由 Y 决定”在独立实现中稳定复现。

边界声明:本报告只声称“μmax 为最强参数、ρ≈−0.992、p=.0005”已被独立复现;不声称 Ks/Y 的次级 PRCC 已被独立验证。平台默认求解器与输出定义共同造成次级参数漂移,若要把它当作稳健指标,需要平台改为事件定位/更高输出精度,或明确把 0.5 h 网格量化纳入指标定义。

6. 限制与不扩大适用域

  1. 输入范围:只覆盖 503 个有 SDF 的快照;119 个仅有属性 JSON 的分子、其他 PubChem 条目、其他实验 op 均不在范围内。
  2. 模型真实性:BIO-02/CHEM-04 是同一组模型方程的第二个实现,不是对模型结构、参数或真实发酵过程的实验验证;不能据此声称“模型正确”。
  3. 缓存不是真值:PubChem CACTVS 缓存与平台/RDKit 的定义不同;322/503、348/503 等是口径对照,不是精度指标。
  4. RDKit 版本绑定:TPSA/芳香性/HBD/HBA/可旋转键结论绑定 RDKit 2022.09.3;RDKit 升级可能改变芳香性与可旋转键结果,必须重跑本套件。
  5. 已知分歧不修改平台:5 个 TPSA、7 个可旋转键、HF/HCl HBD 差异均只记录并解释;平台实现未被本任务修改。若未来平台改变芳香性/类型表,本套件的“已知集合”断言会 fail,从而暴露变化。
  6. 离散指标:平台动态 profile 的 integral/mean/below 是 121 点离散定义;本套件复现该定义并同时给出连续参考,二者差异属于定义/量化,不应被当作平台 bug。
  7. PRCC 次级参数:如 §5.3,Ks/Y 对默认求解器噪声和 6 位小数输出敏感;只有最强参数结论是稳健的。
  8. 数值方法:Cash–Karp 5(4) 是通用自适应 RK,不是刚性专用求解器;本报告通过收紧 rtol、解析稳态、Simpson 求积做了交叉确认,但不覆盖极端刚性/长时间尺度。
  9. 未验证:server.py、队列/复现、UI、全量测试套件、3D 构象/量化、质谱同位素包络、其他实验 op。

7. 结论:哪些已被独立验证,哪些仍属自证

已被独立验证(在本文适用域内)

  • CHEM-01 的 SDF 解析与描述符:TPSA(498/503 在 0.05 Ų 内,5 个分歧已解释)、HBD(501/503,HF/HCl 已解释)、N+O 元素计数(503/503)、可旋转键上界(496/503,7 个已解释);6 条命名案例的 13 个字段全部复现。
  • CHEM-04 的 cardinal 环境因子与线性/正弦/阶跃 profile 指标:全部在 cases 容差内;其中连续积分与平台 121 点离散定义的差异已量化并解释。
  • BIO-02 恒化器稳态、质量平衡相关的解析值、5 个弹性;动态分批的 X/S/Dead/γ 轨迹指标;PRCC 的“最强输出/最强参数/ρ/p”结论。

仍属自证或未独立验证

  • 平台 121 点离散口径本身(我们复现的是定义,不是独立真值);连续 below 与平台 below 的差已如实报告。
  • PRCC 的次级参数 Ks/Y(见 §5.3),以及任何依赖默认 rtol=1e-6 求解器噪声的精细数值。
  • PubChem CACTVS 缓存值本身;HBA/HBD/可旋转键的定义选择本身。
  • BIO-02/CHEM-04 的模型结构、参数取值、以及模型与真实实验的符合程度。
  • 其他实验 op、服务端、全量测试和未抽样数据。

8. 复现与验证命令

在 cloudlab-platform 仓库根目录运行:

  • python3 -m unittest tests.test_reference_harness -v:本次实测 5 项测试全部 OK,耗时 5.773 s(< 30 s;缺 RDKit/数据目录时 skip)。
  • python3 validation/reference/run_all.py:本次实测 17 项检查,16 pass / 1 info / 0 fail,总耗时 5.705 s,刷新 validation/reference/latest.json。
  • 单独复跑:python3 validation/reference/check_chem01_rdkit.py、python3 validation/reference/check_ode_independent.py(--no-prcc 可跳过 PRCC)。
  • 数据目录默认 /var/www/cloudlab,可用 CLOUDLAB_DATA=<path> 覆盖;命令均使用仓库内相对路径。