- validation/reference/check_chem01_rdkit.py:用 RDKit 2022.09.3 独立核对 503 个 SDF 的 TPSA/HBD/HBA/可旋转键,期望值来自外部实现或冻结 cases.json - validation/reference/check_ode_independent.py:自写 Cash–Karp 5(4) 自适应 积分器与自适应 Simpson,独立复算 BIO-02/CHEM-04 共 8 项,不导入平台 runner - validation/reference/run_all.py:汇总 17 项检查并写 latest.json,失败非零退出 - validation/reference/README.md:固定版本、许可证、数值方法、容差、适用域与复现 - tests/test_reference_harness.py:5 个回归测试(缺依赖时跳过) - docs/VERIFICATION.md:逐项结果表、CHEM-01 已知分歧解释、限制与结论 实测:run_all PASS(17 项:16 pass / 1 info / 0 fail,5.7 s);tests 5 OK (6.4 s)。关键误差均小于容差:CHEM-04 环境 4.29e-05/2e-4、线性 1.11e-04/1e-3、正弦 3.08e-04/1e-3、阶跃 4.85e-05/1e-3;BIO-02 恒化器 4.51e-04/1e-3、动态分批 2.29e-04/1e-3、分批 PRCC 8.98e-04/2e-3、 补料 PRCC 4.50e-05/2e-3。产物不含机器绝对路径。
18 KiB
CloudLab 独立交叉验证报告(validation/reference)
- 报告对象:CHEM-01 分子描述符(503 个 PubChem SDF 快照)、BIO-02 生物反应器动态/PRCC、CHEM-04 动态环境 profile。
- 代码位置:
validation/reference/;机器可读结果:validation/reference/latest.json。 - 本次运行:2026-11-18T08:02:58Z(UTC),总耗时 5.705 s;17 项检查中 16 pass / 1 info / 0 fail。
- 结论先行:在本文限定的输入、模型方程与参数区域内,上述数值结果已被独立实现复算,未发现无法解释的实现错误;5 个 TPSA 分歧、7 个可旋转键上界多计、HBD/HBA 语义差异均为已定位的适用域/定义差异。该结论不外推到模型真实性、其他分子或其他参数区域。
1. 环境与固定版本
版本取自 latest.json 的 environment 字段(run_all.py 实际运行生成):
| 组件 | 版本 | 说明 |
|---|---|---|
| CPython | 3.11.2 | CPython 实现,Linux |
| RDKit | 2022.09.3 | Debian 包,/usr/lib/python3/dist-packages;BSD-3-Clause |
| NumPy | 1.24.2 | 仅记录环境版本;验证脚本不直接使用;BSD-3-Clause |
| SciPy | 未安装(scipy: null) |
ODE 改用自写 Cash–Karp 5(4) |
| 数据目录 | /var/www/cloudlab |
只读;可用 CLOUDLAB_DATA 覆盖 |
| 快照 | 503 个 *_3d.sdf |
另有 119 个仅有属性 JSON,未纳入 |
SciPy 安装尝试记录:apt-get install -y --no-install-recommends python3-scipy 在下载 43.1 MB 包时失败,错误为 E: Failed to fetch ... Unable to connect to deb.debian.org:http:;按 5 分钟 timebox 终止,未使用 pip。因此不存在“SciPy 版本”可记录,报告与 README 均明确写为未安装。
2. 方法与独立性
2.1 CHEM-01:RDKit 外部参考
对每个 AtomLab/data/_pubchem_raw/<molecule>_3d.sdf:
- 用 RDKit 读入 SDF;HBD 保留显式 H(
removeHs=False)后CalcNumHBD,其余描述符先去 H(Chem.RemoveHs); - TPSA 用
CalcTPSA(mol, includeSandP=True);HBA 用CalcNumHBA(仅作独立对照);可旋转键用CalcNumRotatableBonds(RDKit 默认严格度);另计 N/O 元素数核对解析器; - 平台函数只作为被测对象导入,用于生成“平台实际值”;任何期望值都不调用平台函数;
- 期望值来自两类独立来源:RDKit 计算值,以及
validation/cases.json中冻结的期望字段(不修改)。
2.2 BIO-02 / CHEM-04:自写独立积分器
check_ode_independent.py 不导入 runner.run_experiment,也不调用平台任何计算函数;模型方程按文档/案例参数重新实现:
- Cash–Karp 5(4) 嵌入式 RK 对,6 阶段;误差按
sqrt(mean_j(((y5-y4)/(atol+rtol*max(|y|,|y5|)))^2))归一化;步长因子0.9*err^-0.2,接受时上限 5、下限 0.2,拒绝时上限 1、下限 0.1;hmax=0.5 h,在 0.5 h 输出网格处精确截断; - 精度:恒化器
rtol=1e-10, atol=1e-13;普通动态rtol=1e-9, atol=1e-12;PRCC 轨迹rtol=1e-8, atol=1e-11;均严于平台rtol=1e-6; - 第二独立参考:恒化器稳态用解析式;环境 profile 用自适应 Simpson(
eps=1e-12)+ 密采样/黄金分割求极值 + 二分求根求γ=0.5穿越; - PRCC:独立实现平均秩、Gauss–Jordan 求逆、偏秩相关与 2000 次置换,
p=(1+#{|ρ_perm|≥|ρ_obs|})/(B+1)(最小值 0.0005);参数抽样顺序、区间与截断按平台输入分布复现(输入分布是案例设计的一部分,不是数值期望值); - 期望值全部逐字段取自
validation/cases.json的expect与tol;任一字段超差即 fail,不做“已知差异”豁免(CHEM-01 的已知分歧只从数值误差统计中单列,不改变计数断言)。
2.3 汇总器
run_all.py 顺序运行两个 checker,汇总为 latest.json:pass 表示全部通过,incomplete 表示有 skip/依赖缺失(退出码 2),fail 表示至少一项失败(退出码 1)。
3. 逐项结果表
所有 maxError 与 tolerance 直接来自 latest.json。CHEM-01 的 maxError 是“扣除已解释分歧后的最大未解释误差”,原始最大差见 details.maxErrorAll。
| check id | 对照/方法 | 结果摘要 | maxError | tolerance | status |
|---|---|---|---|---|---|
| chem01.tpsa_vs_rdkit | 平台 TPSA vs RDKit includeSandP=True |
498/503 在 0.05 Ų 内;5 个已知分歧 | 1.71e-13 | 0.05 | pass |
| chem01.tpsa_vs_cache | 平台 TPSA vs PubChem CACTVS 缓存 | 322/503 在 0.05 Ų 内(文档口径) | 89.23(原始;计数型,无容差) | null | pass |
| chem01.rdkit_vs_cache_tpsa | RDKit TPSA vs 缓存(信息项) | 324/503 在 0.05 Ų 内 | 89.23 | null | info |
| chem01.hbd_vs_cache | 平台 SDF-HBD vs 缓存 | 501/503;仅 HF/HCl | 0(扣除 2 个已知) | 0 | pass |
| chem01.hba_vs_cache | 平台 N+O 原子数 vs 缓存 | 348/503(文档口径) | 0(N+O 定义解释全部差异;原始最大 17) | 0 | pass |
| chem01.hba_n_plus_o_vs_rdkit_elements | 平台 N+O vs RDKit 元素计数 | 503/503 | 0 | 0 | pass |
| chem01.rotatable_vs_cache | 平台上界 vs 缓存 | 496/503;7 个上界多计 | 0(扣除 7 个已知) | 0 | pass |
| chem01.cases_named_molecules | 6 条命名案例、13 个字段 vs cases.json | 全部复现 | 0 | 0.01 | pass |
| chem01.rdkit_aspirin_reference | RDKit 阿司匹林 TPSA vs 63.60 | 63.6 | 0 | 0.01 | pass |
| chem04.environment | Rosso 基数式解析重算 | γT/γpH/γ/μeff 4 个案例 | 4.29e-05 | 2e-04 | pass |
| chem04.ramp | 线性 profile:Simpson+求根 | 6 项指标;连续 below=0.2783 | 1.11e-04 | 1e-03 | pass |
| chem04.sine | 正弦 profile:Simpson+求根 | 5 项指标;连续 below=8.4274 | 3.08e-04 | 1e-03 | pass |
| chem04.step | 阶跃 profile:分段精确积分 | 5 项指标 | 4.85e-05 | 1e-03 | pass |
| bio02.chemostat | Cash–Karp 长期积分+解析稳态 | X*/S*/Dc/80 h/5 个弹性 | 4.51e-04 | 1e-03 | pass |
| bio02.dynamic_batch | Cash–Karp 3 状态动态+动态 γ | X/S/Dead/γ 9 项 | 2.29e-04 | 1e-03 | pass |
| bio02.batch_prcc | 独立抽样+ODE+秩相关/置换 | 耗尽时间 μmax ρ=−0.9924, p=.0005 | 8.98e-04 | 2e-03 | pass |
| bio02.fedbatch_prcc | 独立抽样+ODE+秩相关/置换 | X(t_end) Y ρ=0.99996, p=.0005 | 4.50e-05 | 2e-03 | pass |
4. CHEM-01 已知分歧
4.1 TPSA:5 个分子,平台与 RDKit 的定义差异
| 分子 | 平台 | RDKit | 缓存 | Δ(平台−RDKit) | 归因 |
|---|---|---|---|---|---|
| white_phosphorus | 54.36 | 0.00 | 0.00 | +54.36 | P4 的每个 P 为三单键,平台 P 类型表记 13.59 Ų;RDKit 对元素磷记 0 |
| chlorpromazine | 36.41 | 31.78 | 31.80 | +4.63 | 平台紧凑 Hückel 把吩噻嗪中央含 S/N 六元环判芳香:N 4.93 vs 3.24,S 28.24 vs 约 25.30 |
| carbamazepine | 48.02 | 46.33 | 46.30 | +1.69 | 七元氮杂䓬环被平台判芳香,环 N 4.93 vs 3.24 |
| indigo | 65.98 | 65.45 | 65.50 | +0.53 | 内酰胺 N 的平台类型 12.89 vs RDKit 12.36(芳香/互变异构边界) |
| acesulfame_k | 80.14 | 80.85 | 80.90 | −0.71 | 含 S/N 五元环被判芳香(O 13.14 vs 9.23,N 15.79 vs 12.03,+7.67);四配位磺酰 S 平台少约 8.38,净 −0.71 |
说明:RDKit 的逐原子 _CalcTPSAContribs 对 S/P 原子返回 0,因此上表中的 S/P 贡献由 CalcTPSA 总差反推;N/O 逐原子差异与上表一致。5 个分子均保留在“已知分歧”集合中,若未来名单或数值变化,chem01.tpsa_vs_rdkit 会直接 fail。
4.2 可旋转键:7 个上界多计
| 分子 | 平台上界 | RDKit | 缓存 | 多计 |
|---|---|---|---|---|
| acrylonitrile | 1 | 0 | 0 | +1 |
| acetamiprid | 4 | 2 | 3 | +1 |
| azoxystrobin | 9 | 7 | 8 | +1 |
| betaine | 2 | 2 | 1 | +1 |
| carnitine | 4 | 4 | 3 | +1 |
| sam | 7 | 7 | 6 | +1 |
| vitamin_u | 4 | 4 | 3 | +1 |
平台上界规则是“单键、非环、两端重原子度 ≥2”的启发式,不是 RDKit/CACTVS 的严格定义;7 个多计均来自“末端基团/对称基团”的边界。平台与 RDKit 的完整对比为 469 相等、27 平台多、7 平台少,说明两边不是同一函数,不能简单互相替代。
4.3 HBD 与 HBA 的语义差异
- HBD:平台只统计“带显式 H 的 N/O/S”。HF、HCl 的 H 在卤素上,平台为 0;CACTVS 缓存计为 1;RDKit 对 HF/HCl 也返回 0(其 SMARTS 对 O/S 只认 H1,H2O/H2S 同样为 0)。因此:
- 平台 vs 缓存:501/503,仅
hydrogen_chloride、hydrogen_fluoride两个差异; - RDKit vs 缓存:499/503(HF/HCl/H2O/H2S 四个差异);
- 这证明“501/503”是平台语义与缓存语义的差异,而不是 RDKit 与平台一致。
- 平台 vs 缓存:501/503,仅
- HBA:平台刻意采用 Lipinski 的“N+O 原子数”定义,缓存 CACTVS 与 RDKit
CalcNumHBA使用 SMARTS 供体/受体规则。平台 vs 缓存 348/503、最大差 17;RDKit vs 缓存 287/503。平台 N+O 与 RDKit 元素计数 503/503 完全一致,说明差异来自定义而不是解析错误。
4.4 命名分子案例
| 分子 | 平台 TPSA/HBD/HBA(N+O)/rot | RDKit 同项 | 缓存同项 | 结论 |
|---|---|---|---|---|
| aspirin | 63.60 / 1 / 4 / 3 | 63.60 / 1 / 3 / 2 | 63.60 / 1 / 4 / 3 | TPSA 与 HBD 一致;HBA/rot 定义不同 |
| acrylonitrile | 23.79 / 0 / 1 / 1 | 23.79 / 0 / 1 / 0 | 23.80 / 0 / 1 / 0 | 上界多计 1 已记录 |
| nitroglycerin | 157.11 / 0 / 12 / 5 | 157.11 / 0 / 9 / 8 | 165.00 / 0 / 9 / 5 | 缓存 TPSA 为整数化 CACTVS 值;HBA 定义差异 |
6 条命名案例(涉及 aspirin、acrylonitrile、nitroglycerin 三个分子,共 13 个字段)全部在容差内复现,chem01.cases_named_molecules maxError=0。
5. BIO-02 / CHEM-04 逐项结果
5.1 CHEM-04 动态环境
| 案例 | 关键独立值 | cases 期望 | 最大误差 |
|---|---|---|---|
| 默认 37 ℃/pH 7.4 | γT=1.0,γpH=0.961142857,γ=0.961142857,μeff=0.768914286 | γ=.9611,μeff=.7689 | 4.29e-05 |
| 边界 48 ℃ | γT=γ=μeff=0 | 0 | 0 |
| 20 ℃/pH 5.5 | γT=.317430326,γpH=.509090909,γ=.161600893,μeff=.129280715 | .3174/.5091/.1616/.1293 | 3.03e-05 |
| 线性 25→42、pH 7.4→5.5、6 h | 起点 .546651542;终点/最小 .428734160;最大 .879318715;加权 .740335134;∫γdt=4.442010803;below 连续=.278321,平台 121 点离散=.300000 | .5467/.4287/.8793/.7403/4.4419/.3 | 1.11e-04 |
| 正弦 T=37±5、pH=6±1、period=12、phase=2、24 h | min=.193991525;max=.996936800;加权=.635556289;∫=15.253350927;below 连续=8.427425,平台 121 点离散=8.6 | .1943/.9968/.6356/15.2534/8.6 | 3.08e-04 |
| 阶跃 25→42、pH 7.4→5.5、duration=6、stepTime=2 | 前 .546651542;后 .428734160;加权 .468039954;∫=2.808239726;below=4.0 | .5467/.4287/.4680/2.8082/4.0 | 4.85e-05 |
关于 below 的差异:平台用 121 点离散网格计数再乘步长,独立实现用连续函数二分求根;线性案例平台值 0.3000 vs 连续 0.2783(差 0.0217,小于一个网格步长 0.05 h),正弦 8.6 vs 8.4274(差 0.1726,约 3.5 个网格步长)。这是“平台指标定义”的离散化误差,不是积分器错误;本套件在字段上复现平台离散定义,同时保留 belowContinuous 供审计。
5.2 BIO-02 恒化器与动态分批
恒化器(D=.35, Sin=10, μmax=.8, Ks=.2, Y=.5, 37 ℃, pH 7.4):
| 指标 | 独立值 | cases 期望 | 误差 |
|---|---|---|---|
| γ / μeff | .961142857 / .768914286 | .9611 / .7689 | 4.29e-05 / 1.43e-05 |
| Dc | .753837535 | .7538 | 3.75e-05 |
| S* | .167098622 | .167 | 9.86e-05 |
| X* | 4.916450689 | 4.916 | 4.51e-04 |
| 80 h X / S | 4.916450689 / .167098622 | 4.916 / .167 | 4.51e-04 / 9.86e-05 |
| X* 弹性(Sin/Y/D/Ks/μmax) | 1.016993827 / 1.0 / −.031192052 / −.016993827 / .031192052 | 1.016994 / 1.0 / −.031192 / −.016994 / .031192 | < 2e-07 |
动态分批(Sin=10, μmax=.2, Ks=.2, Y=.5, m=.02, kd=.05, 24 h,线性 37→42 ℃、pH 7.4→6.5):
| 指标 | 独立值 | cases 期望 | 误差 |
|---|---|---|---|
| 初始 μeff | .192228571 | .192 | 2.29e-04 |
| 24 h X / S / Dead | 1.212855 / 6.545212 / .470449 | 1.213 / 6.5452 / .4704 | 1.45e-04 / 1.2e-05 / 4.9e-05 |
| 终点/最小 γ | .792617776 | .7926 | 1.78e-05 |
| 最大 γ | .984327999 | .9843 | 2.8e-05 |
| 加权 γ / ∫γdt | .934723298 / 22.433359160 | .9347 / 22.4334 | 2.33e-05 / 4.08e-05 |
5.3 动态 PRCC:最强结论已复现,次级参数不稳定
分批培养 PRCC(64 样本、seed=20261115、rel=.1、2000 次置换、输出 round 6 位):
- 最强输出:耗尽时间;最强参数:μmax;独立 ρ=−0.992398(cases 期望 −0.9915,误差 8.98e-04 < 2e-03);p=0.0005。
- 平台口径下 X(t_end)、S(t_end) 为常数/相关矩阵奇异,独立实现同样跳过(
observedRounded=null、reason明确记录)。 - 次级参数:独立 rounded6 口径 Ks=.299094、Y=.883851;独立 raw 口径(不 round)Ks=.500409、Y=.856817。两者差异很大,说明耗尽时间的 PRCC 对输出量化极敏感。
- 耗尽时间范围:rounded6 为 [5.9999999993, 7.4999999638];raw 为 [6.4495398287, 7.4999999721]。平台的 0.5 h 采样 + 6 位小数舍入把耗尽时刻量化到网格附近。
- 诊断(使用平台自身 rk45,仅用于定位差异,不作期望值):默认
rtol=1e-6时 Ks=.3732、Y=.8624;收紧到rtol=1e-10时 Ks=.2991、Y=.8839,与独立 rounded6 的 .299094/.883851 一致(差异 < 1e-4)。因此 8.98e-04 的最强参数误差与次级不稳定来自平台默认求解器噪声 + 输出 quantization,而不是本实现与平台模型方程不一致。
补料分批 PRCC(64 样本、seed=20261115、rel=.1、Sfeed=15、F=.05、V0=1):
- 最强输出 X(t_end);最强参数 Y;独立 ρ=.999955(期望 1.0000,误差 4.5e-05 < 2e-03);p=0.0005;
- 次级:X 的 μmax=.079177、Ks=−.052329;S(t_end) 的 μmax=−.953341、Ks=.959399、Y=.137649;
- 该案例的结论“X(t_end) 几乎完全由 Y 决定”在独立实现中稳定复现。
边界声明:本报告只声称“μmax 为最强参数、ρ≈−0.992、p=.0005”已被独立复现;不声称 Ks/Y 的次级 PRCC 已被独立验证。平台默认求解器与输出定义共同造成次级参数漂移,若要把它当作稳健指标,需要平台改为事件定位/更高输出精度,或明确把 0.5 h 网格量化纳入指标定义。
6. 限制与不扩大适用域
- 输入范围:只覆盖 503 个有 SDF 的快照;119 个仅有属性 JSON 的分子、其他 PubChem 条目、其他实验 op 均不在范围内。
- 模型真实性:BIO-02/CHEM-04 是同一组模型方程的第二个实现,不是对模型结构、参数或真实发酵过程的实验验证;不能据此声称“模型正确”。
- 缓存不是真值:PubChem CACTVS 缓存与平台/RDKit 的定义不同;322/503、348/503 等是口径对照,不是精度指标。
- RDKit 版本绑定:TPSA/芳香性/HBD/HBA/可旋转键结论绑定 RDKit 2022.09.3;RDKit 升级可能改变芳香性与可旋转键结果,必须重跑本套件。
- 已知分歧不修改平台:5 个 TPSA、7 个可旋转键、HF/HCl HBD 差异均只记录并解释;平台实现未被本任务修改。若未来平台改变芳香性/类型表,本套件的“已知集合”断言会 fail,从而暴露变化。
- 离散指标:平台动态 profile 的 integral/mean/below 是 121 点离散定义;本套件复现该定义并同时给出连续参考,二者差异属于定义/量化,不应被当作平台 bug。
- PRCC 次级参数:如 §5.3,Ks/Y 对默认求解器噪声和 6 位小数输出敏感;只有最强参数结论是稳健的。
- 数值方法:Cash–Karp 5(4) 是通用自适应 RK,不是刚性专用求解器;本报告通过收紧 rtol、解析稳态、Simpson 求积做了交叉确认,但不覆盖极端刚性/长时间尺度。
- 未验证:server.py、队列/复现、UI、全量测试套件、3D 构象/量化、质谱同位素包络、其他实验 op。
7. 结论:哪些已被独立验证,哪些仍属自证
已被独立验证(在本文适用域内)
- CHEM-01 的 SDF 解析与描述符:TPSA(498/503 在 0.05 Ų 内,5 个分歧已解释)、HBD(501/503,HF/HCl 已解释)、N+O 元素计数(503/503)、可旋转键上界(496/503,7 个已解释);6 条命名案例的 13 个字段全部复现。
- CHEM-04 的 cardinal 环境因子与线性/正弦/阶跃 profile 指标:全部在 cases 容差内;其中连续积分与平台 121 点离散定义的差异已量化并解释。
- BIO-02 恒化器稳态、质量平衡相关的解析值、5 个弹性;动态分批的 X/S/Dead/γ 轨迹指标;PRCC 的“最强输出/最强参数/ρ/p”结论。
仍属自证或未独立验证
- 平台 121 点离散口径本身(我们复现的是定义,不是独立真值);连续 below 与平台 below 的差已如实报告。
- PRCC 的次级参数 Ks/Y(见 §5.3),以及任何依赖默认
rtol=1e-6求解器噪声的精细数值。 - PubChem CACTVS 缓存值本身;HBA/HBD/可旋转键的定义选择本身。
- BIO-02/CHEM-04 的模型结构、参数取值、以及模型与真实实验的符合程度。
- 其他实验 op、服务端、全量测试和未抽样数据。
8. 复现与验证命令
在 cloudlab-platform 仓库根目录运行:
python3 -m unittest tests.test_reference_harness -v:本次实测 5 项测试全部 OK,耗时 5.773 s(< 30 s;缺 RDKit/数据目录时 skip)。python3 validation/reference/run_all.py:本次实测 17 项检查,16 pass / 1 info / 0 fail,总耗时 5.705 s,刷新validation/reference/latest.json。- 单独复跑:
python3 validation/reference/check_chem01_rdkit.py、python3 validation/reference/check_ode_independent.py(--no-prcc可跳过 PRCC)。 - 数据目录默认
/var/www/cloudlab,可用CLOUDLAB_DATA=<path>覆盖;命令均使用仓库内相对路径。