6 Commits
Author SHA1 Message Date
hmandWorkBuddy 43b8757e94 feat(arch): 统一存储与分片索引架构(检索下载量 -80%)
CloudLab CI/CD / 门禁 doctor (push) Failing after 44s
CloudLab CI/CD / 单元测试 (push) Skipped
CloudLab CI/CD / 归档完整性 (push) Skipped
CloudLab CI/CD / 构建站点与归档 (push) Skipped
CloudLab CI/CD / 部署到 lab.hdtime.space(rsync) (push) Skipped
CloudLab CI/CD / 构建镜像并推送 Gitea 容器仓库 (push) Skipped
CloudLab CI/CD / 容器部署到 lab.hdtime.space (push) Skipped
CloudLab CI/CD / 发布版本(Tag) (push) Skipped
用户:资料越来越多,需要有效的存储与索引架构。诊断出 6 个问题:
全量加载 4.99MB search.json、O(N) 线性扫描、同批书存 4-5 份、
硬编码文案、工程资产污染检索、入库要跑 5 步脚本。

架构(docs/存储与索引架构.md):
- registry.json 单一规范数据源:合并 7 台账 + files.json,按路径去重,
  sha 指纹支持增量;旧台账保留兼容
- idx/ 分片倒排索引:按学科分 13 桶,Z 工程资产(3460 文件)不进索引;
  倒排表 term→[ids] 紧凑数组;manifest 用词→13bit 位掩码路由
- cl-index.js 前端惰性加载:只下载命中分片,内存缓存,异常回退旧 search.json
- build_index.py 增量构建:未变分片复用(首次 1.98s → 增量 0.21s)
- rebuild_all.py 全链入口:一条命令完成台账合并→编目→建站→数据→索引

实测收益:
- 单次检索下载 4.99MB → ~1MB(命中 F 分片),二次查询 0
- 索引总体积 2.87MB < 旧 search.json 4.99MB(-43%)
- 检索复杂度 O(N) → O(命中 posting 数)
- 搜索框真实统计替代硬编码'2000+'

关键 bug(测试抓到):cl-index.js 抢占 window.CL 导致 shell.js 的
'if (window.CL) return' 守卫跳过整个初始化 → 改为 window.CLIndex 独立命名空间,
由 shell.js 初始化时挂载。

验证:ui_index_arch 13/13;UI 不变量 216/0;全链重建幂等 catalog 6177;
data02/03 6/6。向后兼容:旧数据文件全部保留。

Co-Authored-By: WorkBuddy <noreply@workbuddy.ai>
2026-11-23 04:59:59 +08:00
hmandWorkBuddy c75a0b5766 feat(thesaurus): 深化为正式叙词表——双语/KWIC/RT双向/版本
CloudLab CI/CD / 门禁 doctor (push) Failing after 40s
CloudLab CI/CD / 单元测试 (push) Skipped
CloudLab CI/CD / 归档完整性 (push) Skipped
CloudLab CI/CD / 构建站点与归档 (push) Skipped
CloudLab CI/CD / 部署到 lab.hdtime.space(rsync) (push) Skipped
CloudLab CI/CD / 构建镜像并推送 Gitea 容器仓库 (push) Skipped
CloudLab CI/CD / 容器部署到 lab.hdtime.space (push) Skipped
CloudLab CI/CD / 发布版本(Tag) (push) Skipped
- 中英双语:36 个规范词全部配英文规范词 pref_en,英文入口词 uf_en 自动标注
- KWIC 轮排索引 708 条:中文按字、英文按词素轮排,任意字/词位可反查
- RT 双向闭合:A 参 B 自动补全 B 参 A,rt_auto 记录,生成器校验对称性
- 版本变更记录 thesaurus-history.json:1.0.0 → 1.1.0
- OPAC 叙词表页:版本条、词族树双语、轮排索引搜索、详情中英对照与 RT 补全提示
- 生成器一致性校验扩展:双语必填、RT 对称、英文按词轮排修正
- docs/编目规范.md 增深化说明

验证:不变量 216/FAIL 0、24 项 UI 全绿(ui_thesaurus 29/29)

Co-Authored-By: WorkBuddy <noreply@workbuddy.ai>
2026-11-21 23:38:31 +08:00
hmandWorkBuddy c75c8dc047 feat(library): 叙词表升级 + 全站按钮链接审查修复
CloudLab CI/CD / 门禁 doctor (push) Failing after 6m29s
CloudLab CI/CD / 单元测试 (push) Skipped
CloudLab CI/CD / 归档完整性 (push) Skipped
CloudLab CI/CD / 构建站点与归档 (push) Skipped
CloudLab CI/CD / 部署到 lab.hdtime.space(rsync) (push) Skipped
CloudLab CI/CD / 构建镜像并推送 Gitea 容器仓库 (push) Skipped
CloudLab CI/CD / 容器部署到 lab.hdtime.space (push) Skipped
CloudLab CI/CD / 发布版本(Tag) (push) Skipped
叙词表(ISO 25964 / GB/T 3860 六项关系 Y/D/S/F/C/Z):
- tools/build_thesaurus.py:36 叙词 / 201 入口词 / 14 词族,
  37 种原始目录名全量归并;一致性校验(一入口词只 USE 一叙词、上位链无环、同族)
- bib.json 改用规范词标引(topic 规范词 / topic_raw 原词 / descriptor_code),
  37 种原始词 → 25 种规范词;关键词也经 USE 映射
- OPAC「叙词表」页:词族树、BT/NT 层级、六项关系详情、入口词反查、
  点击规范词检索;自由词检索 USE 扩展(chemistry=化学=973 条)
- 顺手清洗结构化数据的摘要(不再把 JSON 原文当提要)

全站审查与修复:
- 根因:nginx 站点根 /404.html 陈旧(app.css?v=8);
  部署脚本现在自动同步 app/404.html → 站点根 404.html
- 新增 /app/building 别名路由,直接跳到 /app/#building 楼层导览
- 全站审查脚本 audit_all_links.mjs:20 产品页 / 56 内部链接 / 63 目标,
  线上可达 100%、动态渲染零异常 → .workbuddy/shots/audit-report.json
- 修复:环境耦合工作台 el('<tr>') 导致 null.innerHTML 的运行时异常;
  生信数据库资料库空清单(消除 catalog.json 404,不编造数据);
  external 页补 favicon
- 审查脚本修正误报:JS 赋值 src='server' 不当 HTML 属性、404 页与 API 状态预期

验证:不变量 216/FAIL 0、24 个 UI 测试全绿(新 ui_thesaurus 20/20)

Co-Authored-By: WorkBuddy <noreply@workbuddy.ai>
2026-11-21 23:24:54 +08:00
hmandWorkBuddy 924879a170 feat(library): 统一书目编目 + 财产登记簿 + OPAC,贴近真实图书馆管理
CloudLab CI/CD / 门禁 doctor (push) Failing after 31s
CloudLab CI/CD / 单元测试 (push) Skipped
CloudLab CI/CD / 归档完整性 (push) Skipped
CloudLab CI/CD / 构建站点与归档 (push) Skipped
CloudLab CI/CD / 部署到 lab.hdtime.space(rsync) (push) Skipped
CloudLab CI/CD / 构建镜像并推送 Gitea 容器仓库 (push) Skipped
CloudLab CI/CD / 容器部署到 lab.hdtime.space (push) Skipped
CloudLab CI/CD / 发布版本(Tag) (push) Skipped
统一书目著录(对齐 Dublin Core):
- tools/build_bib.py 合并 catalog/search/external/分支索引四份数据,
  生成 app/data/bib.json 3447 条完整书目记录(题名/责任者/来源/出版年/
  入藏日期/摘要/主题词/语种/权限/标识符/载体/校验和/状态),
  并输出 bib-dc.json 交换格式与 subjects.json 主题词规范档
- 解决 search.json 仍是上架前旧路径的问题:先按 path-aliases 映射再合并
- 覆盖率:题名 100%、责任者 99.8%、校验和 100%、摘要 68%、主题词 97%

财产登记簿(真实馆「同种书共享索书号、每册各有财产号」):
- id = 每册唯一财产号 CL-000001…(按路径首次登记,持久不漂移)
- work_id = 作品内容指纹;callno = 分类号+学科内四位种次号(按作品分配)
- sha256 校验和;bib-registry.json 持久登记,新增资料不重排既有号

采编状态机:待编目/已编目/已上架/需复核/副本归并/工程资产/已剔旧,
bib-status.json + --set-status CLI 人工流转(已验证流转后索书号不变)

OPAC 检索页 /app/opac.html:字段检索(title:/creator:/status:/callno: 等)、
5 组分面、相关度/题名/索书号/入藏日期排序、书目详情抽屉、
单条 DC 导出、馆藏统计(学科/状态/格式/入藏趋势/来源/需复核清单)、主题词表

入口:学科大厅标题行、dock 更多、资料库总门户、外源索引;
docs/编目规范.md 增「统一书目与 OPAC」章节

验证:不变量 216/FAIL 0、23 个 UI 测试全绿(新 ui_opac 21/21)

Co-Authored-By: WorkBuddy <noreply@workbuddy.ai>
2026-11-21 22:50:55 +08:00
hmandWorkBuddy ed53694824 feat(library): 新建「基本知识库」资料分支 + 可复用的建库方案
CloudLab CI/CD / 门禁 doctor (push) Failing after 29s
CloudLab CI/CD / 单元测试 (push) Skipped
CloudLab CI/CD / 归档完整性 (push) Skipped
CloudLab CI/CD / 构建站点与归档 (push) Skipped
CloudLab CI/CD / 部署到 lab.hdtime.space(rsync) (push) Skipped
CloudLab CI/CD / 构建镜像并推送 Gitea 容器仓库 (push) Skipped
CloudLab CI/CD / 容器部署到 lab.hdtime.space (push) Skipped
CloudLab CI/CD / 发布版本(Tag) (push) Skipped
分支:顶层 基本知识库/,按学科码分 7 个子库
  A1-知识库与真值 / B1-元素与周期表 / B2-分子库 / B3-反应与网络 /
  C1-残基与序列 / I1-热力学与动力学 / I2-进化实验台
每库一张 catalog.md 编目卡(分类号、学科、收录范围、条目数、数据文件、来源、
诚实标定),index.json 注册表 + index.html 分支索引页(搜索、主题跟随、统一令牌)

设计:数据原件保留在 AtomLab/data/,编目卡按相对路径引用,不复制 40MB+ 运行时数据,
避免前端 3D 与构建脚本因路径改变失效

可复用方案(用户要求「后续新建的库都按这个方案」):
- tools/basic_library.py --add <库名> --code <学科码> --desc --source --files
  自动建目录、生成编目卡、注册 index.json、重建索引页(已自测新增/撤回)
- docs/编目规范.md 增加「资料分支与新建库」章节,说明分支定义、卡片必备字段、
  新建分支的模板改法、入库后重算编目与登记步骤
- library_catalog.py 支持分支顶层目录识别与全站编目补扫(3466 条)

导航:学科大厅首位「📚 基本知识库」分支卡、dock 更多菜单、资料库总门户

验证:不变量 216/FAIL 0、22 个 UI 测试全绿(新 ui_branch 13/13)

Co-Authored-By: WorkBuddy <noreply@workbuddy.ai>
2026-11-21 22:02:17 +08:00
hmandWorkBuddy 22a2bf7f43 feat(library): 真实图书馆式学科编目与上架
CloudLab CI/CD / 门禁 doctor (push) Failing after 44s
CloudLab CI/CD / 单元测试 (push) Skipped
CloudLab CI/CD / 归档完整性 (push) Skipped
CloudLab CI/CD / 构建站点与归档 (push) Skipped
CloudLab CI/CD / 部署到 lab.hdtime.space(rsync) (push) Skipped
CloudLab CI/CD / 构建镜像并推送 Gitea 容器仓库 (push) Skipped
CloudLab CI/CD / 容器部署到 lab.hdtime.space (push) Skipped
CloudLab CI/CD / 发布版本(Tag) (push) Skipped
分类体系:自建 14 类学科树(A 总论 / B 化学 / C 分子生物学 / D 遗传 /
E 细胞微生物 / F 人体医学 / G 生信 / H 实验方法 / I 计算模拟 / J 法规伦理 /
K 教材 / L 文献 / M 数据 / Z 工程资产),带分类号与索书号

底层上架:生命科学资料库 19 个 00–18 编号目录 → 学科码前缀目录,
书架按分类号相邻排列;同步重建 files.json / external-sources.json /
去重跳转页 / 门户目录说明;path-aliases.json + CL.resolvePath() 保证
收藏 / 书签 / 外部旧链接不失效

编目:catalog.json 全量 3456 条(学科/主题/索书号/架位),
2163 条上架,1293 条 AtomLab 运行时数据与源码归 Z 原位保留
(前端 3D 与构建脚本按固定路径加载,移动会失效)

翻阅:图书馆默认「学科书架」视图 + 学科大厅分类指示牌 + 二级主题架;
保留「目录」与「文件格式」视图可切换;面包屑显示学科

入库规范:docs/编目规范.md + tools/classify_new.py(新资料自动给分类号
与目标架位),后续搜集按同一分类

验证:不变量 216/FAIL 0、21 个 UI 测试全绿(新 ui_subject 16/16)

Co-Authored-By: WorkBuddy <noreply@workbuddy.ai>
2026-11-21 21:48:54 +08:00