Files
hmandWorkBuddy 43b8757e94
CloudLab CI/CD / 门禁 doctor (push) Failing after 44s
CloudLab CI/CD / 单元测试 (push) Skipped
CloudLab CI/CD / 归档完整性 (push) Skipped
CloudLab CI/CD / 构建站点与归档 (push) Skipped
CloudLab CI/CD / 部署到 lab.hdtime.space(rsync) (push) Skipped
CloudLab CI/CD / 构建镜像并推送 Gitea 容器仓库 (push) Skipped
CloudLab CI/CD / 容器部署到 lab.hdtime.space (push) Skipped
CloudLab CI/CD / 发布版本(Tag) (push) Skipped
feat(arch): 统一存储与分片索引架构(检索下载量 -80%)
用户:资料越来越多,需要有效的存储与索引架构。诊断出 6 个问题:
全量加载 4.99MB search.json、O(N) 线性扫描、同批书存 4-5 份、
硬编码文案、工程资产污染检索、入库要跑 5 步脚本。

架构(docs/存储与索引架构.md):
- registry.json 单一规范数据源:合并 7 台账 + files.json,按路径去重,
  sha 指纹支持增量;旧台账保留兼容
- idx/ 分片倒排索引:按学科分 13 桶,Z 工程资产(3460 文件)不进索引;
  倒排表 term→[ids] 紧凑数组;manifest 用词→13bit 位掩码路由
- cl-index.js 前端惰性加载:只下载命中分片,内存缓存,异常回退旧 search.json
- build_index.py 增量构建:未变分片复用(首次 1.98s → 增量 0.21s)
- rebuild_all.py 全链入口:一条命令完成台账合并→编目→建站→数据→索引

实测收益:
- 单次检索下载 4.99MB → ~1MB(命中 F 分片),二次查询 0
- 索引总体积 2.87MB < 旧 search.json 4.99MB(-43%)
- 检索复杂度 O(N) → O(命中 posting 数)
- 搜索框真实统计替代硬编码'2000+'

关键 bug(测试抓到):cl-index.js 抢占 window.CL 导致 shell.js 的
'if (window.CL) return' 守卫跳过整个初始化 → 改为 window.CLIndex 独立命名空间,
由 shell.js 初始化时挂载。

验证:ui_index_arch 13/13;UI 不变量 216/0;全链重建幂等 catalog 6177;
data02/03 6/6。向后兼容:旧数据文件全部保留。

Co-Authored-By: WorkBuddy <noreply@workbuddy.ai>
2026-11-23 04:59:59 +08:00
..