Files
DevFlow/docs/02-架构设计/专项设计/数据存储架构-定稿-2026-10-05.md

4.0 KiB
Raw Permalink Blame History

DevFlow 数据存储架构 — 定稿总结

2026-10-05 AI-Ops 归纳。来源:四维评估(空间治理/换库对比/量级基准/分布式协同)全部结论收敛,条款详见 todo「基础设施走查-1005」与「上下文精细化管理」两段。

一、三条定调(用户拍板)

  1. 量级前提:全生态实测 ≈2.1GB(本机 ~/.claude 2.0G + 六容器实例 <25MB)×10 ≈ 21GB;流水不进主库,主库 GB 级以内。
  2. 技术选型:桌面端 SQLite 不换(换库是周级工程,PG 的优势场景用不上);流水外置用文件(Claude Code 自身先例:jsonl 存会话);PG 属于未来云端服务端(S3 多人时进,桌面不动)。
  3. 向量非必选:知识库检索按无向量设计(关键词+标签+kind 分簇),embedding 相关字段与管道视为遗留物。

二、分层架构

热层(主库 SQLite)     结构化条目:消息/任务/知识/审批 — GB 级内,D1-D3 治理
   │ compress(相关性驱动,R 条款)
温层(外置文件区)      流水 jsonl / 工具大结果(>30 天外置)/ 长文档 — 内容哈希 id,
   │ distill(蒸馏)     按会话/任务索引,跨会话跨端可找回(C5=量级前提)
冷层(知识库)          蒸馏条目:精巧即时、代谢进化(R7)、准入分级(R4)、无向量检索
   │ inject(auto_inject,验证后准入)
热层(反哺新会话)

同步桥(横向):条目变更事件流(append-only)复用 u-relay/df-tunnel;
各端 SQLite 离线自治;冲突普通条目 LWW、关键实体状态机(task_state_machine CAS 先例);
云端多人(S3)时服务端 PG 作汇聚点。

三、统一条目模型(R8,架构轴)

  • 一条信息 = 唯一 id + 内容 + 溯源 parent 链 + 元数据(相关性/时效/频率/归属/origin/修订)
  • 生命周期状态机:hot → warm → cold → dead;compress/reload/distill/inject/merge/evict 都是状态转移
  • 四类卡(10-04 设计)/知识条目/外置件 = 同一 schema 的类型扩展;新策略可插拔、新存储后端 = warm 层 trait
  • 实施含义:C-m1 建模时四个分布式预留字段(归属/origin/修订/内容哈希)一次建齐,后续不再动地基

四、治理与度量

  • 空间:D1 VACUUM 止血(168MB→~70MB)/ D2a 结果 30 天外置 / D2b 月度定例 / D2c 文件:数据比 >1.5 告警
  • 知识代谢:R7 入库先查存量(update 路径)/ R4 准入分级(candidate 不注入,verified 或 reuse 达标)/ R7 精巧即时
  • 效果度量(R6):重载命中率 / 误压率 / 蒸馏采纳率;ai_messages 全程记录,评测基建现成

五、落地序

C-r0 验证后台化(独立先行)→ C-m1 建模(含四预留字段)→ C-m2 时机关联 → C-r1 按段重载 → C-m3 外置+蒸馏衔接(依赖知识库重审设计五步序)→ D 系列并行。

六、团队级 / 平台级 演进(用户 10-05)

原则:演进不推翻 — 单机 → 团队级 → 平台级逐层加高,桌面端 SQLite 与统一条目模型永远不动;R8 预留的 scope/归属字段在此兑现(团队级 = scope 增加"团队"档,不是模型重构)。

数据三分类定共享边界:

  • 私有(个人会话/上下文/记忆)→ 端内自治,永不上云
  • 团队共享(团队知识/任务/项目/审批规则/模板)→ 团队空间事件同步
  • 平台公共(跨团队知识/配额/审计)→ 平台层

团队级:一台汇聚节点(常驻机器)跑服务端 + PG 从第一天启用;成员桌面端照常 SQLite;共享空间走条目事件同步,私有不出端。与 u-claw 生态同构(u-relay 汇聚 + 各端自治),即该模式的产品化。

平台级:多租户 PG(小客户共享库+租户 id 行级 / 中型独立 schema / 大客户独立库,按规模分档)+ 温层升对象存储(内容寻址不变)+ 审计合规(events 表已有底子)+ API 网关/认证/配额服务层。

三阶段存储引擎各就各位,无任何阶段需要改条目模型或推翻同步协议。

关联文档:「上下文三层记忆-设计-2026-10-04」(实施主依据)/「知识库模型重审-精细化设计-2026-10-05」(冷层细则)/ todo R1-R9(风险条款全量)。