feat: 补 MIT 许可、自动抓取工具与学科覆盖元数据
一些检查失败了
ci / lint (push) Failing after 52s

登记 chinese-poetry / ck12 / phet,并让 source schema、lint 与 INDEX 能按学科和抓取进度消费。

Co-authored-by: Cursor <cursoragent@cursor.com>
这个提交包含在:
2026-08-22 01:27:25 +08:00
父节点 4c054340dc
当前提交 a006c8c504
共有 23 个文件被更改,包括 2510 次插入 和 111 次删除

查看文件

@@ -2,11 +2,12 @@
本文件是 `sources/`、`structured/`、`edu-derived` 所有 lint 的**唯一权威依据**。任何 source 记录的 `license`、L3 记录的 `license`、L4 资产的 `license_out` 必须是下表枚举值之一。
## 枚举(8 值)
## 枚举(9 值)
| license | 含义 | 可进 derived | 可商用 | 典型来源 |
|---|---|---|---|---|
| `official-free` | 官方免费发布,允许教学使用 | ✅ | 视条款 | 剑桥样卷/词表、CCF CSP 真题、国家平台导出(仅教学) |
| `mit` | MIT 开源许可,保留版权与许可声明即可 | ✅ | ✅ | chinese-poetry(古诗文)、chinese-xinhua |
| `cc-by` | CC-BY,署名即可 | ✅ | ✅ | PhET |
| `cc-by-sa` | CC-BY-SA 同享 | ✅ | ✅(同享) | ECDICT |
| `cc-nc-education` | 教育/研究用途,非商业 | ✅ 但 `product_safe=false` | ❌ | CEPOC、C-Eval、Ape210K、Math23K、CMATH |
@@ -17,18 +18,20 @@
## 组合规则(lint 强制)
1. **L3 记录对外许可** = 其引用的所有 source license 的**最严格者**(取序:`restricted` > `internal-only` > `unknown` > `cc-nc-education` > `cc-by-sa`/`cc-by`/`official-free`/`llm-generated`)。
1. **L3 记录对外许可** = 其引用的所有 source license 的**最严格者**(取序:`restricted` > `internal-only` > `unknown` > `cc-nc-education` > `cc-by-sa`/`cc-by`/`mit`/`official-free`/`llm-generated`)。
- 例:词库词条 = `official-free` 原词表 + `cc-by-sa` 释义 → 整条按 `cc-by-sa` 对待(须署名)。
- 例:gloss 含 `llm-generated` 部分 → 该字段按 `llm-generated` 处理,记录整体按最严格者。
2. **L4 资产红线**:`inputs` 中出现 `restricted` / `internal-only` / `unknown` → **lint 直接失败**(即"衍生层不得引用受限原始数据"的机器实现)。
3. **`product_safe = true`** 当且仅当全部 inputs ∈ `{official-free, cc-by, cc-by-sa, llm-generated}`。
3. **`product_safe = true`** 当且仅当全部 inputs ∈ `{official-free, mit, cc-by, cc-by-sa, llm-generated}`。
4. `sources/` 条目 `license` 必填且必须合法;`unknown` 状态超过 30 天的条目 lint 报 warning(督促核查)。
5. **署名/声明义务**:`mit` 与 `cc-by`/`cc-by-sa` 均要求保留出处。派生产物对外发布时,须在页面或包内保留来源仓库名与许可声明(MIT 需附原 LICENSE 文本)。
## 红线速记
- **restricted / internal-only 数据永不可进 derived,永不可对外产品使用。** 它们只作内部参考,存在 `edu-raw/` 受控归档。
- `cc-nc-education` 可在内部教研使用、可生成内部衍生资产,但 `product_safe=false`,不得用于对外收费产品。
- 对外产品(自学平台公开内容)只可用 `official-free / cc-by / cc-by-sa / llm-generated` 且 `product_safe=true` 的资产。
- 对外产品(自学平台公开内容)只可用 `official-free / mit / cc-by / cc-by-sa / llm-generated` 且 `product_safe=true` 的资产。
- **公版文本(古诗文等)走 `mit`/`cc-by-sa` 的开源汇编仓库最安全**:文本本身已过版权期,汇编仓库的开源许可只要求署名,因此可对外商用。
## 引用本文件