45 行
2.7 KiB
Markdown
45 行
2.7 KiB
Markdown
# 题库 INDEX — 数据总览与使用指南
|
||
|
||
> 更新：2026-08-21 ｜ 格式规范见 [SCHEMA.md](SCHEMA.md)（qb-1.0）
|
||
|
||
## 一、现有数据
|
||
|
||
| 文件 | 级别 | 套数 | 空格/小题 | 多答案小题 | 来源 | 许可 |
|
||
|---|---|---|---|---|---|---|
|
||
| `cepoc-a2-key.jsonl` | A2 Key | 6 | 68 | 14 | CEPOC（剑桥 ALTA 官方开源） | `cc-nc-education` |
|
||
| `cepoc-b1-preliminary.jsonl` | B1 Preliminary | 21 | 150 | 24 | CEPOC | `cc-nc-education` |
|
||
| `p2/out/*.jsonl`（6 份） | A2+B1 | 6 卷 | 131 | — | 剑桥官方 2022 样卷 | `official-free` |
|
||
| **合计** | | **33** | **349** | | | |
|
||
|
||
> P2 详情（成功率 112/112 对账、token 成本、风险点）见 [p2/P2-REPORT.md](p2/P2-REPORT.md)。解析器：pymupdf4llm。
|
||
|
||
## 二、待入库（已规划）
|
||
|
||
| 优先级 | 数据 | 预估规模 | 许可 |
|
||
|---|---|---|---|
|
||
| ~~P3~~ | ~~官方词表 → 词库~~ **已完成** → 见 [../vocab/INDEX.md](../vocab/INDEX.md)（A2 1740 + B1 3172 词条） | — | `official-free` |
|
||
| ~~P3.5~~ | ~~词库中文释义+音标~~ **已完成** → 见 [../vocab/INDEX.md](../vocab/INDEX.md) §三·五（ECDICT 4804 + LLM 98，音标覆盖 93.3%） | 4902 条 | ECDICT `CC-BY-SA-4.0` / LLM 生成 |
|
||
| P4 | tape script + mp3 精听语料 | 2 套对齐文本 | `official-free` |
|
||
| P5 | SkoolPlus 教材（ECS 下载后） | 20+ 套模拟题 | `restricted`（仅本地） |
|
||
|
||
## 三、下游 agent 使用须知
|
||
|
||
1. **读库**：JSONL 逐行 `json.loads`；一条记录 = 一个任务（语篇+多小题），不是单题
|
||
2. **判题**：必须按 SCHEMA.md 第二节规则——`strip` + 大小写不敏感 + `answers_accept` 集合匹配；38 个空有多个可接受答案（如 `["because","as","since"]`），字符串全等会误判
|
||
3. **许可红线**（按 `license` 字段过滤）：
|
||
- `official-free` → 可进部署的英语门户
|
||
- `cc-nc-education`（CEPOC 全部数据）→ 自用/练习工具可以，**禁止商业化与再分发**
|
||
- `restricted` → 任何对外输出都不允许出现
|
||
4. **完形上下文切分**：`passage.split(blank_token)`，段数 = 空数 + 1
|
||
5. **CEPOC 的 `part` 为 null**：数据混有 2020 改版前真题（KET 11-12 空/套、PET 6-8 空/套），与新版题型空数不符，见记录内 `note` 字段
|
||
6. **P2 记录的媒体引用**：`meta.media[].path` 与 `meta.audio` 为相对路径（前者相对 question-bank 目录，后者相对 english-site 目录）；图片选项题（听力 Part 1）`options=null`，必须渲染 `meta.media` 图片作答
|
||
|
||
## 四、复现
|
||
|
||
```bash
|
||
cd data/question-bank
|
||
python3 scripts/convert_cepoc.py <cepoc-main 绝对路径> .
|
||
```
|
||
|
||
转换脚本内置校验：空格数与小题数一致、题号不重复、答案非空、id 唯一。2026-08-21 校验全部通过。
|