01 / 服务内容
我们具体做什么
以下能力可以按模块单独启用,也可以组合成完整交付链。
标签集与手册
定义标注层级、粒度、互斥规则与边界示例。
标注者培训
统一培训后考核,通过一致性测试才进入正式批次。
双盲与仲裁
双人独立标注,分歧样本进入第三方仲裁。
一致性监控
按标签维度计算 κ 或 α,及时暴露模糊边界。
版本与抽检
标注文件带版本号,交付前按比例分层抽检。
02 / 工作流程
如何推进
每个阶段都有明确的产出物与检查点,进度与风险在过程中暴露,而不是等到验收。
- 01W1
标签集设计
与研究团队确认标注层级、粒度与判定规则。
- 02W2
试标与修订
用 30–50 条样本试标,暴露模糊边界并修订手册。
- 03W3–W8
培训与正式标注
标注者通过一致性测试后双盲标注,分歧进入仲裁。
- 04W9
复核与报告
分层抽检并输出一致性报告。
03 / 服务说明
适合谁,如何开始
我们做什么
标注决定数据能回答多细的问题。我们从标签集开始:与研究团队一起定义标注层级、边界判定与分歧处理规则,写成能培训、能复核、能版本化的标注手册,而不是让标注者凭经验自由发挥。
执行层面分三步:先小样本试标,暴露手册里的模糊边界并修订;再培训与考核,标注者需通过一致性测试才进入正式批次;最后双盲标注与第三方仲裁,分歧样本进入复核队列,而不是被平均掉。全过程记录每个样本的标注者、时间与版本。
一致性不是最后才统计的数字。试标阶段就把 κ 与 α 纳入判断标准,标注过程中按周抽检,某一类标签持续分歧时暂停并修订规则,避免交付前才发现大范围返工。
适合谁
适合需要结构化标签的团队:语音转写与韵律标注、课堂话语功能编码、情感与副语言标签、医患对话的临床变量标注、眼动兴趣区划分,以及需要为模型训练准备高质量监督信号的 AI 团队。
如何推进
- 标签集设计:确定层级、粒度、互斥规则与示例。
- 试标修订:用 30–50 条样本暴露边界问题,修订手册。
- 培训与正式标注:标注者通过一致性测试后上岗,双盲执行,分歧进入仲裁。
- 复核与交付:分层抽检,输出一致性报告。
交付与验证
交付包括标注手册与标签集、标注者培训与考核记录、双盲标注与仲裁结果、一致性报告(Cohen’s κ 或 Krippendorff’s α)。我们按标签维度分别报告一致性,而不是只给一个总分;低一致性标签会说明原因并给出修订建议。所有标注文件带版本号与变更记录;若客户有既定验收口径,我们会把对应阈值写入测试计划并逐项核对。
如何开始
准备一段有代表性的样本与初步标签想法即可。我们先评估标注工作量与一致性风险,再给出周期、人员配置与报价。已有标注体系的项目,可以先做一次一致性审计,再决定是否重建。
04 / 交付物
交付什么
交付物按可引用与可复现的标准整理:命名、元数据与验证记录齐全,可直接进入分析或归档。
交付项 01
标注手册与标签集
交付项 02
标注者培训与考核记录
交付项 03
双盲标注与仲裁结果
交付项 04
一致性报告(κ / α 与置信区间)
可复现审计包
数据字典、处理脚本、参数配置与验证报告随交付一起提供。按文档重跑即可核对结果,便于论文附录、结题材料或内部审计引用。
05 / 常见问题
常见问题
没有覆盖到的问题,可以直接联系我们。
一致性要达到多少才算合格?
按任务与标签复杂度事先约定阈值:探索性标注通常 κ ≥ 0.70,可引用交付通常要求 κ ≥ 0.80;低于阈值会先修订手册,而不是硬交。
标注者懂专业领域吗?
按项目匹配语言学、临床或教育背景的标注者,并提供领域培训与术语表。
能用我们已有的标注体系吗?
可以。我们先做一次一致性审计,确认规则可执行后再承接标注,必要时补充边界条款与示例。
标注数据如何交付?
TextGrid、ELAN、JSON 或 CSV,附标签字典、标注者编号与版本记录。
06 / 相关数据集
这些数据集用到了本服务
数据目录中的公开条目,可作为规格、标注与交付格式的参考。