帮助中心 ‐ 运营端 - opendatalab/LabelLLM GitHub Wiki

1. 访问平台

1.1 登录注册

输入用户名+密码，进行登录或注册。

007c8e1daac86e140d2a717a8c6b5af

2.1 标注任务

2.1.1 创建任务

Step1.填写基本信息

  1. 填写任务名称、任务描述
  2. 配置标注规则：配置一道题需要被回答几轮（说明：同一题如要求多次标注，同一个人最多抽到一次）
35a6967a5f3f8fd62bca08f28aa6aaa

Step2.配置标注工具

标注配置

  1. 可从3个维度去配置题目，每个维度可配置的题型如下：
维度 可配置的题型 配置后的示意图
针对整段内容/对话 选择题、文本题（输入框）
选择题/文本题配置说明：
每道题均可配置显示条件，符合条件后此题方出现。
说明：题目需填写完整后，方可配置“条件设置”
选择题可配置项如下：
a. 多选/单选
b. 必填/选填
c. 显示条件
文本题（输入框）可配置项如下：
a. 必填/选填
b. 显示条件
c. 预览是否默认展开
d. 是否支持上传附件（上传格式支持如下：图片-png/jpg/jpeg/gif、视频-mp4/mov、音频-mp3；单个文件大小不超过50M）
e. 最大字数限制
f. 默认提示文案		 image
针对对话里的每条回复 选择题、文本题（输入框）、排序（支持配置同一序号是否可重复选择） image
针对对话里的每个提问 选择题、文本题（输入框） image
  1. 上传JSON配置：自定义维度支持上传JSON，可参考任务配置格式 ，任务完成配置后亦支持在任务详情页下载此任务的配置JSON
1 2
e1a1a6a2da001cec203d22ede855c44 5754bc378118a67dff0c30e33bc5245

题目插件配置

说明：插件形式，支持启停，默认为关闭状态

维度 可配置的插件 配置后标注页面的示意图
针对对话中的提问（message-type：send） 内容对比（支持通过快捷键Alt+3对内容对比的弹框进行展开收起）cc09badbf268b7315ac7d15056d7411  ca32b0dd16d86e93b70c28cf78a217d

布局配置

说明：可针对对话（messages）进行布局配置，影响标注页面标注员看到的排版布局。 默认1栏，可选择配置为2栏、3栏或4栏 说明：多栏的排布逻辑 - 每条提问或回复一栏，按上传的顺序横向排布，超出配置栏数后换行 示例如下

1栏 2栏
image image
3栏 4栏
image image

2.1.2 派发任务

1. 预览配置

上传数据后可进行任务的预览，如配置的工具或上传的数据不符合要求请在任务开始前进行修改。说明：任务开始后已配置的标注工具不支持修改

2. 导出配置

支持下载此任务的配置JSON

3. 数据上传

支持上传.jsonl文件，单个文件15M以内。上传后如未开始任务，支持清空数据，一旦开始任务，数据只可新增不可删除。请在上传数据后进行预览配置，查看上传的数据是否符合要求。Jsonl格式要求见数据上传格式 ，支持上传预标注。 说明：如上传的数据中含预标注，系统会进行自动载入，标注员可查看预标注结果并进行修改

4. 任务派发

  • 答题倒计时：每道题在用户手头的最长停留时长，超时未提交将自动回收
  • 标注团队：指定哪个团队标注，只有指定团队方可看到此任务，支持同时指派多个团队

5. 开始任务

一旦开始任务，被指派的标注团队即可看到此标注任务，否则不可见； 说明：任务信息中的工具配置，任务开始后不可修改；任务派发中的“答题倒计时”，任务开始后不可修改；以上模块如需修改，请在任务开始前进行更新

1 2
c5198198bf96fa626237ca427c380a0 535d9aaa3b18e32d4ad9dbc6a5b484a

2.1.3 查看进度

1. 数据上传

任务结束前均支持不断上传新数据

2. 总题数

指上传的题数*要求标注的轮次数

3. 已完成题数

标注完成题数 - 未达标题数

4. 标注进度

待标注的题数、标注中的题数、标注完成的题数、未达标的题数（指运营手动打回的题数）

5. 标注明细

  1. 可查看实际参与标注的用户其答题数情况、未达标题数情况、未达标率 - 未达标题数说明：指运营手动打回的题数
  2. 按钮“查看”：查看这人所有的答题结果
  3. 按钮“打回重做”：可指定标注员，打回此标注员所标注的题目，打回范围：除了已判定“未达标”的剩余题目

6. 下载

支持下载标注结果+标注记录（查看每道题具体谁标注的，什么时间标注的等信息）

7. 查看题目

2种查看模式，分为单题展示模式+源题组合展示模式（适用于一题多次回答，多个答案组合查看）；进入查看模式后，可查看全部题目，亦可指定题目范围批量查看或仅查看标为有问题的题目

8. 统计分析

  1. 数据分布：支持选择题的统计分析，查看每个选项的选择占比； 说明：文本题、排序题不支持; 未达标（运营打回重做）的题目不在统计范围内。
  2. 数据筛选：1.单题标注结果筛选：筛选出答题结果选择某个选项的题目列表；2.源题多结果对比：如存在一题多次回答的情况，支持筛选出多个答案均一致或存在不一致的题目 说明：未达标（运营打回重做）的题目不在统计范围内。
1 2
1234754efad48f3f6f8e344fb36dd09 61491ca503c64dcbe94c3543520bfdd

3. 用户管理

此模块仅对运营可见

3.1 标注团队

说明：对标注团队的管理，可新增标注团队，新增后可进行任务的指派（任务指派给哪个团队，哪个团队方可看到任务）；系统内置“默认团队”，新注册用户默认加入“默认团队”，加入其他团队后自动退出“默认团队”。

标注团队管理

1. 新增团队

支持新增标注团队

2. 团队成员管理

  1. 查看成员：支持查看所有团队成员
  2. 移除成员：移除后此用户将无法再看到指派给此团队的任务，此用户将自动加入“默认团队”
1 2
c7f7b4f882bb584eb11f42bb9755a68 7580043acdde35a300a6db8ed5a1845

3.2 运营人员

说明：对后台运营成员的管理，添加后此用户方有权限访问后台

运营人员管理

  • 查看成员：支持查看所有运营成员
  • 移除成员：移除后此用户将无法再登录后台
  • 添加成员：输入用户名（前提：此用户必须注册过LabelLLM）即可添加。
1 2
76fb44ae3d59703b042f93e2a86dd6d 85ebf3427b89fbea813ac7608f59d33
⚠️ **GitHub.com Fallback** ⚠️