使用说明 | AI Studio 一键测评模块使用手册 - TencentCloudAIGroup/aistudio GitHub Wiki
AI Studio致力于提升AI应用使用体验,目前推出一键测评模块,帮助用户快速测评腾讯云AI服务,获取评测数据。
目前语音识别评测服务已上线,用户可以根据本文档了解如何使用腾讯云语音识别服务评测工具。
一、界面预览
- 左侧菜单栏选择【一键测评】,进入一键测评模块页面
- 使用测评服务前,需要点击右上角【登录】按钮,完成腾讯云公有云账号登录
- 用户可以在页面顶部完成想要测评的服务的选择,当前语音相关内容支持录音文件识别和实时语音识别两个接口的测评服务
- 测评服务对标注测试集有一定的格式要求,请仔细阅读相关注意事项,完成标注测试集的制作。我们也提供了标注测试集的制作说明文档供用户参考:使用说明 | ASR 测试集制作
- 启动测评服务前,需要选择相关的测评参数,语音识别需要确定音频语言、音频采样率以及引擎模型的值,这里需要保持跟标注测试集的内容保持一致
- 根据用户选择的测评参数,平台提供了对应的标注测试集模板供用户直接使用或参考修改
二、操作指引
下面我们通过一个实例,展示下如何进行一次评测流程。
a. 准备评测语料
点击页面模板链接,查看测试集的格式样例:
测试语料包含两部分:
- 音频文件:业务场景中收集的音频数据,采样率为 8k 或 16k
- 标注文件:通过人工方式,将音频中包含的人声发言,记录到文本文件中
其中,标注文件中数字,需要标识为中文大写形式,例如文本“小明考了98分”,需要标注为“小明考了九十八分”
其他注意事项,参考页面:
测试集制作,可参考:使用说明 | ASR 测试集制作
b. 提交评测任务
下面新建评测任务
第一步:选择相应参数
根据音频信息,选择对应的识别语言、音频采样率
不同引擎类型,已针对特定场景进行优化,在匹配场景下拥有更好的识别效果,这里选择最适合的引擎类型即可,如下
引擎类型 | 场景 |
---|---|
16k_zh | 中文通用场景 |
16k_zh_video | 中文音视频领域 |
16k_zh_edu | 中文教育场景 |
16k_zh_medical | 中文医疗场景 |
16k_zh_dialect | 多方言场景,现已支持 23 中方言 |
第二步:上传标注测试集
将准备好的测试集,压缩打包,通过页面上传
点击确认提交,完成评测任务的创建。
c. 获取评测结果
任务执行过程中,可通过评测页底部的评测任务管理列表,查看任务状态。
任务状态显示【成功】后,点击右侧【查看结果】,即可查看评测结果:
可以看到评测效果指标字准率(即上述字正确率)、WER、插入/删除/替换错误率,测评结果的说明可以参考:使用说明 | ASR 效果指标。
同时,也可点击下面的下载地址,获取评测报告和识别结果文件,进行进一步分析。