郑州信息网 > 热点信息 > 正文
AI数据质检解决方案:为算法把好最后一道关
网络整理 2020-03-31 21:12
repeat
IDC预测,2020年全球将拥有35ZB数据量。
随着人工智能的发展,人工智能多模态、非结构化数据量愈发庞大,数据种类逐步复杂化,多模数据组合标注等需求进一步显现出来。
数据的获取方式
从企业AI数据需求角度出发,获取数据的形式主要为自行生产和委托数据服务企业两种形式。在数据服务行业中,一般也通过自制、众包、外包三种模式完成数据处理业务,这三种模式优劣势也非常明显。
自制:
优势:标准唯一数据质量高;人员专业程度高。
劣势:实施场景单一,人员培训成本高,只能为特定的客户服务。
众包:
优势:用户众多,遍布全球,线上操作,成本低效率高。
劣势:仅适用于简单易实施项目,数据零散,需专业人员统一收集再处理。
外包:
优势:承包给一个或多个外包商,外包商对数据结果负责。
劣势:对于复杂项目不能较好的理解客户需求,数据质量参差不齐。
高质量的数据是算法提升的关键
数据的质量决定了AI算法的性能。中国作为全球人口最多的国家,拥有着全球最多的数据,然而对于AI算法来说数据量大并非等同于数据质量高,只有客观、精准、自然标注数据,才是算法提升的关键。
▲李开复博士演讲中提到“AI算法固然重要,数据更重要”
目前大多数数据服务企业,只支持单一模式完成数据处理,无法同时满足客户对工期、成本、质量及数据多样化的要求。近年,也有不少人工智能企业尝试自行制作数据,却因资源缺乏、对数据处理团队管理僵化、数据处理经验不足等问题,导致数据质量参差不齐。
数据堂通过三大产品矩阵互连互通——基础数据集、数据定制服务、私有化数据标注平台,真正为客户实现一站式数据解决方案。
数据质检解决方案
数据堂凭借多年数据业务经验积累,总结出一套完善的数据质检流程。可提供高度精细、标准化QC流程的质检服务,质检数据整体准确率达96-99%。
▲质检人员办公场景
数据质检服务内容
(一)数据质检员:
对外输出专业质检员资源,可承担具体的数据质检任务,同时也支持帮助客户培训、筛选、优化现有的质检团队。
(二)项目质量管理:
制定数据质量标准:由专门负责数据质量管理人员整理,减少客户的各项直接成本(沟通、培训等)或其他隐性成本;
输出数据质检资源:由质量管理人员安排质检员进行项目质检,减少客户非核心业务的工作量,达到降低成本和提高效率的目的;
数据质量持续改善方案:避免同类错误重复出现,持续改善,减少算法应用数据的偏差;
项目质量管理报告:为客户展示数据质量的整体情况,以便定期跟踪和复盘。
(三)数据质量管理体系建设:
搭建较为全面完善的数据质量管理体系,为项目开展等提供全方位支持。
数据质检服务能力
语音数据:
中文普通话采集及标注;方言采集及标注(昆明/武汉/长沙/四川/粤语等);外语采集及标注(口音英语类:中国/西班牙/法国/德国/葡萄牙/意大利/俄罗斯/巴西/韩国/日本/加拿大/新加坡/马来西亚等国人说英语;母语类:意大利语/德语/葡萄牙语/西班牙语/日语/韩语等);特定指令及场景语音采集(唤醒词/数字文本语音/声纹识别语音/演讲语音/自然对话等)。
图像数据:
图像采集:人像采集(活体对抗采集/3D手势/3D人脸/人脸多姿态/亲属人脸采集/指纹采集/表情视频/人脸肤质采集等);场景采集(室内外监控/驾驶行为采集/家居环境采集/道路景象/指定物采集/360度景象采集等)。
图像标注:人像标注(人脸关键点/行为/人像服饰分割/人像抠图/人脸毛孔标注/皱纹标注等);OCR标注(问答类/游戏类/多国语言);场景标注(3D点云标注/雷达数据标注/指定物标注/深度图像标注/交通道路线/交通标志标注等)。
文本数据:
韵律标注/分词标注/词性标注/实体标注/多次交互标注/多音字标注/数字读法标注/字符读法标注/TTS-中英文拼音标注等。
质检案例
案例一:交互类语音标注数据质检
与某大型公司合作质检:2019年8月-12月,共完成18个项目、26万条数据、27批次质检任务,返工量约为0.02%。全部通过客户验收,直接被用于算法训练,高效完成客户要求,为客户节省时间成本。
参与人员:
质量管理人员——1人,负责对接客户需求、任务安排和验收;
质检专员——7人,负责数据质检和进度报告。
案例二:街景图片标注数据质检
转载请标注:信息网——AI数据质检解决方案:为算法把好最后一道关
- 搜索
-
- 2023-02-10青州市王母宫经济发展区
- 2023-02-10为有机奶粉赛道注入新活
- 2023-02-10 拳头游戏任命朱承华为中
- 2023-02-103M:将持续释放人、创意与
- 2023-02-10六年深耕“超分子技术”
- 2023-02-10抵制加油套路骗局,用团
- 2023-02-102499元起!全新一代潮玩电
- 2023-02-10华帝巨能洗洗碗机B7:不让
- 2023-02-10Miley Cyrus新歌《Flowers》治
- 2023-02-10砥砺奋进谱新篇,福临门
- 2019-08-08越狱未遂黑帮头目上吊身
- 2019-09-26吴刚:挺高兴能藏在角色后
- 2019-09-272019假期不够用?最强拼假
- 2019-10-03第一枚金屬國徽(新中國
- 2019-10-07女排世界杯-朱婷独揽22分
- 2019-10-07巴中一山体滑坡致3户农房
- 2019-10-13云南"啃老族"向县委留言要
- 2019-10-14徐峥《囧妈》首度官宣阵
- 2019-10-16大二女生兼职路上遇车祸
- 2019-10-19网曝那英准备离婚 孟桐黑
- 2023-02-10青州市王母宫经济发展区
- 2023-02-10为有机奶粉赛道注入新活
- 2023-02-10 拳头游戏任命朱承华为中
- 2023-02-103M:将持续释放人、创意与
- 2023-02-10六年深耕“超分子技术”
- 2023-02-10抵制加油套路骗局,用团
- 2023-02-102499元起!全新一代潮玩电
- 2023-02-10华帝巨能洗洗碗机B7:不让
- 2023-02-10Miley Cyrus新歌《Flowers》治
- 2023-02-10砥砺奋进谱新篇,福临门
- 网站分类
-
- 标签列表
-