互联网高速发展的时代，每个人都处在海量的信息海洋中。信息便捷能够带来服务和消费体验的升级，但同时，大量未经核实的信息对国家安全、社会稳定、青少年健康，都会造成不良影响。

国家互联网信息办公室部署开展 2021 年”清朗”系列专项行动，将从 8 个方面发力严格把关不良违规内容，重点整治网上涉历史虚无主义、涉黄涉非、涉低俗等有害信息。

对每一家互联网内容平台来说，为确保平台内容的合法性和规范性，健全平台内容审核机制已成为必须重视的问题。而如何进行内容安全审核系统的设计，如何实现流程，如何达到合规性的标准……这些亦成为互联网平台运营者搭建内容安全审核系统所必须思考的重点。

审核是对产品风险的把控，也是维护网络生态环境重要的一环。由于AI审核的局限性，互联网平台如需达到99%以上的准确率，需要人工审核的接入。

下面，就让我们一起来了解下，内容审核都涉及哪些类型、哪些流程，以及该如何实现：

审核类型

内容类型：文本、图片、视频、音频、直播、游戏、广告、互动、个人信息。

审核类型：涉政、涉黄、暴恐、涉赌、侵权、违禁品、广告、辱骂、民族宗教、意识形态等。

审核流程

参与对象：发布者、浏览用户、内容审核（一审、二审、质检、管理员等）等。

✔ 用户发送信息流程：用户登录——内容编辑——内容上传——内容展示

✔ 用户接受信息流程：用户登录——内容展示——互动

机器审核实现思路

1、文本审核

✔ 将关键词分为：完全禁止（色情、广告引流等）、需审核关键词。通过关键词过滤，检测到比较模糊是否为违规关键词的需要进入人工审核流程。

✔ 关键词的类型分为不同类型进行检测，关键词库做成可配置的方式，以供应对不同的场景。

2、图片审核

✔ 审核类型：图片主体、图片动作、图片文字、图片质量、图片广告（二维码、水印等。

✔ 智能处理：指定目标识别、指定场景识别、指定情节识别、图像分类、图像分割等。

✔ 针对不同的内容，可自行配置图片审核策略。

3、视频审核

视频审核和图片审核的逻辑是一样的，区别在于：

✔ 视频的审核需要先进行截取视频某一帧画面然后再进行图片审核；

✔ 视频还需要进行音频审核。

4、音频审核

音频审核需要重视两个方面：

✔ 音频转文字后，进行关键词内容审核（同文本审核逻辑）；

✔ 对音频动物、喘息声纹进行阈值管理，分为：正常区域、疑似区域、违规区域。

5、限定符

设置字符间可忽略的字符数。例如：“性感”为违规词，为了规避用户可能会用“性1感”，因此在“性感”中间加入限定符以检测。还有正则表达式、乱码、数字乱序等。

人工审核实现思路

1、人工审核机制

1）人工审核主要场景：

✔ 平台对于准确率要求极高，需要达到“万无一失”；

✔ 机器转发至人工审核进行二审、三审（系统审核为疑似内容、检测为高危用户等）；

✔ 随机抽样审核。

2）人工任务分配机制：

✔ 内容分发的依据是根据内容类型（图片、文字）分发对应的审核专家；

✔ 分配时间机制：

- 7*24小时审核场景机制
- 优先审核场景机制

2、人工审核系统模块

✔ 账号管理：超级管理员可以通过系统管理人工审核账号，包括开通、删除、权限管理等。

✔ 质检平台：对于人工审核的质量需要进行质检，形式有抽检、交叉审核、复审。内容被人工审核后随即一部分进入交叉审核或者给到专门做二审的部门（KPI不同），若两次审核结果不一致则需复审，复审由更高一级负责人完成。

✔ 人工审核平台：审核人员通过平台对图、文、音、视频进行审核。不同类型前端样式的设计也是不同的。以视频审核页面的配套功能举例，需要有倍速浏览、自动播放等功能。

3、投诉复审和定期巡检

✔ 发布者有申述通道，那么对于人工审核人员中，也需要有对应处理申述的后台。

✔ 对于PV高、评论高、有用户投诉的内容进行定期巡检。

淘丁内容安全业务自2018年4月开始，服务于互联网平台线上产品安全审核工作，对各类违法、色情、涉政等不良违禁信息实行7*24小时即时审核，对有害信息进行人工甄别，确保产品绝对安全。

淘丁数据标注团队现有人员规模近500人，业务分部在西安、宝鸡、渭南、临汾、太原等地。淘丁与国内大型企业深入合作，日常处理项目量级均为百万级以上，部分数据量级超过千万，拥有稳定充足的业务来源。各类标注项目经验丰富，可为人员提供标准化、体系化的培训。

淘丁集团专注于互联网内容安全和数据标注业务领域，拥有千人专业团队，经验丰富，准确率高，服务类别多，团队体系成熟，能快速响应大量业务需求。

欢迎互联网公司、人工智能机构对接洽谈合作，咨询热线：029-85799062。