logo

让风控领先风险 科学智能的内容风控系统面对哪些挑战?

来源:淘丁集团

近年来监管部门为了约束内容乱象,规范内容平台运营,不断完善相关的法律法规,加大打击违法力度。

让风控领先风险 科学智能的内容风控系统面对哪些挑战?插图

3月1日,中央网信办披露了“清朗·2023年春节网络环境整治”专项行动成效。截至目前,重点平台累计拦截清理违法不良信息119万余条,处置违规账号、群组16万余个,专项行动取得明显成效。
另一方面,2022年以来,中央网信办在全国“扫黄打非”工作小组统一部署下,深入推进网上“扫黄打非”工作,整治网上各类涉黄涉非问题。2022年,全国网信系统累计清理违法和不良信息5430余万条,下架移动应用程序420款,会同电信主管部门取消违法网站许可或备案、关闭违法网站2.5万余家。

一方面,随着监管升级,网络生态治理成为常态,内容安全关乎企业和平台生死;另一方面,各地监管单位更是面临着严峻的内容安全风控压力挑战。那么,新形势下,国家政策驱动内容风控工作开展。各行业如何有效开展内容风控工作?如何通过人工智能更好部署内容风控工作?

让风控领先风险 科学智能的内容风控系统面对哪些挑战?插图1

内容安全治理面临的三重挑战:内外部以及监管的多重挑战。

内部挑战具体包括:

一是在业务系统的迭代上。很难全面而清晰地考虑内容风险。风险点的持续监测、垃圾内容形式的千变万化、审核标准的不断调整,都要做到事先预估和全面整理,很可能成为业务发展的阻碍因素。二是资源投入及回报不对等。海量内容的人工审核成本较高,短期内只能看到成本投入,不能看到明显的收益和效果,导致前期请求资源得不到管理层的有效支持。三是内容风控安全与业务目标不一致。产品和业务的目标是快速提升经营的数据指标,然而,内容风控安全的介入则会在一定程度上减缓业务达到指标的速度,所以找到内容风控安全与业务目标的平衡点,亦是需要长期探索的问题。

外部挑战具体包括:

一是黑灰产通过广告内容进行导流。黑产会发布违规广告,通过广告进行导流变现,进而进行推广、宣传、广告甚至用于欺诈。二是多民族语言的识别要求难度高。我国民族多、语言多、文字多。互联网时代,越来越多的民族语言、文字以及风土人情展现在网络世界中。黑灰产可通过谐音、形近、表情、特殊符号、偏僻字、偏旁部首等特殊形式进行干扰,增大内容平台对民族语言的识别难度。三是内容存在众多的变种形态。例如图片带文字的干扰、图形符号的组合、文字穿插的干扰以及分段式的广告。

监管挑战具体包括:

一、内容合规有着严格的监管要求。涉政、违禁、暴恐、色情等文字、图片、视频、音频、网页均为违禁内容。若内容平台审核过滤出现问题,将直接导致平台面临约谈、整改、罚款、下架乃至关停等监管风险。涉政类包括涉及国家领导人、负面人物、负面事件等内容;违禁类包括涉及违禁品、违法行为等内容;暴恐类包括涉及暴力、恐怖袭击等内容;色情类包括涉及色情、辱骂等内容。

二、网络内容数量激增,安全监测、防护、审核压力倍增。数据显示,截至2022年6月,我国网民规模为10.51亿。网民数量激增也使文字、图片、短视频等各类网络内容激增。这其中违规内容层出不穷,且因其具备场景多、变种多、对抗性强等特点使审核难度增加。同时,在重要时期,还会有攻击者对网页进行篡改,传播不良内容,造成巨大影响。

三、辖区网络资产庞杂,易产生内容安全死角。监管单位重点关注的机构网络资产数量庞大且分散,各机构独自管理,若监管单位缺少对各机构的网络资产的统一管理措施,便容易出现资产遗漏的状况,导致内容安全死角的产生,带来未知的内容风险。

四、突发舆情热点了解不足,无法及时抓住源头。在突发舆情热点时,需要第一时间了解属地内的网络资产是否进行跟风、炒作行为。而由于监管单位人力资源有限,对于舆情热点,缺少专业团队进行跟踪梳理并及时解读。另外,对于发现跟风、炒作、发表不良言论的网络资产,也缺少有效工具及团队进行追踪溯源,导致无法在第一时间发现并阻断扩散源头。

让风控领先风险 科学智能的内容风控系统面对哪些挑战?插图2

如何跑赢风险?内容安全风控的现存问题互联网内容风控如今已是整个互联网行业公认的生存之基。虽然内容审核技术日趋成熟,但仍面临巨大挑战。

首先,审核存在滞后性,某些信息在认定为违规信息前可能已在互联网大肆传播;一些信息现在不是敏感信息,以后可能会变成敏感信息。

此外,违法违规信息的“伪装”“变异”技术在不断升级,以躲避检测识别。这也为互联网内容的监管和治理带来很大的挑战。因此,从资质、内容监管到运营,“全链条”是当下监管的主要特征之一,也为企业内容安全带来更高要求。

作为一家深耕内容安全风控多年的企业,淘丁集团从2018年开始,就已服务多家大型互联网平台和政企平台。全天候人工甄别,7*24小时即时审核,针对图像、文本、语音、短视频等多媒体内容,提供全方位的细节审核,覆盖涉黄涉恐、恶意推广、低质灌水、官方违禁内容库等丰富的审核维度,为业务健康发展保驾护航。

淘丁集团专注于互联网内容安全和数据标注业务领域,拥有千人专业团队,经验丰富,准确率高,服务类别多,团队体系成熟,能快速响应大量业务需求。对于一家普通公司而言,如果靠自己的力量来建立内容审核平台以及持续的技术投资,不仅会增加企业压力,同时还会影响企业核心功能的推进。因此将内容审核、保护对接给淘丁网安,将会大大助力企业降低成本、净化网络。

来源:人民中科社科院,如有侵权,请联系删除。