freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

网易易盾CTO朱浩齐:我们需要什么样的内容安全治理体系?
2020-04-11 15:03:32

导读:《网络信息内容生态治理规定》正式实施前夕,《中国信息安全》杂志(以下将简称“杂志”)向网易易盾CTO朱浩齐约稿,希望朱浩齐能从网易易盾治理和实践出发,分享他在内容安全领域的认知。约稿的文章发表于杂志2020第二期(见杂志P73,标题为《构建全链路内容风控体系 解决内容安全难题》),后来文章也发布在中国信息安全官方微信公众号上。出于希望能帮到更多的平台更好的认知和做好内容安全,网易易盾公众号重发此文,以下为详细内容:


日前,国家互联网信息办公室发布了《网络信息内容生态治理规定》(以下简称《规定》),以系统化思维和更为综合的量化指标,丰富和完善了互联网信息内容标准,为网络信息生态建设确立了基本的内容标准体系。随着2020年3月1日《规定》实施日期的临近,越来越多的内容平台如临大考,负责人不断审视自身的内容生态治理体系,对平台的内容安全能力是否合规进行考量。在此,笔者想通过这篇文章阐述:内容安全治理现状、治理的难点以及什么样的内容安全体系才符合当下的治理要求。


一、内容安全治理现状


近几年,我国在内容安全治理方面呈现出以下几个特点:

一是,监管部门覆盖度广、政策法规日趋完善。近几年,各部门针对不同领域的规章制度频发,例如《网络音视频信息服务管理规定》、《未成年人节目管理规定》、《儿童个人信息网络保护规定》、《中华人民共和国英雄烈士保护法》、《互联网宗教信息服务管理办法》等,可以看出我国在网络内容治理方面的法律法规越来越完善。


笔者在此想特别强调一下法律法规下责任主体的问题。用一个场景举例来说,某用户在内容平台发表了色情广告信息,用户和内容平台此时的行为都属于违法行为,应该对这两个主体都进行处罚,但从实际情况来看,对于用户追责成本非常之高,所以在大多数内容违规事件上,一般只是对内容平台进行了处罚。再举另一个场景,某恶意用户通过网络攻击的方式篡改网站,并发布色情内容信息,此时运营平台不仅违反了内容管理的相关规定,同时依据《网络安全法》,运营方没有落实好信息系统保护的要求,对此也会给予一定的处罚。 

二是,针对性的专项治理行动非常密集。2019年内,相关监管部门发起的专项行动就有四次:

1、“护苗2019”专项行动:全国“扫黄打非”办公室作出专门部署,于2019年3月至11月间大力组织开展“护苗2019”专项行动,旨在持续净化社会文化环境。

2、“净网2019”专项行动:全国“扫黄打非”办公室于2019年3月至11月间大力组织开展“净网2019”专项行动,旨在持续净化社会文化环境。

3、“剑网2019”专项行动:是国家版权局等单位联合开展的一项专题活动,旨在维护清朗的网络空间秩序,营造良好的网络版权环境。

4、网络音频专项整治行动:国家网信办会同有关部门于2019年年中开展网络音频专项整治。目的是坚决有效遏制行业乱象,积极规范行业发展,促进网络生态持续向好。


以上两个特点,表明了我国对于建设风清气正的网络空间环境的决心。


二、内容安全治理的难点


即使在如此强的监管力度之下,违规内容还是层出不穷。主要原因是违规内容具有覆盖场景多、数据变种多、对抗性强等。

1、覆盖场景已经到了无孔不入的地步。新闻内容、用户评论、用户头像、昵称、看网剧弹幕,任何一个有内容发布的场景都很难躲过违规内容的骚扰;

2、在各种场景里,出现的违规数据种类和变种也非常之多。从最初的文本敏感词,到现在的字体拆分、特殊符号混淆、以及图片内嵌入违规内容等多种形式,最近一两年在语音方面又多了一个ASMR(Autonomous sensory meridian response,自发性知觉经络反应)的内容类型,夹杂着很多色情内容;

3、对抗性强,体现在违规内容的发布上有一定的组织性和对抗性,以内容形式的变换和账号的变化来对抗检测或运营策略。

在此背景下,做好内容安全其实是一个比较困难的问题。


首先是成本投入,最主要的是人力成本和设备成本。人力成本方面,当下互联网用人成本很高,一个成熟的算法专家年薪在50万左右。而且整个体系需要的不仅是算法人员,还有相关的运营专员、审核专员、策略专员。如果配备完整,一年在人力方面的投入就会有上千万。在设备方面,现在图像处理所需要用到的GPU节点是比较大的开销。 


其次,是数据积累和审核经验的壁垒。一个图片检测模型需要有几万甚至几十万的样本数据,没有一定的时间和渠道是无法完成这种样本数据积累的。另外,审核人员的经验决定了主观上的审核效果和效率,完善的流程和制度是对效果客观上的保障。审核人员的经验积累要靠不断的学习和培训,流程和制度则需要时间去制定和完善。


三、当下需要什么样的内容生态治理体系?


现在内容安全领域的黑灰产对抗非常激烈。拿国内某社交媒体平台的现象举例,以往的色情账号会在各个热点事件下直接发布色情言论——直接给出色情网站,或者放出联系方式,这种形式比较容易被内容安全系统检测和封号。现在对抗的形式,已经转变为账号头像换成比较性感,但不属于色情的图片,发表的内容多是正常的评论,但个人头像里都是隐晦的色情引流信息,以此来增强对抗性。


在这种强对抗的背景下,仅仅做内容的检测是远远不够的,不仅检测效果差,还会留下许多死角,给业务带来潜在的内容违规风险。我们认为,内容生态的治理不仅是对内容进行处理,还需要纵深的检测防御体系进行辅助。这是因为大多数的违规内容是非正常用户发布的,内容生态的治理是企业和黑灰产的直接较量,只做内容检测手段过于单一,或落入疲于应对的局面。


因此,网易易盾面向自己的客户推出了全链路内容风控体系。该体系在文字/图片/音频/视频内容检测引擎的基础上,融入了反作弊风控引擎和7*24H策略运营管家服务,在智能内容检测引擎精准确识别违规内容前提下,通过多维度用户行为检测,全面掌控每个可能影响内容风控的环节,从而降低内容安全风险。

1.jpg

网易易盾全链路内容安全风控体系

2.png

纵深防御

全链路内容风控体系是易盾从源头进行内容安全治理的具体体现,贯穿了用户全生命周期的纵深防御体系——从账号注册、登录、用户行为、内容发布以及登出。其背后,运用了多个技术对用户进行画像,包括人机识别、风险名单、IP画像、设备模型、行为模型、业务模型、关联分析和规则系统等。


对于上面提到的技术,拎出验证码和反作弊单独说明下。人机识别主要是通过验证码来提高黑灰产的攻击成本,这块不能用字符型验证码,因为早期的验证码非常容易被破解,利用OCR识别技术,即可批量化突破人机识别。网易易盾使用的是图标点选、推理拼图式的智能型验证码,能获取用户的行为信息和设备信息进行分析判断。反作弊的分析,是包括了事前预防、事中检测处置、事后分析回馈的三个环节,最后一个环节不容忽视,因为基于长周期的离线数据分析,能够作用于事前风控和事中风控。


黑灰产的动机很纯粹,即“获利”,通过全链路内容安全风控体系,能提高黑灰产的攻击成本,让投入产出比不对等,从而放弃攻击,转战其他平台。


最后介绍下网易易盾,我们是国内领先的内容安全&业务安全服务商,依靠网易20多年丰富的安全经验以及云计算、人工智能方面的积累,面向数字化业务提供内容安全、业务安全、移动安全和网络安全服务,保障客户业务合规、稳健和安全运营,免受黑灰产组织非法侵害,从而专注创新发展。


内容安全治理路上任重道远,期望和各方携手前行。


3.png4.png


若有需求,请长按识别上面二维码,添加您专属客户经理的企业微信对接

点击免费试用网易易盾内容安全服务。


本文作者:, 转载请注明来自FreeBuf.COM

# 内容安全,业务安全
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
评论 按时间排序

登录/注册后在FreeBuf发布内容哦

相关推荐
  • 0 文章数
  • 0 评论数
  • 0 关注者
登录 / 注册后在FreeBuf发布内容哦
收入专辑