freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

如何做才能让企业的内容审核员减少心理伤害?
2020-05-21 16:03:07

上周,新浪科技发布了一篇《FB与内容审核员和解:后者因心理创伤获赔5200万美元》的文章,报道了Facebook同意支付5200万美元和解与内容审核员的诉讼,后者声称因为反复查看儿童性侵和恐怖主义图片等令人不安的内容,而产生了心理创伤。

据悉,从2016年开始,Facebook通过劳务派遣公司雇佣了大量的内容审核员,用于对平台内容进行审核。而这些内容审核员每天会接触大量暴力、恐怖主义和色情等内容,给内容审核员们造成了不同程度的心理创伤。

除了5200万美元金钱赔偿之外,Facebook也将提供现场指导和工具,帮助内容审核员更好地控制查看图片的方式,以便减少观看这些内容。原告代理律师史蒂夫·威廉姆斯(Steve Williams)说,“这份工作造成的伤害真实存在,而且非常严重。

的确如此,内容审核的工作看似要求不高,实则心理要求非常高。每天被迫观看大量恐怖、色情和凶杀图片及视频,很多人因此患上了心理后遗症——经常失眠、做恶梦,脑子里充满图片和视频内容。做内容审核的人,需要特别强大的排解和消化能力,能够承担情绪和思想上带来的负面影响,否则人非常容易被其“反噬”。

国外有一名内容审核人员描述了浏览这些暴力、色情和令人不安的内容给她留下的情绪损伤和心理影响,她说:“当我从MySpace离开的时候,我大概有3年的时间不肯和人握手,因为我觉得人们都很恶心。我无法触碰别人。”她称,世界上最普通的人也都是TM的怪胎。“我从那里出来的时候对人性感到厌恶。我的同僚们,大多数也和我有一样的感觉,我们都对人性留下了可怕的观感。”

回到现实,尽管Facebook遇到的诉讼,不一定会发生在国内,但企业还是要防患未然,积极承担起自己的责任,帮助内容审核人员减少因有害内容而受到的伤害。

如何做呢?可以从两方面入手。一个是进一步加大在人工智能技术上的持续投入,通过强大且可靠的技术手段,把一些特征明显的色情、暴力、恐怖内容直接过滤掉,从而减少审核人员直接接触特征明显的有害内容的频次。当然,技术手段与此同时还能减少内容审核人员的工作量,以让他们有更多的精力去处理富有争议性的内容,而不是一味地堆砌人力去解决技术就能够解决的问题。第二个则是改善内容审核人员的现有的工作平台,通过聚类审核、人性化设计等功能,提高内容审核人员的工作效率和使用体验。

落地上,对于绝大部分公司,尤其是中小公司,则是建议直接购买成熟的内容安全服务,比如说网易易盾,从而避免投入大(内容安全需要持续投入,包括运营/技术/算力)、体验差、效果不好的情况出现。

作为国内领先的内容安全服务商,网易易盾当下对外提供的内容安全服务为全新的第三代人工智能技术,每天检测信息十几亿条,提供涉黄、涉政、暴恐、广告等十几大类上千小类的有害内容智能识别过滤服务,智能识别精准率超过99.8%,能够大大降低内容审核人员接触有视觉冲击力的有害内容的频次。

iShot2020-05-2115.47.15.pngiShot2020-05-2115.47.25.png审核管理系统架构

另外,网易易盾还于国内首发了智能审核管理系统,该系统能够解放生产力,提高内容审核人员的效率。具体体现在五个方面,第一是,机审辅助能提前拦截高达90%的内容,同步监控高危内容;第二是,机审同步到智能审核管理系统后,首先会被智能分组,通过规则策略智能匹配引擎,做到智能排班、分组,从而提高审核效率;其次是,特有的聚类审核,能够实时聚类,及时发现、拦截批量相似有害信息的扩散;第四是,智能审核管理系统也能够自学习,通过人工审核结果反向促进模型提升;最后则是智能预警,聚类报警,异常指标报警,出审时长超时预警,保证内容审核的及时性。

此外,易盾的审核管理系统设计还很人性化,系统支持单手鼠标、单/双手键盘快捷键审核操作,有效提升审核效率。审核页面区分标准模式与护眼模式,数据状态及数据类型区分颜色展示,长时间工作情况下有效缓解眼疲劳,维持工作效率。

网易易盾的内容安全服务值得信赖。在过去的一年里,易盾先后两次获得年度内容安全优秀服务商奖;入围雷锋网AI最佳掘金案例榜,获最佳业务安全守卫奖;也在FBEC2019 金陀螺奖颁奖典礼上,获得年度优秀游戏服务商奖(游戏内容安全)。在权威检测和赛事上,2019年网易易盾获数据中心联盟(DCA)颁发的“网络治理能力评测证书”,并在首个全国范围大型人工智能领域竞赛上获得最高级证书(旗帜识别领域A级证书)。

目前,易盾拥有超过30万的注册开发者、数千家付费客户,其中不乏知乎、OPPO、ViVO、小咖秀、挖财、中信证券、触电新闻、小米等知名企业。

本文作者:, 转载请注明来自FreeBuf.COM

# 内容安全,业务安全
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
评论 按时间排序

登录/注册后在FreeBuf发布内容哦

相关推荐
  • 0 文章数
  • 0 评论数
  • 0 关注者
登录 / 注册后在FreeBuf发布内容哦
收入专辑