顶象 · 5月15日 · 浙江

网络爬虫安全:90后小伙,用软件非法搬运他人原创视频被判刑

央视《今日说法》栏目近日报道了一名程序员开发非法视频搬运软件获利超700多万,最终获刑的案例。

国内某知名短视频平台报警称,有人在网络上售卖一款视频搬运软件,使用软件的人可以绕过平台的审核机制,一键“搬运”窃取他人作品非法转载投稿。警方调查发现,在这背后是一条违法犯罪的产业链条,犯罪团伙的上游开发制作非法软件,通过更改短视频平台的代码,逃避平台监管。

犯罪嫌疑人 90 后程序员周某交代,这款软件主要用于非法搬运视频,支持视频镜像,去水印,草稿替换,摄像头替换等功能,修改后的视频支持在快手、抖音、哔哩哔哩、小红书、西瓜视频等主流视频平台一键发布,从而协助他人实现账号“快速涨粉”目的。从 2022 年 5 月到20 23 年 3 月份,周某累计获利 700 多万元。目前周某已被判有期徒刑 3 年、缓刑 5 年;而负责软件销售的从犯陈某被判有期徒刑 3 年、缓刑 3 年 2 个月。

违法视频搬运软件是网络爬虫

该案件中,非法下载视频内容的软件是网络爬虫。网络爬虫,又被称为网页蜘蛛,网络机器人,是按照一定的规则,自动地抓取网络信息和数据的程序或者脚本。

2022年11月,顶象防御云业务安全情报披露,某社交媒体平台遭遇持续性的网络爬虫盗取。大量用户信息和原创内容被网络爬虫盗取,被黑灰产转售给竞争对手或直接用于恶意营销。

数据显示,2023年全球数据盗取量将达到1900亿条,其中超过80%的数据来自网络爬虫。网络爬虫通常会通过编程的方式自动访问网站,获取用户信息或数据。这类行为不仅侵犯了用户的隐私,也给企业造成了巨大的经济损失。

如何发现偷盗视频的爬虫?

现在的网络爬虫程序具有随机 IP 地址、匿名代理、身份修改、模仿人类操作行为等特征,非常难检测和阻止,需要在多个维度进行识别与分析。

一是访问目标。恶意的网络爬虫的目的是获取网站、App的核心信息,比如用户数据、商品价格、评论内容等,因此它们通常只会访问包含这些信息的页面,而忽略其他无关的页面。

二是访问行为。网络爬虫是由程序自动执行的,按照预设的流程和规则进行访问,因此它们的行为具有明显的规律性、节奏性和一致性,与正常用户的随机性、灵活性和多样性有很大差异。

三是访问设备。恶意的网络爬虫的目标是在最短时间内抓取最多信息,因此它们会使用同一设备进行大量的访问操作,包括浏览、查询、下载等,这会导致该设备的访问频率、时长、深度等指标异常。

四是访问IP地址。恶意的网络爬虫为了避免被网站识别和封禁,会采用各种手段变换IP地址,比如使用云服务、路由器、代理服务器等。这会导致该IP地址的来源地域、运营商、网络类型等信息不一致,或者与正常用户的分布有明显偏差。

五是访问时间段。恶意的网络爬虫为了减少被发现的风险,通常会选择在网站流量较低、监控较弱的时间段进行批量爬取,比如深夜、凌晨等。这会导致该时间段内的访问量、带宽占用等指标异常。

六是大数据建模挖掘。通过对网站正常用户和网络爬虫的访问数据进行收集、处理、挖掘和建模,可以构建出专属于网站自身的爬虫识别模型,从而提高识别准确率和效率。

拦截违法网络爬虫

网络爬虫的攻击手段也日益智能化和复杂化,仅仅依靠限制访问频率或者前端页面加密已经难以有效防御,需要提升人机识别技术,增加异常行为的识别和拦截能力,以限制网络爬虫的访问,提高恶意盗取的攻击成本。顶象为企业提供了全流程的立体防控方案,能够有效防范网络爬虫的恶意盗取行为。

顶象无感验证基于AIGC技术,能够防止AI的暴力破解、自动化攻击和钓鱼攻击等威胁,有效防止未经授权的访问、拦截网络爬虫盗取。它集成了13种验证方式和多种防控策略,支持安全用户无感通过,实时对抗处置能力也缩减至60s内,进一步提高了数字登录服务体验的便捷性和效率。

顶象设备指纹通过将多端设备信息的内部打通,对每个设备生成统一且唯一设备指纹。基于设备、环境、行为的多维度识别策略模型,识别出虚拟机、代理服务器、模拟器等被恶意操控等风险设备,分析设备是否存在多账号登录、是否频繁更换IP地址、频是否繁更换设备属性等出现异常或不符合用户习惯的行为,快速识别访问页面爬虫是否来自恶意设备。

顶象Dinsight实时风控引擎帮助企业进行风险评估、反欺诈分析和实时监控,提高风控的效率和准确性。Dinsigh的日常风控策略的平均处理速度在100毫秒以内,支持多方数据的配置化接入与沉淀,能够基于成熟指标、策略、模型的经验储备,以及深度学习技术,实现风控自我性能监控与自迭代的机制。

与Dinsight搭配的Xintell智能模型平台,能够对已知风险进行安全策略自动优化,基于风控日志和数据挖掘潜在风险,一键配置不同场景支持风控策略。其基于关联网络和深度学习技术,将复杂的数据处理、挖掘、机器学习过程标准化,提供从数据处理、特征衍生、模型构建到最终模型上线的一站式建模服务。从而有效挖掘潜在恶意爬取威胁,进一步提升对恶意盗取行为的识别度和对恶意网络爬虫的拦截效果。


业务安全产品:免费试用

业务安全交流群:加入畅聊

推荐阅读
关注数
6
文章数
221
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息