什锦文坊 > 数码科技 > \

跨境电商系列|电商行业的爬虫识别与管理

原标题:跨境电商系列 | 电商行业的爬虫识别与管理

当今数字化时代,几乎每个行业都意识到“流量”的重要性。以电商为例,流量意味着曝光量,意味着客户感知度,意味着口碑,意味着潜在客户,也意味着商机……

然而您所获得的全部流量,真的就都是有益的,都能对业务产生积极影响吗?那也未必!

爬虫,流量获取之路上一个绕不过的坎儿

作为全球领先的IT技术和服务提供商,Akamai致力于通过智能边缘平台为全球企业提供安全、流畅的数字化体验。凭借遍及全球135个国家/地区的庞大规模与丰富服务。Akamai目前已承载了30%的全球互联网流量。经分析发现,这其中只有约60%的流量是真实用户产生的,其余40%的流量都来自于各种爬虫。

爬虫又是什么?简单来说,爬虫是一种自动运行,在互联网上检索各类信息(这一过程也叫做“爬取”)的程序。例如每个人可能都会使用的搜索引擎,就是事先由搜索引擎的爬虫程序爬取全网的网页,了解不同网页包含了哪些信息,随后才能为我们提供搜索结果。

具体到电商领域而言,根据Akamai统计,电商行业所产生的流量中,来自真实用户以及来自爬虫的流量几乎处于对半分的状态。也就是说,电商IT系统所处理的流量,约有50%都来自于各类爬虫程序。

其中包括来自搜索引擎、广告平台、社交媒体、测试平台等商家真正需要的爬虫(可称为“善意爬虫”);当然,不可避免地会有竞争对手爬取商品价格库存等信息,或恶意人员开展撞库攻击的,商家不需要并且希望尽可能避免的爬虫(此类可叫做“恶意爬虫”)。

跨境电商系列|电商行业的爬虫识别与管理

恶意爬虫的影响,往往是多方面的

从IT的视角来看,如果50%的电商流量都是爬虫产生的,那么其中源自各类恶意爬虫的流量占比也不会小。这意味着企业为应对业务增长而准备的IT容量中,很大一部分都被各类不需要的恶意爬虫流量消耗了。换句话说,恶意爬虫流量在影响Web系统性能的同时,也进一步增加了基础设施和运维等各方面成本。

从业务视角来看影响更大。竞争对手恶意爬取价格、库存等信息,会直接削弱商家竞争力;“黄牛党”和“羊毛党”利用爬虫干扰正常新品首发或促销活动,导致失去销售机会甚至影响到商家与客户的关系;发起撞库攻击的爬虫甚至会导致用户账号、账户余额、积分失窃等更严重后果,导致商家声誉受到影响,甚至在某些情况下造成不合规或罚款。

当今数字化时代,几乎每个行业都意识到“流量”的重要性。以电商为例,流量意味着曝光量,意味着客户感知度,意味着口碑,意味着潜在客户,也意味着商机……

然而您所获得的全部流量,真的就都是有益的,都能对业务产生积极影响吗?那也未必!

爬虫,流量获取之路上一个绕不过的坎儿

作为全球领先的IT技术和服务提供商,Akamai致力于通过智能边缘平台为全球企业提供安全、流畅的数字化体验。凭借遍及全球135个国家/地区的庞大规模与丰富服务。Akamai目前已承载了30%的全球互联网流量。经分析发现,这其中只有约60%的流量是真实用户产生的,其余40%的流量都来自于各种爬虫。

爬虫又是什么?简单来说,爬虫是一种自动运行,在互联网上检索各类信息(这一过程也叫做“爬取”)的程序。例如每个人可能都会使用的搜索引擎,就是事先由搜索引擎的爬虫程序爬取全网的网页,了解不同网页包含了哪些信息,随后才能为我们提供搜索结果。

具体到电商领域而言,根据Akamai统计,电商行业所产生的流量中,来自真实用户以及来自爬虫的流量几乎处于对半分的状态。也就是说,电商IT系统所处理的流量,约有50%都来自于各类爬虫程序。

其中包括来自搜索引擎、广告平台、社交媒体、测试平台等商家真正需要的爬虫(可称为“善意爬虫”);当然,不可避免地会有竞争对手爬取商品价格库存等信息,或恶意人员开展撞库攻击的,商家不需要并且希望尽可能避免的爬虫(此类可叫做“恶意爬虫”)。

跨境电商系列|电商行业的爬虫识别与管理

恶意爬虫的影响,往往是多方面的

从IT的视角来看,如果50%的电商流量都是爬虫产生的,那么其中源自各类恶意爬虫的流量占比也不会小。这意味着企业为应对业务增长而准备的IT容量中,很大一部分都被各类不需要的恶意爬虫流量消耗了。换句话说,恶意爬虫流量在影响Web系统性能的同时,也进一步增加了基础设施和运维等各方面成本。

从业务视角来看影响更大。竞争对手恶意爬取价格、库存等信息,会直接削弱商家竞争力;“黄牛党”和“羊毛党”利用爬虫干扰正常新品首发或促销活动,导致失去销售机会甚至影响到商家与客户的关系;发起撞库攻击的爬虫甚至会导致用户账号、账户余额、积分失窃等更严重后果,导致商家声誉受到影响,甚至在某些情况下造成不合规或罚款。

显示全文

相关文章