发现这个领域有专门产品和技术,在此简单记录。
问题:有两个网站,属于同一类(比如都以卖衣服为主),现在需要对比他们的商品信息,像种类、定价之类的。
大致流程:
首先,需要从两个网站获取数据,获取非结构或半结构的数据。然后清洗数据,从中提取信息,如“连衣裙 X牌 265 2021新款”被解析成数据结构,其中包括名称/分类、牌子、价格、上架时间等。再之后对信息进行对比,如A网站的X产品中牌子以a、b、c为主,价格平均数x,标准差y,而B网站的同样商品以d、e、f牌子为主,价格情况是另一种。
商业软件的解决方案是,将以上流程系统化。
参考:
跨境电商选品爬虫工具推荐
想要获取电商下各个行业、产品的大数据,要找哪些网站?付费免费都可以