搜索产品
|
技术文档
|
成功案例
|
猎兔新闻
|
猎兔培训
|
联系猎兔
当前位置:首页 > 案例研究  

猎兔网络爬虫成功案例 

·     网站:中国机电贸易网 www.chinamet.com

·     网站概况:

         由中国机电产品进出口商会推出的国内首家机电国际贸易领域专业B 2 B电子商务网站。网站设有面向全球机电厂商的中英文两个版本,并建有在线资讯、在线交易和在线服务三大平台,拥有国内最大的中国机电产品和企业数据库,可以为用户提供方便、及时、准确、安全的服务。

·     项目特点:

1.      对国内外知名商务网站的中英文供求信息进行采集;

2.      每天定时采集数据;

3.        对采集数据的自动分类;

4.        抓取信息量大,对网页或数据的分析与过滤

5.      预先给定的初始抓取种子样本;

·     应对功能:

1.    Server端程序执行定时采集,可以实时修改定时采集的时间。

2.    设有专门的jsp页面来维护后台的数据库。

3.    实现数据的增量采集功能,增量采集的时候只采集那些最新出现的数据,避免了重复采集相同的数据,节约了资源。

·     实际效果:

1.      信息抓取速度提升;

2.      采用定时.批量处理,方便用户操作;

3.      信息抓取更准确

 


©2019 Lietu