找软件用软件,到华军软件园!
您的位置:华军软件园>编程软件>源码下载>其他源码>

WebMagic (Java爬虫框架)

WebMagic (Java爬虫框架)

WebMagic (Java爬虫框架) PC版WebMagic (Java爬虫框架)手机版

  • 版  本:PC版
  • 软件授权:免费软件
  • 软件类型:国产软件
  • 软件语言:简体中文
  • 更新时间:2017/11/29 11:31:45
  • 应用平台:WinAll
  • 软件官网:官方网站
  • 软件大小:6.89M
基本简介
WebMagic (Java爬虫框架)

webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。
WebMagic(Java爬虫框架)更新日记
此次更新主要是一些依赖包的升级和bugfix。
#290 代理增加用户名密码认证 @hepan
#194 重构代理池部分代码,支持自定义代理池 @EdwardsBean
#314 修复低版本json-path依赖2.x的StringUtils导致报错的问题
#380 升级fastjson 到1.2.21
#301 修复JsonPath在注解模式不可用的问题 @Salon-sai
#377 修复监控模块在URL带有端口时会报错的问题
#400 修复FileCacheQueueScheduler的NullPointerException问题
#407 为PhantomJSDownloader添加新的构造函数,支持phantomjs自定义命令 @jsbd
#419 修复抓取https链接线程无法结束导致进程一直运行的问题 @cpaladin
#374 升级HttpClient到4.5.2,修复一些安全问题
#424 去掉Guava依赖
因为Guava不同版本兼容性不好,经常导致demo无法运行,所以我最后决定去掉了Guava的依赖。如果使用了BloomFilterDuplicateRemover的用户,需要手动依赖Guava包。

相似软件
版本说明
软件地址
所属专题
网络爬虫

网络爬虫

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。...

软件截图
  • WebMagic (Java爬虫框架)
WebMagic (Java爬虫框架)下载地址
网友评论
网名:
(您的评论需要经过审核才能显示)
  • 置顶 华军网友 2017-05-15 22:28:06
    越更新越好用了,之前有些功能我都找不到,现在的WebMagic (Java爬虫框架)太令我惊喜了
  • 置顶 华军网友 2017-03-23 09:04:43
    效果挺好的,安装的时候自己不要勾选那些软件不就行了
  • 置顶 华军网友 2017-02-07 12:42:14
    这个WebMagic (Java爬虫框架)好用么,相比上个版本变化大不大,我看安装包大小都已经这么大了了
  • 置顶 华军网友 2016-11-22 22:42:59
    这个WebMagic (Java爬虫框架)PC版好用么,我看大小是6.89MB,跟前一个版本差别并不大
  • 置顶 华军网友 2016-08-05 11:05:51
    找了好多网站,还是华军软件上下载的WebMagic (Java爬虫框架)靠谱,页面清爽,可以隐藏推送,不会妨碍正常办公
  • 10楼 华军网友 2016-05-16 21:52:51
    谢谢分享!
  • 9楼 华军网友 2016-03-25 09:37:25
    之前听同学说这里有WebMagic (Java爬虫框架)PC版下载,还真有,我找WebMagic (Java爬虫框架)好久了
  • 8楼 华军网友 2015-09-07 13:15:31
    怎么用啊~
  • 7楼 华军网友 2015-06-21 21:40:47
    始终用不惯WebMagic (Java爬虫框架)这货,用户体验方面的内容还有待改进啊。
  • 6楼 华军网友 2015-01-06 11:43:16
    WebMagic (Java爬虫框架)的PC版本用着还凑合,不知道有没有手机版的,期待。
精彩推荐
软件介绍
相关文章
所属专题
相关下载
软件截图
下载地址
网友点评
返回顶部