找软件用软件,到华军软件园!
您的位置:华军软件园>编程软件>源码下载>其他源码>

WebMagic (Java爬虫框架)

WebMagic (Java爬虫框架)

WebMagic (Java爬虫框架) PC版WebMagic (Java爬虫框架)手机版

  • 版  本:PC版
  • 软件授权:免费软件
  • 软件类型:国产软件
  • 软件语言:简体中文
  • 更新时间:2017/12/22 15:56:20
  • 应用平台:WinAll
  • 软件官网:官方网站
  • 软件大小:6.89M
基本简介
WebMagic (Java爬虫框架)

webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。
WebMagic(Java爬虫框架)更新日记
此次更新主要是一些依赖包的升级和bugfix。
#290 代理增加用户名密码认证 @hepan
#194 重构代理池部分代码,支持自定义代理池 @EdwardsBean
#314 修复低版本json-path依赖2.x的StringUtils导致报错的问题
#380 升级fastjson 到1.2.21
#301 修复JsonPath在注解模式不可用的问题 @Salon-sai
#377 修复监控模块在URL带有端口时会报错的问题
#400 修复FileCacheQueueScheduler的NullPointerException问题
#407 为PhantomJSDownloader添加新的构造函数,支持phantomjs自定义命令 @jsbd
#419 修复抓取https链接线程无法结束导致进程一直运行的问题 @cpaladin
#374 升级HttpClient到4.5.2,修复一些安全问题
#424 去掉Guava依赖
因为Guava不同版本兼容性不好,经常导致demo无法运行,所以我最后决定去掉了Guava的依赖。如果使用了BloomFilterDuplicateRemover的用户,需要手动依赖Guava包。

相似软件
版本说明
软件地址
所属专题
java下载

java下载

华军软件园为小伙伴提供Java下载等相关软件专题。Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难以理解的多继承、指针等概念,因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表,极好地实现了面向对象理论,允许程序员以优雅的思维方式进行复杂的编程。因此华军软件园就为有需要相关软件的小伙伴们...

软件截图
  • WebMagic (Java爬虫框架)
WebMagic (Java爬虫框架)下载地址
网友评论
网名:
(您的评论需要经过审核才能显示)
  • 置顶 华军网友 2016-12-11 12:04:31
    good!
  • 置顶 华军网友 2016-10-28 09:52:57
    找了好多家网站,终于在这里找到WebMagic (Java爬虫框架)了
  • 置顶 华军网友 2016-06-19 20:26:15
    真的超级好用,完全免费,太棒了,现在很少见完全免费的软件了
  • 置顶 华军网友 2016-05-18 15:32:37
    爱死华军软件园了!我好久都没找到这个WebMagic (Java爬虫框架),在这里居然发现它了
  • 置顶 华军网友 2016-02-13 14:35:29
    没毛病
  • 10楼 华军网友 2015-10-01 09:16:28
    找WebMagic (Java爬虫框架)好久了,终于在华军软件找到了,而且还是WebMagic (Java爬虫框架)最新版本,好给力
  • 9楼 华军网友 2015-08-27 21:03:05
    很好,WebMagic (Java爬虫框架)PC版已安装并使用了,谢谢!
  • 8楼 华军网友 2015-06-14 09:18:05
    WebMagic (Java爬虫框架)特别难用,操作不方便,大家千万别下。
  • 7楼 华军网友 2015-02-17 08:22:49
    最近试试看这个WebMagic (Java爬虫框架),如果好用的话会向朋友推荐的。
  • 6楼 华军网友 2015-02-06 09:36:17
    为什么我更新了WebMagic (Java爬虫框架)的PC版之后,电脑偶尔会卡一下?大家有遇到同样的情况么?
其他源码推荐
精彩推荐
软件介绍
相关文章
所属专题
相关下载
软件截图
下载地址
网友点评
返回顶部