找软件用软件,到华军软件园!
您的位置:华军软件园>编程软件>源码下载>JSP源码>

WebMagic(Java爬虫框架)

WebMagic(Java爬虫框架)

WebMagic(Java爬虫框架) 36678WebMagic(Java爬虫框架)手机版

  • 版  本:36678
  • 软件授权:免费软件
  • 软件类型:国产软件
  • 软件语言:简体中文
  • 更新时间:2017/12/18 15:25:01
  • 应用平台:WinAll
  • 软件官网: www.188soft.com
  • 软件大小:0.71M
基本简介
WebMagic(Java爬虫框架)

webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。

相似软件
版本说明
软件地址

WebMagic(Java爬虫框架)更新日记

修改默认策略为信任所有 https 证书 #444 @ckex

修复使用 startUrls 添加 url 时,如果使用了 cookie 会出现空指针的问题 #438

PhantomJSDownloader 支持 crawl.js 路径自定义 #414 @jsbd

POST 请求支持 302 跳转 #443 @xbynet

WebMagic(Java爬虫框架)页面展示WebMagic(Java爬虫框架)

所属专题
网络爬虫

网络爬虫

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。...

软件截图
  • WebMagic(Java爬虫框架)
WebMagic(Java爬虫框架)下载地址
网友评论
网名:
(您的评论需要经过审核才能显示)
  • 置顶 华军网友 2017-04-20 21:22:02
    最近觉得WebMagic(Java爬虫框架)很不错!我经常用JSP源码!
  • 置顶 华军网友 2017-04-08 15:59:43
    下载完WebMagic(Java爬虫框架)以后提示有毒?是我电脑的问题还是软件的问题啊,不应该有这种情况。
  • 置顶 华军网友 2017-03-05 22:49:04
    WebMagic(Java爬虫框架)就是好用!呵呵,我喜欢这个JSP源码
  • 置顶 华军网友 2015-10-11 21:41:32
    挺不错的啊
  • 置顶 华军网友 2015-10-10 15:41:07
    这个WebMagic(Java爬虫框架)在JSP源码里算不算好用的软件啊,之前用过其它的,但是感觉都不是很让我满意。
  • 10楼 华军网友 2015-09-20 13:40:44
    在我用过的JSP源码软件里,这个WebMagic(Java爬虫框架)算不上是最稳定,最快的,但绝对是最特别的。
  • 9楼 华军网友 2015-09-17 19:29:18
    WebMagic(Java爬虫框架)哪里不好了?不懂的别瞎哔哔,一点素质都没有
  • 8楼 华军网友 2015-05-24 18:42:13
    有道理
  • 7楼 华军网友 2015-05-17 18:24:58
    根本不好用
  • 6楼 华军网友 2015-04-15 20:50:03
    WebMagic(Java爬虫框架)的评论不应该这么冷清啊,我来加把力
精彩推荐
软件介绍
相关文章
所属专题
相关下载
软件截图
下载地址
网友点评
返回顶部
前往
下载