All Versions
12
Latest Version
Avg Release Cycle
136 days
Latest Release
670 days ago

Changelog History
Page 1

  • v1.3.3 Changes

    December 18, 2019

    免责声明

  • v1.3.2 Changes

    August 08, 2019
    • 💅 style: Add go.mod and update vendor
  • v1.3.1 Changes

    March 05, 2019

    ⚡️ chore: update proxy
    ⚡️ chore: optimize UI
    ⚡️ chore: update phantomjs downloader
    🛠 fix: fix panic on windows 32
    💅 style: optimize code

  • v1.3.0 Changes

    March 14, 2018

    Spider

    1. Add spider common functions
    2. Fix too many open files bug
    3. Fix spider timer

    Downloader

    ⚡️ 1. Update surfer package ⚡️ 2. Update PhantomJs Downloader Engine

    1. Add DNS cache, disable keepalive

    Output

    1. Simplify data output module.
    2. Mysql: limit 100 per insert
    3. Kafka: compatible with Kafka v0.11.0.0
    4. MongoDB: if mongoDB died or restart, app will get stuck in endless loop, imporve related logic

    Proxy

    👍 1. Support for filling in user name and password

    🌐 Web operation interface

    ⚡️ 1. Optimize websocket log

    1. Single mode: 🌲 3. Fix log blocking bug

    Cmd operation interface

    1. Supports '-c_spider=*'' that meanning all spiders

    Other

    1. Add panic trace info
    2. Fix some bugs ⚡️ 3. Optimize codes
  • v1.2.0 Changes

    September 25, 2016

    Pholcus发布1.2版本,占用资源更少,运行更稳定

    一、输出功能升级

    添加kafka数据库输出
    基本重新了mysql输出模块,提升输出稳定性与输出效率
    增加输出文件目录的配置项
    大量优化结果收集模块,提升I/O性能与状态控制性

    1. 移除文件输出目录的日期后缀
      调整文件名哈希临界长度为>8
      移除数据输出通道容量的配置项DATA_CHAN_CAP,由分批输出用户设置项直接决定

    二、下载功能升级

    增强自动转码功能
    当响应头未指定编码类型时,从请求头读取
    都未指定编码类型或编码类型为utf8时,不做转码,节约内存
    增加支持自动解压缩deflate和zlib编码的响应流
    升级surfer下载器,修复POST提交时下载内核中Content-Type被覆盖的bug,修复Request.GetHeader()==nil时panic的bug
    修复输出图片等文件时,下载补全的bug
    Context.text字段类型由string改为[]byte
    将HTTP状态码大于等于400的请求自动标记为下载失败

    三、采集规则模块升级

    0️⃣ 更新_Request.GetTemp(key string, defaultValue interface{}) interface{},defaultValue不再作为结果接收容器,当键值对不存在时,返回值为参数defaultValue。
    Spider.Register()方法改为接受Spider类型(之前为_Spider),推荐使用 "func init(){Spider{}.Register()}" 的方式进行声明
    优化任务停止条件,Spider.Root退出之前,任务不可终止
    修复动态规则解析bug
    同名采集规则的名称自动添加加"(2)"形式的序号后缀
    优化crawl采集引擎的随机停顿逻辑
    🌲 添加 Context.Log() 日志打印接口

    四、其他优化

    修复某些情况下在非win系统中log日志引发的panic
    修复web版启动时偶然性打不开页面的bug
    web版实时日志在超过2000条时自定清除前1000条
    ⏱ 优化scheduler调度器
    调整分布式模块字面量命名
    修复CUP占用高的问题,采集过程的最低使用率从 20% 降低到 1%
    加快任务的主动终止,基本已将延时控制在秒级
    通过数据输出速率来抑制采集下载速率,从而降低不必要的内存占用

  • v1.0.0 Changes

    June 17, 2016

    一、输出模块

    0️⃣ 1. 支持规则中设置Spider.NotDefaultField=true来禁止输出系统默认添加的字段 Url、ParentUrl 和 DownloadTime;

    1. 减少mysql的表创建操作;
    2. 修复mysql表名和字段内容在某些情况下会出现乱码的现象; 🐧 4. 修复Linux下,文件创建权限问题;
    3. 修复输出文件的路径以""分割时,目录创建失效的bug;
    4. 修复Output()方法指定ruleName无效的bug;
    5. 直接下载文件时,在日志中打印文件大小。

    二、内存优化

    1. DateCell、FileCell、Context均增加Pool,减少对象创建;
    2. 每2分钟检查一次可重用内存,若大于50M,则手动释放一次内存;
    3. 简化结果数据转储流程,一定程度降低内存消耗。

    三、动态规则

    1. 修复解析多个动态规则时的闭包问题;
    2. 修复动态规则中设置Header无效的bug。

    四、日志模块
    🌲 在配置文件中增加[log]段落参数:

    1. level -> 全局日志打印级别(亦是日志文件输出级别);
    2. consolelevel -> 日志在控制台的显示级别;
    3. feedbacklevel -> 客户端反馈至服务端的日志级别;
    4. lineinfo -> 日志是否打印行信息;
    5. save -> 是否保存所有日志到本地文件。

    五、配置模块

    1. 配置文件中段落与配置项分别按字母排序;
    2. 配置文件中 mysqlmaxallowedpacket -> mysqlmaxallowedpacketmb,单位为MB; 👍 3. mysql增加max_allowed_packet的配置;
    3. 增加conngcsecond配置,支持自主设定mgo连接池GC时间。

    六、操作界面

    1. cmd版的服务端模式支持连续添加任务‘
    2. 修复web版长时间运行,因意外丢失cookie而可能引发panic的问题‘
    3. 修复web版大量日志输出时“send on closed channel“的bug。

    七、其他

    1. 增加对支持gzip的页面进行自动解码的功能; 🆓 2. 修复CrawlPool.Use()与CrawlPool.Free()的写竞争;
    2. 调整运行依赖目录;
    3. 升级surfer下载器。
  • v0.8.5 Changes

    March 23, 2016

    一、命令行相关功能升级

    1. cmd界面版增加对服务端与客户端模式的支持;
    2. 新增丰富的命令行参数,且优先级高于配置文件。

    二、配置文件更新

    1. 增加更多可配置项;
    2. 重新规范代码,配置参数为优先级最低的默认信息。

    三、Spider结构体调整

    1. Keyword改为Keyin,相应操作界面中“自定义输入”改为“自定义配置”(多任务时应分别多包裹一层“<>”);
    2. MaxPage字段改为Limit,相应操作界面中“最大页数”改为“采集上限”(默认限制url请求数);
    3. 添加subName,用于区分多任务并发的情况;
    4. 允许在规则的Root()中进行阻塞;
    5. 优化动态规则加载的错误处理。

    四、调度器与历史记录模块升级

    1. 增强历史记录功能,历史记录与Spider实例一一对应,且与输出操作保持同步更新;
    2. 修复调度器在32位系统下panic的bug。

    五、输出模块优化

    1. 修改mysql输出模块,支持多行批量插入,修改默认连接池容量为2048,提升输出速率与稳定性;
    2. mgo的insert方法更新,内部增加分批插入控制,默认为5000条,提升写入数据库的稳定性;
    3. 修复连接池捕获panic的bug。

    六、其他

    1. 解决某些规则的代码片段在手动终止任务后依旧默默运行的问题,减少资源消耗;
    2. 解决大量任务长时间运行后手动终止操作耗时太长的问题,加快终止操作响应速度;
    3. 调整运行时目录文件;
    4. 将大部分依赖包合并到项目中;
    5. 修复一些bug。
  • v0.8.2 Changes

    March 03, 2016
    1. 移除Response;
    2. 重构Context,同时增加Context.GetCookie()方法;
    3. 重构mgo与mysql输出模块,优化连接池,增加异常重连函数,提高输出性能与稳定性;
    4. 优化调度器中sdl.Push()方法,降低内存占用;
    5. 修复不支持freebsd系统的bug;
    6. 规范全局代码;
    7. 规范日志打印格式;
    8. 兼容 go1.6 版本;
    9. 本版本通过大量代码重构与优化,减少约30%的堆栈数量。
  • v0.8.0 Changes

    January 19, 2016

    一、初步支持HTML风格的动态规则

    二、添加配置文件,便于修改数据库配置等信息

    三、重新规划软件依赖文件目录

    ├─pholcus 软件

    ├─pholcus 依赖文件目录
    │ ├─pholcus.ini 配置文件
    │ │
    │ ├─proxy.lib 代理IP列表库
    │ │
    │ ├─spider.lib 动态规则目录
    │ │ └─xxx.pholcus.html 动态规则文件
    │ │
    🔊 │ ├─logs 日志目录
    │ │
    │ ├─history 历史记录目录
    │ │
    └─└─cache 临时缓存目录

    四、增强代理IP功能

    五、增强状态控制功能

    六、为Spider结构体添加定时器

    七、增强Request结构体序列化与反序列化的可靠性

    八、Web界面的外部资源文件全部打包进软件

    九、更新下载器Surfer至0.9版本,性能更佳

  • v0.7.6 Changes

    December 17, 2015

    一、新增全局代理IP模块:

    1. 通过操作界面设置更换IP的频率,实现代理IP轮询;
    2. 每次更换代理IP前,会通过ping测速,选取最佳IP;
    3. 支持自动跳过ping失败的ip;
    4. 代理IP列表文件的路径可在config中设置。

    二、新增历史记录模块:

    1. 在原来的去重模块基础上进行改造升级;
    2. 成功记录充当原来的去重模块的功能;
    3. 失败记录用于记录下载失败的请求,下次执行该Spider规则时将会自动追加至调度器的失败列表,从而实现重新抓取;
    4. 根据输出方式的设置,从对应位置读取并写入记录。

    三、调度器更新:

    1. 重构调度器,提高稳定性与响应速率;
    2. 添加失败请求自动添加至队列的功能;
    3. 添加为每个请求设置代理IP的功能;
    4. 添加控制每类Spider最大请求数的功能。

    四、规则模块更新:

    1. 大量更新上下文Context,提升运行效率;
    2. 完美支持Request的复用,节约内存且简化代码;
    3. Spider添加Namespace、SubNamespace、ReqMatrix三个字段,移除proxy字段,Pausetime字段改为int64类型;
    4. 支持在输出前自定义“当前链接”和“上级链接”两个字段;
    5. 最大页数MaxPage默认为该类规则的最大请求数;但当其定义初始值设置为MAXPAGE,可在规则中自定义该字段的作用,如设置列表页数等;
    6. 添加获取文章页正文的通用方法;
    7. 其他一系列的方法变动。

    五、Request结构体更新:

    1. 为更好地支持Request序列化,将Temp字段改为Temp类型,内部采用JSON字符串格式存储;
    2. GetTemp()interface{}改为GetTemp(key string, receive ...interface{})interface{},其中第二个参数receive在value值不为string类型时不可省略,且receive为指针或引用类型时,可从receive中直接获取value;
    3. 添加Copy()方法,返回Request副本。

    六、Response结构体更新:

    1. 移除Response的temp字段。

    七、日志打印模块更新:

    1. 美化日志的打印格式;
    2. 耗时统计改用类似”1h2m3s“的格式;
    3. 错误日志添加当前URL信息。

    八、下载器更新:

    1. 全面优化Surfer下载器,并合并入项目主目录;
    2. 解决下载失败后panic的bug。

    九、输出模块:

    1. 文件输出支持自定义子目录。

    十、操作界面更新:

    1. 将两个暂停时长的设置合并为”暂停时长参考“;
    2. 添加“代理IP更换频率”设置;
    3. 移除去重相关的设置,并添加“继承并保存成功记录”和“继承并保存失败记录”设置;
    4. 支持运行时设置 -a_ui 参数指定操作界面。