htmlunit 可以认为是一个无界面的浏览器，可以模拟动态 js 加载，这些是 jsoup 这种专注于页面解析的工具做不到的。

快速开始

maven 引入

    net.sourceforge.htmlunit
    htmlunit
    2.29

Jsoup：Java HTML 解析器，集成了 DOM、CSS 和 jQuery 的优点。

使用入门案例

引入

    org.jsoup
    jsoup
    1.10.2

WebMagic 是一个可扩展的网络爬虫框架。

它涵盖了爬虫的整个生命周期：下载、URL 管理、内容提取和持久化。

它可以简化特定爬虫的开发过程。

这个框架覆盖了爬虫完整的生命周期，我们可以在其基础上进行处理。

或者参考这种思路，实现自己需要的爬虫工具。

快速开始

maven 引入

    us.codecraft
    webmagic-core
    0.7.3


    us.codecraft
    webmagic-extension
    0.7.3