-
Crawl WebMagic 爬虫入门使用简介 webmagic
WebMagic
WebMagic 是一个可扩展的网络爬虫框架。
它涵盖了爬虫的整个生命周期:下载、URL 管理、内容提取和持久化。
它可以简化特定爬虫的开发过程。
这个框架覆盖了爬虫完整的生命周期,我们可以在其基础上进行处理。
或者参考这种思路,实现自己需要的爬虫工具。
快速开始
maven 引入
<dependency>
<groupId>...
2018-08-19 03:02:05 |
Tool
-
Crawl jsoup 爬虫使用 jsoup 无法抓取动态 js 生成的内容
Jsoup
Jsoup:Java HTML 解析器,集成了 DOM、CSS 和 jQuery 的优点。
使用入门案例
引入
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1...
2018-08-19 03:02:05 |
Tool
-
Crawl htmlunit 模拟浏览器动态 js 爬虫入门使用简介
htmlunit
htmlunit 可以认为是一个无界面的浏览器,可以模拟动态 js 加载,这些是 jsoup 这种专注于页面解析的工具做不到的。
快速开始
maven 引入
<dependency>
<groupId>net.sourceforge.htmlunit</groupId>
<artifactId>html...
2018-08-19 03:02:05 |
Tool
-
Command Tool
taskbook
简介
taskbook
通过使用 简单且最小化 的使用语法,平坦的学习曲线,使您可以在终端内 跨多个板块,有效地管理任务和笔记.
所有数据都以原子方式写入存储,以防止损坏,并且永远不会与任何第三方实体共享. 已删除的项目会自动存档,并且可以随时完成或恢复.
使用
安装
npm install --global taskbook
想法
...
2018-08-18 06:52:41 |
Tool
-
Validator-04-5 年,只为了一个更好的校验框架
天地初开
五年前,科技大厦 1 层 B 座。
小明的眼睛直勾勾地盯着屏幕,双手噼里啪啦的敲着键盘。
思考是不存在的,思考只会让小明的速度降下来。
优秀的程序员完全不需要思考,就像不需要写文档和注释一样。
“真是简单的需求啊”,小明觉得有些无聊,“毫无挑战。”
和无数个 web 开发者一样,小明今天做的是用户的注册功能。
首先定义一下对应的用户注册对象:
public clas...
2018-08-18 06:40:08 |
Java
-
Validator-03-beanvalidation 2.0 文档整理
说明
本系列为官方文档的翻译,主要是为了系统学习 Bean-Definition 的设计。
https://beanvalidation.org/1.0/spec/
https://beanvalidation.org/2.0/spec
2.0 中的新功能
Bean Validation 2.0 的主要贡献是利用 Java 8 的新语言特性和 API 添加来进行验证。
使用 Be...
2018-08-18 06:40:08 |
Java
-
Validator-02-自定义校验注解
说明
禁止字符串包含英文逗号。
@Target({ ElementType.METHOD, ElementType.FIELD, ElementType.ANNOTATION_TYPE })
@Retention(RetentionPolicy.RUNTIME)
@Constraint(validatedBy = NotAllowCommaValidator.class)
public ...
2018-08-18 06:40:08 |
Java
-
Hibernate Validator 参数校验
Hibernate-Validator
hibernate-validator
Fluent-Validator
fluent-validator
Valid
自己定义
思考
以前不同 Hibernate-Validator 的魅力,觉得设计了太多的注解。
后来发现使用注解组合的方式,其实拓展性很强。
而且支持自定义注解。
个人的 i18n 和 自定义注解就是模仿这个项目...
2018-08-18 06:40:08 |
Java