Python-34-splider 爬虫
善良比聪明更重要
爬虫究竟是合法还是违法的?
遵守以下规则
遵守 Robots 协议,但有没有 Robots 都不代表可以随便爬,可见下面的大众点评百度案;
限制你的爬虫行为,禁止近乎 DDOS 的请求频率,一旦造成服务器瘫痪,约等于网络攻击;
对于明显反爬,或者正常情况不能到达的页面不能强行突破,否则是 Hacker 行为;
最后,审视清楚自己爬的内容,以下是绝不能碰的红线(包...
2018-02-14 07:09:30 |
Lang
Python-33-tools 工具
Python Tutor
Python Tutor 是由 Philip Guo 开发的一个免费教育工具,可帮助学生攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。
通过这个工具,教师或学生可以直接在 Web 浏览器中编写 Python 代码,并逐步可视化地运行程序。
如果你不知道代码在内存中是如何运行的,不妨把它拷贝到Tutor里可视化执行一遍,加深理解。
S...
2018-02-14 07:09:30 |
Lang
Python-32-clis fire 命令行框架
Python
Python Fire is a library for automatically generating command line interfaces (CLIs) from absolutely any Python object.
Python Fire is a simple way to create a CLI in Python.
Python Fire ...
2018-02-14 07:09:30 |
Lang
Python-31-clis 命令行工具编写
python 编写命令行工具
你一定用过很多 linux 的命令行工具,并且觉得这些工具很酷。
Python 能编写这些工具吗?
答案是肯定的。今天我们就来看看如何用 python 编写命令行工具。
实现方式
如何接受cmd中输入的参数,需要用到的就是命令行解析工具。
python中有很多命令行解析库,主要有如下几种
sys.argv
arg...
2018-02-14 07:09:30 |
Lang
Python-30-pip3 mac pip3 安装
mac
mac 默认的环境是 python 2.X
后来安装了 python3.X 所有的命令使用 python3 来执行。
但是还是有一个问题,pip 默认还是 2.x,这里就需要安装 pip3。
pip3 安装
下载
curl -o get-pip.py https://bootstrap.pypa.io/get-pip.py
等待下载完成
% Total %...
2018-02-14 07:09:30 |
Lang
Python-29-test converate 测试覆盖率
CI 流程
Travis-CI
https://www.travis-ci.org 直接添加此项目
Coveralls python
添加项目
https://coveralls.io/repos/new 直接添加项目
查看对应密匙
本地安装
pip install python-coveralls
.coveralls.yml
指定覆盖率的一些事情
service_...
2018-02-14 07:09:30 |
Lang
Python-27-singleton 单例模式
单例模式
概念
单例模式(Singleton Pattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中,某个类只能出现一个实例时,单例对象就能派上用场。
场景
比如我想加载一个文件的配置,我希望这个文件的配置只会被加载一次。
那应该怎么做呢?
文件的内容比较大,我希望只会被加载一次,这个时候单例模式就可以帮我们解决这个问题。
...
2018-02-14 07:09:30 |
Lang
Python-27-pydoc 文档 Sphinx
文档生成
文档生成主要有 pydoc(python 官方自带的),我看了下不是很好看。
感觉还是 Python-Sphinx 比较符合我的审美。
Sphinx
intro
Sphinx is a tool that makes it easy to create intelligent and beautiful documentation for Python projects...
2018-02-14 07:09:30 |
Lang