所有城市的汽车信息。

如何跳过反爬虫

IP代理(Proxy)

如何设置？config.py中有详细的各个代理设置注释，建议使用PROXY_POOL进行IP代理，可以使用一次一个的接口来获取代理IP。

UA池

user-agent可以使用settings.py中的UA池，如果你有更多的可用UA，可以自己加进去或者替换掉。

用户cookie

如果你需要爬取加密的商铺点评数据（页数>1），则需要添加点评用户的登陆cookie到config.py的COOKIE中。

具体内容为一个字符串，如：‘_lxsdk_cuid=1681d897b62c8;_hc.v=ff4f63f6;thirdtoken=c9792’之类的。

其实在此之前，自己也尝试过做过尝试。

而且做了两次，最后因为没有成为一个可高度复用的框架，而逐渐失去维护。

本篇整理下成熟工具的长处，结合自己失败的经验，为设计一款简单灵活的爬虫打下基础。

以前失败的教训

暂停的工具

crawl

poseidon