深度爬虫学习！小白勿进！神级程序员对CrawlSpider的深度解析！

2.链接提取：LinkExtractor

4.如何在pycharm中直接运行爬虫

1. 在项目下创建start.py文件

配置了这么多最后发现start.py后直接运行就行，不需要配置那么多。

pipelines.py

lp.py

settings.py

6.使用中间件设置请求头和代理

print '======proxy======'

7.爬取美西网商品详情,并存储与数据库

代码如下：

meicispider.py

谢谢阅读！

如有侵权请联系小编删除！