这篇文章主要介绍了Python爬虫如何抓取多个URL写入本地文件的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇Python爬虫如何抓取多个URL写入本地文件文章都会有所收获，下面我们一起来看看吧。

　　1. Pycharm中运行Scrapy

　　windows环境下cmd中通过scrapy startproject 项目名,创建scrapy项目

　　修改Run…中的Script path为cmdline.py文件路径F:\programs\python\Lib\site-packages\scrapy\cmdline.py

　　Parameters为crawl 爬虫文件名

　　working directory为scrapy项目所在文件夹

　　每次执行该run命令即可运行scrapy

　　2.items.py

　　class Csdn02Item(scrapy.Item):

　　# define the fields for your item here like:

　　# name = scrapy.Field()

　　title = scrapy.Field()#标题

　　updatetime = scrapy.Field()#发表时间

　　readcount = scrapy.Field()#阅读数

　　author = scrapy.Field()#作者

　　ranking = scrapy.Field()#博客排名

　　curl = scrapy.Field()#博文链接

　　context = scrapy.Field()#博文内容

　　3.pipelines.py

　　4.自定义的爬虫代码mycsdn.py

关于“Python爬虫如何抓取多个URL写入本地文件”这篇文章的内容就介绍到这里，感谢各位的阅读！相信大家对“Python爬虫如何抓取多个URL写入本地文件”知识都有一定的了解，大家如果还想学习更多知识，欢迎关注天达云行业资讯频道。