Python爬虫框架Scrapy：爬取校花网，程序人生

1、创建项目

运行命令:

1

scrapy startproject p1（your_project_name）

2.自动创建目录的结果：

文件说明：

• scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
  • items.py 设置数据存储模板，用于结构化数据，如：Django的Model
    • pipelines 数据处理行为，如：一般结构化的数据持久化
      • settings.py 配置文件，如：递归的层数、并发数，延迟下载等
        • spiders 爬虫目录，如：创建文件，编写爬虫规则

          注意：一般创建爬虫文件时，以网站域名命名

          编写爬虫

          

          

          备注：

          • 1.爬虫文件需要定义一个类，并继承scrapy.spiders.Spider
            • 2.必须定义name，即爬虫名，如果没有name，会报错。因为源码中是这样定义的：

              

              • 3.编写函数parse，这里需要注意的是，该函数名不能改变，因为Scrapy源码中默认callback函数的函数名就是parse；

                一、Python所有方向的学习路线

                Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

                

                

                二、Python必备开发工具

                工具都帮大家整理好了，安装就可直接上手！

                三、最新Python学习笔记

                当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

                

                四、Python视频合集

                观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

                

                五、实战案例

                纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

                六、面试宝典

                

                

                简历模板

                小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

                深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

                因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

                由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

                如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

                

                里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频**

                如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

                [外链图片转存中…(img-5Nh45Hfj-1710982015557)]