爬虫学习 | 01 Web Scraper的使用
目录
背景介绍:
第一部分:Web Scraper简介
1.什么是Web Scraper:
Web Scraper🛒
主要用途:
2.为什么选择Web Scraper:
第二部分:安装Web Scraper
1.打开google浏览器,点击>扩展程序,点击>访问chrome应用商店
2.搜索web scraper,并下载如下:
第三部分:详细爬取步骤
1.选择目标网站:
2.定义选择器:
1.新建一个sitemap:
2.命名,输入网址,点击>create sitemap:
3.确定并创建一些爬取的内容:
1.点击chinadaily进入
2.创建选择器,点击selector
3.选择器创建具体操作:
4.创建自己想要爬取的东西:
编辑
5.爬取具体信息
6.开始爬取
第四部分:数据导出与后续处理
数据导出:
1.CSV (Comma-Separated Values)
2.Excel
背景介绍:
在当今数字化时代,我们被海量信息所包围。数据已成为企业和个人决策过程中不可或缺的资源。无论是市场研究、产品分析、客户洞察还是趋势预测,获取准确和及时的数据是至关重要的。然而,许多有价值的数据散布在互联网的各个角落,以非结构化的形式存在,不易直接使用。这就是Web Scraper发挥作用的地方。
Web Scraper是一个强大的工具,它允许用户自动化地从网页中提取信息。与传统的手动数据收集相比,Web Scraper可以大幅提高数据获取的效率和准确性。它通过模拟人类的浏览行为,访问网页并从中抓取所需的数据,然后将其转换为结构化格式,方便进一步分析和使用。
第一部分:Web Scraper简介
1.什么是Web Scraper:
Web Scraper🛒
是一款专为浏览器设计的插件,它允许用户通过一个直观的图形用户界面(GUI)来创建数据抓取规则,无需编写任何代码。用户可以通过选择网页上的元素来定义抓取点,然后让插件自动地从这些元素中提取数据。Web Scraper支持多种浏览器,包括但不限于Chrome和Firefox,使其可以轻松集成到用户的日常工作流程中。
主要用途:
市场研究:收集竞争对手的价格、产品信息等。
客户洞察:从社交媒体和论坛中提取用户反馈和评论。
内容聚合:自动收集新闻、博客文章或其他在线内容。
数据监控:定期抓取特定网页上的数据变化,用于趋势分析。
个性化数据收集:根据用户需求定制抓取特定数据。
2.为什么选择Web Scraper:
用户友好:Web Scraper提供了一个简单易用的界面,即使是没有编程经验的用户也能快速上手。
无需编码:与需要编写代码的抓取工具相比,Web Scraper允许用户通过选择器直观地定义抓取规则。
实时预览:在定义选择器时,用户可以实时预览抓取结果,确保准确性。
自动化处理:一旦设置完成,Web Scraper可以自动执行抓取任务,减少人工干预。
多页面支持:Web Scraper能够处理分页数据,自动抓取多个页面上的信息。📈
第二部分:安装Web Scraper
1.打开google浏览器,点击>扩展程序,点击>访问chrome应用商店
2.搜索web scraper,并下载如下:
第三部分:详细爬取步骤
1.选择目标网站:
我选择的ChinaDaily,可以自己爬取出来当作外刊阅读~~:China Daily Website - Connecting China Connecting the World
进入之后,点击>F12,会显示出 开发者工具(Developer Tools),如下:
然后观察功能,找到最后一个Web Scraper,点击进入:
2.定义选择器:
1.新建一个sitemap:
2.命名,输入网址,点击>create sitemap:
我想爬取一点最近的实时,所以选择了美洲,不是在首页哦😊
3.确定并创建一些爬取的内容:
浏览首页,选择一个新闻标题作为数据点,使用Web Scraper的元素选择器工具,点击标题,自动生成选择器。
1.点击chinadaily进入
2.创建选择器,点击selector
3.选择器创建具体操作:
选择:element,记住要选:mutiple
select的时候,先选第一个,再选相似的第二个,这样就能自动选上所有相似的
4.创建自己想要爬取的东西:
按照自己需求创,一般都是text类型,链接用link,图片用image,别的,,(我也是初学,还不会用 ~ ~ )
5.爬取具体信息
点击链接进入之后,可以接着创建想要的信息。记得选择link对应的选择器名字
我的是这样子的:
6.开始爬取
点击scrape
爬取的时候会有个弹窗,不要管,爬取完了自己就关掉了
点击refresh,就会有下面的数据了
第四部分:数据导出与后续处理
数据导出:
1.CSV (Comma-Separated Values)
用途:CSV是一种广泛使用的数据格式,它以纯文本形式存储表格数据,字段之间用逗号分隔。CSV文件易于使用,可以被大多数电子表格软件(如Microsoft Excel、Google Sheets)和数据库应用程序直接打开和处理。
2.Excel
用途:Excel文件(通常是.xls或.xlsx格式)是微软的电子表格格式,广泛用于数据的存储、计算和可视化。Excel提供了丰富的数据处理功能,包括公式、图表、数据透视表等。
具体操作:
到这一步,已经成功爬取了新闻,可以当外刊读了~~