五、保存数据到Excel、sqlite（爬虫及数据可视化）

五、保存数据到Excel、sqlite（爬虫及数据可视化）

• 1，保存数据到excel
• • 1.1 保存九九乘法表到excel
  • • （1）代码testXwlt.py
    • （2）excel保存结果
    • 1.2 爬取电影详情并保存到excel
    • • （1）代码spider.py
      • （3）excel保存结果
      • 2，保存数据到sqlite
      • • 2.1 sqlite数据库
        • 2.2 创建表
        • 2.3 插入数据
        • 2.4 查询数据
        • 2.5 保存数据到数据库db文件
        • 2.6 完整代码spider.py

          1，保存数据到excel

          

          1.1 保存九九乘法表到excel

          （1）代码testXwlt.py

          #-*- codeing = utf-8 -*- 
          #@Time : 2020/11/23 15:35
          #@Author : 招财进宝
          #@File : testXwlt.py
          #@Software: PyCharm
          import xlwt
          '''
          workbook = xlwt.Workbook(encoding="utf-8")      #创建workbook对象（可以理解为一个文件）
          worksheet = workbook.add_sheet('sheet1')        #创建工作表，可理解为文件中的表单
          worksheet.write(0,0,"hello")                    #写入数据（写到的是内存中），第一个参数“行”，第二个“列”，第三个参数“内容”
          workbook.save('student.xls')                    #保存数据表到硬盘
          '''
          workbook = xlwt.Workbook(encoding="utf-8")      #创建workbook对象（可以理解为一个文件）
          worksheet = workbook.add_sheet('sheet1')        #创建工作表，可理解为文件中的表单
          for i in range(0,9):
              for j in range(0,i+1):
                  worksheet.write(i, j, "%d*%d=%d"%(i+1,j+1,(i+1)*(j+1)))
          workbook.save('student.xls')                    #保存数据表到硬盘
          

          （2）excel保存结果

          

          1.2 爬取电影详情并保存到excel

          （1）代码spider.py

          以下为完整代码

          #-*- codeing = utf-8 -*- 
          #@Time : 2020/11/20 11:08
          #@Author : 招财进宝
          #@File : spider.py
          #@Software: PyCharm
          from bs4  import  BeautifulSoup       #网页解析，获取数据
          import re           #正则表达式，进行文字匹配
          import urllib.request,urllib.error          #指定url，获取网页数据
          import xlwt         #进行Excel操作
          import sqlite3       #进行SQLite操作
          def main():
              baseurl = "https://movie.douban.com/top250?start="
              #1.爬取网页
              datalist = getData(baseurl)
              savapath = "豆瓣电影TOP250.xls"
              #3.保存数据
              savaData(datalist,savapath)
              #askURL("https://movie.douban.com/top250?start=0")
          #影片详情链接的规则
          findLink = re.compile(r'a href="(.*?)">')         #生成正则表达式对象，表示规则（字符串的模式）,用来匹配所有的链接
          #影片 图片的链接
          findImgSrc = re.compile(r'