应用背景
我们爬取数据的目的肯定不是单纯地为爬而爬，终极目标还是需要把这些数据用起来。毋庸置疑，数据被应用的大前提就是先要按需求被保存。如何保存呢？
保存成本地文件？没问题，当然可以，对于不熟悉数据库的用户来说这是一个非常好的方案。但是对于大数据环境下的数据应用而言，就不能不利用数据库了。
数据库的好，谁用谁知道！那么，如何把爬取到的数据存入到数据库呢？以下enjoy~~~
python数据库基础
本文以单机版的mysql为例，其他的数据库本质相同，有兴趣的同学可以自行百度呦（读者：讨厌，又是自己百度，难道就不能一次说全么！笔者：额，还是自己百度吧，数据分析的基本技能之一就是多动手~~~）。
1 MySQL安装和配置
教程可参阅：
https://www.cnblogs.com/laumians-notes/p/9069498.html ，需要注意的是cmd需要以管理员身份运行，避免出现命令被拒绝执行的问题。
2 MySQL连接工具SQLyog安装
本文使用是SQLyog，之所以选择这个，是因为可以导出表结构，具体的信息可以自己百度下。不过鄙人在安装时，遇到报错信息：plugin caching_sha2_password could not be loaded，这个问题的处理可参阅:
https://blog.csdn.net/qq_54202620/article/details/122729704 。
3 Python连接MySQL
本文使用的是pymysql库，在Jupyter中可以通过下面的方式安装，命令行工具直接pip即可。
!pip install pymysql # Jupyter中安装使用!pip install xxx安装完毕后，就可以导入使用，代码示例如下所示。
import pymysql # 导入工具包
# 通过pymysql.connect()函数连接数据库
db = pymysql.connect(host='localhost', # MySQL服务器地址
port=3306, # 数据库的端口
user='root', # 数据库的用户名
password='123456', # 数据库的密码
database='python_data', # 数据库名称
charset='gb2312') # 编码方式
cur = db.cursor() # 模拟执行SQL语句的固定写法，只有引入会话指针后才能接着调用SQL语句
sql = 'INSERT INTO shlpractice1(company, title, href, source, date) VALUES (%s, %s, %s, %s, %s)'
# %s称为占位符，有几个元素就写几个%s。每一个%s代表一个字符串，之后可以传入相应的具体内容
cur.execute(sql, (company, title[i], href[i], source[i], date[i])) # 执行SQL语句并传入相应的内容
db.commit() # 更新数据表的固定写法
# 最后需要关闭之前引入的会话指针cur和数据库连接
cur.close()
db.close() 完整代码
'''
## =========================================
## Title: 3.2 用Python存储数据到数据库
## Author: 职教之光
## Date: 2022-04-29
## ==========================================
'''
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import os
os.chdir('D:/3.DA/Finance Bigdata mining and analysis with Python') # 变更工作目录
print('项目工作目录为：\n%s'% os.getcwd()) # 获取当前工作目录
print(66 * '-') # 分割线
import requests
import re
import pymysql
import time
# UA代表访问网站的浏览器是哪种浏览器，可以通过在地址栏中输入“about:version”获取
# “\”是行连接符,
headers = {'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebkit/537.36 (KHTML, like Gecko) \
Chrome/100.0.4896.127 Safari/537.36'}
def baiduinfo(company, page):
num = (page - 1) * 10 # 参数规律是（页数-1）*10
url = 'https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=' + company + '&pn=' + str(num)
web = requests.get(url, headers=headers, timeout=10).text # 设置超时为10s，避免程序挂死
# print(url)
page_href = '', '', title[i]) # 核心，用re.sub()函数来替换不重要的内容
print(str(i + 1) + '.' + title[i] + '(' + date[i] + '-' + source[i] + ')')
print(href[i])
# 将数据存入数据库
for i in range(len(title)):
db = pymysql.connect(host='localhost',
port=3306,
user='root',
password='123456',
database='python_data',
charset='gb2312')
cur = db.cursor()
sql = 'INSERT INTO shlpractice1(company, title, href, source, date) VALUES (%s, %s, %s, %s, %s)'
cur.execute(sql, (company, title[i], href[i], source[i], date[i]))
db.commit()
cur.close()
db.close()
companys = ['北京科锐', '新世界']
# 为了防止程序因为偶然的异常而终止运行，使用try/except异常处理语句
for company in companys:
for i in range(5):
try:
baiduinfo(company, i+1) # i是从0开始的序号，所以要写成i+1表示第几页
print(company + '第' + str(i+1) + '页爬取成功！')
except:
print(company + '百度新闻爬取失败！')
这一坨代码执行成功的结果打印如下，数据库中的记录见上面SQLyog的示意图。
一起动手练
下面又到了动动手环节，小伙伴们，一起敲起来呦~~~
欢迎交流与探讨！
