前言

大家早好、午好、晚好吖 ❤ ~

“剧本杀”

是玩家到实景场馆，体验推理性质的项目。

剧本杀的规则是，玩家先选择人物，阅读人物对应剧本，搜集线索后找出活动里隐藏的真凶。

剧本杀不仅仅是一个游戏，更是一个集知识属性、心理博弈属性、强社交属性于一体的娱乐项目。

最近它日渐火爆，身边得朋友也有想去玩得

而看了《明侦》得我也对它有了浓厚得兴趣

正好，朋友约着出去，就是不知道哪家店更值得去

所以趁着还有几天就用python来采集一些 店家的数据信息看看哪家更值得去

---

环境使用:

• Python 3.8

• Pycharm

---

模块使用:

• requests >>> pip install requests

• re

• csv

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests)回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

---

基本流程思路: <通用>

一. 数据来源分析

抓包分析我们想要数据内容, 请求的那个网站 url地址得到

F12 或者 鼠标右键点击检查选择network, 点击第二页

选中xhr 第一个数据包就是我们想要的内容 用到开发者工具搜索功能

二. 代码实现步骤过程: 固定四大步骤

1. 发送请求, 对于刚刚分析得到url地址发送请求

2. 获取数据, 获取服务器返回响应数据

   —> 开发者工具里面response

3. 解析数据, 提取我们想要数据内容

   —> 店铺基本信息

4. 保存数据, 保存数据, 保存表格里面

5. 多页数据采集

   多页数据采集 —> 循环 for <目的>

   分析请求url地址参数变化

---

代码展示

采集数据

导入模块

# 导入数据请求模块 ---> 第三方模块 需要 pip install requests
import requests
# 导入格式化输出模块 --> 内置模块 不需要安装
from pprint import pprint
# 导入csv模块 --> 内置模块 不需要安装
import csv
# 导入时间模块 --> 内置模块 不需要安装
import time
# 导入正则模块 --> 内置模块 不需要安装
import re

源码点击领取即可

python学习交流Q群：582950881 ### 源码领取
# 3. 发送请求
html_data = requests.get(url=link, headers=headers).text
# 4. 获取数据print(html_data)
"""
5. 解析数据, re正则 会用 1 不会 2
re.findall() 找到所有我们想要数据
告诉程序: 从什么地方 去找什么数据
从 html_data  去找 "address":"(.*?)","phone":"(.*?)","openTime":"(.*?)", 这段内容
其中 (.*?) 就是我们要的数据
"""
shop_info = re.findall('"address":"(.*?)","phone":"(.*?)","openTime":"(.*?)",', html_data)[0]
print(shop_info)
# shop_info 元组 ---> [0] 根据索引位置取值 / 计数从0开始计数
address = shop_info[0]
# [1] 什么意思?
phone = shop_info[1]
# replace 是什么 字符串替换方法 把 \\n 替换 空的  \<转义字符串> \n 还换行符
openTime = shop_info[2].replace('\\n', '')
print(address, phone, openTime)

# 创建文件 相对路径 你代码在哪里 文件就写在哪里
f = open('男人的小秘密多页.csv', mode='a', encoding='utf-8', newline='')
# 字典写入 f ---> 文件对象 fieldnames 字段名 表头表格第一行内容
csv_writer = csv.DictWriter(f, fieldnames=[
    '店铺',
    '店铺类型',
    '商圈',
    '人均消费',
    '最低消费',
    '评分',
    '评论',
    '纬度',
    '经度',
    '详情页',
])
# 写入表头
csv_writer.writeheader()

发送请求, 模拟浏览器发送请求

长链接可以分段写入

批量替换 —> 批量添加引号和逗号

1.选中替换内容

2.按 ctrl + R

3.勾选上.* 输入正则命令（下方）

(.*?): (.*)
'$1': '$2',

如果当你请求网站, 被反爬的时候

一种最简单反反爬手段, 用headers请求头伪装成浏览器去发送请求

python学习交流Q群：582950881 ### 源码领取
    # 发送请求
    response = requests.get(url=url, params=data, headers=headers)
    # <Response [403]>: 整体表示响应对象 403状态码 表示 没有访问权限
    # <Response [200]> 200 状态码表示请求成功 print(response)
    # 2. 获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response --> response.json() 获取响应对象json字典数据 print(response.json())
    # 3. 解析数据, 提取我们想要的数据内容 ---> 字典取值: 键值对取值 <根据冒号左边的内容[键], 提取冒号右边的内容[值]>
    for index in response.json()['data']['searchResult']:  # for循环遍历, 把列表里面元素一个一个提取出来

        # 写入数据
        csv_writer.writerow(dit)
        print(dit)

可视化代码

源码点击领取即可

尾语 💝

好了，今天的分享就差不多到这里了！

完整代码、视频讲解、疑惑解答直接点击下方名片自取即可。

宁外给大家推荐一个好的教程：

【48小时搞定全套教程！你和大佬只有一步之遥【python教程】

有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง

喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！