什么是爬虫

🕷️ 什么是爬虫

爬虫（网络蜘蛛）就是模拟浏览器访问网站，自动提取网页数据的程序 。

流程：

1. 发请求拿网页源码

2. 解析提取文字/图片/价格

3. 保存到文件/数据库

⚠️ 重要提醒：只能爬公开、允许的数据；不要高频轰炸网站、不要爬隐私/付费内容，否则有法律风险，遵守  robots.txt  协议。

🧰 常用Python库

– requests：最简单发网络请求（静态网页入门首选）

– BeautifulSoup / lxml：解析HTML

– Selenium / Playwright：打开真实浏览器，对付JS动态加载页面

– Scrapy：大型爬虫框架

安装：

bash

pip install requests beautifulsoup4 lxml

✅ 最简示例（获取网页标题）

python

import requests

from bs4 import BeautifulSoup

url = "https://www.example.com"

# 伪装成浏览器

headers = {

    "User‑Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0 Safari/537.36"

}

res = requests.get(url, headers=headers, timeout=10)

soup = BeautifulSoup(res.text, "lxml")

print("页面标题：", soup.title.text)

运行就会打印网站标题。

📈 难度梯度

1. 简单静态页：requests + bs4（大部分教程练手）

2. 动态加载（AJAX）：抓接口JSON（最舒服）

3. 反爬强、登录、滑块验证码：Playwright、代理池、打码平台