简介
网页爬取是通过编程或专用工具自动提取网站数据的过程。它适用于市场研究、数据分析、内容聚合和竞争情报等任务。这种高效的方法可以节省时间、改善决策，并允许企业研究趋势和模式，使其成为从互联网提取有价值信息的强大工具。
由于我在上一篇文章中收到了很多积极的反馈，我想深入探讨这个许多人感兴趣的话题。除了 BeautifulSoup、Scrapy 和 Selenium，你是否考虑过使用 LLM 进行网页爬取？这是一种值得你关注的技术。
开始吧!!!
如果你知道 Python 但不了解 HTML，你应该首先了解 HTML 的基础知识。
一、了解基本的 HTML
HTML 是网页的基本组成部分。通过一组标签来结构化互联网上的内容。标签就像容器，将各种元素包装起来，定义它们在网页上的结构和外观。
HTML 元素 (维基百科)
1. HTML 的结构
一个 HTML 文档由两部分组成：头部和主体。
•头部包含元数据，如页面标题和链接到外部资源的链接。•主体包含网页的内容，包括文本、图片和其他多媒体元素。
以下是一个简单的 HTML 模板：
<!DOCTYPE html><html><head><title>我的第一个网页</title></head><body><h1>你好，世界！</h1><p>这是一个简单的网页。</p></body></html>
2. HTML 标签
标签是 HTML 的核心。它们定义了网页上的不同元素。一些常见的标签包括：
•<h1> 到 <h6>：标题，其中 <h1> 是最大的，<h6> 是最小的。•<p>：文本段落。•<a>：超链接，允许你导航到其他页面。•<img>：图片。•<ul>、<ol>、<li>：列表，包括无序列表和有序列表。
3. 属性
属性为 HTML 元素提供附加信息。它们总是包含在开标签中，并作为名称/值对指定。例如，<a> 标签中的 href 属性定义了超链接的目的地。
<a href="https://www.example.com">访问示例网站</a>
4. 如何检查网站中的元素
大多数网络浏览器都提供内置的元素检查工具。要打开此工具，右键点击网页并选择“检查”。在这里你可以查看 HTML 代码并识别包含你想要提取数据的标签。
选择器帮助精确定位网页上的特定元素。常见的选择器包括：
•元素选择器：element 选择所有指定 HTML 元素的实例。•类选择器：.class 选择所有具有指定类的元素。•ID 选择器：#id 选择具有指定 ID 的唯一元素。
例如：
检查 IMDB 网站
二、如何进行“网页爬取”
❗免责声明
本文不涉及非法用途的网页爬取。在提取内容之前，请确保你有权限。检查方法包括：
•查看网站的使用条款，查找是否提及爬取权限。•在有可用的 API 时使用 API。API 提供对数据的合法访问。•直接联系网站所有者以明确你的权限。
好的，假设你已经意识到你的行为。让我们开始。
以下是 2022 年动作电影的 URL：https://www.imdb.com/list/ls566941243/。我将使用 5 种不同的方法从这个网站爬取[‘Title’, ‘Genre’, ‘Stars’, ‘Runtime’, ‘Rating’]数据。
# 定义 URLurl = "https://www.imdb.com/list/ls566941243/"
? 你可以在这个 GitHub 仓库[1]中找到完整的代码。首先，请安装 requirements.txt 中列出的所需 Python 包。
方法 1：BeautifulSoup 和 Requests
第一种方法使用流行的 BeautifulSoup 和 Requests 库。这些工具使分析 HTML 和导航网页结构变得容易。以下是一个示例 Python 代码。
import requestsfrom bs4 import BeautifulSoupimport pandas as pd# 第一步：向指定 URL 发送 GET 请求response = requests.get(url)# 第二步：使用 BeautifulSoup 解析响应的 HTML 内容soup = BeautifulSoup(response.text, 'html.parser')# 第三步：将 HTML 内容保存到文本文件以供参考with open("imdb.txt", "w", encoding="utf-8") as file:file.write(str(soup))print("页面内容已保存到 imdb.txt")# 第四步：从解析的 HTML 中提取电影数据并存储在列表中movies_data = []for movie in soup.find_all('div', class_='lister-item-content'):title = movie.find('a').textgenre = movie.find('span', class_='genre').text.strip()stars = movie.find('div', class_='ipl-rating-star').find('span', class_='ipl-rating-star__rating').textruntime = movie.find('span', class_='runtime').textrating = movie.find('span', class_='ipl-rating-star__rating').textmovies_data.append([title, genre, stars, runtime, rating])# 第五步：从提取的电影数据创建 Pandas DataFramedf = pd.DataFrame(movies_data, columns=['Title', 'Genre', 'Stars', 'Runtime', 'Rating'])# 显示结果 DataFramedf
在每种网页爬取方法中，我将 HTML 保存到 imdb.txt 文件中，以更清楚地查看目标 HTML 元素。将 HTML 内容保存到 txt 文件中（图片由作者提供）
将 HTML 内容保存到 txt 文件中（图片由作者提供）
最终输出：
使用 BeautifulSoup 和 Requests 进行网页爬取（图片由作者提供）
方法 2：Scrapy
Scrapy 是一个强大且灵活的网页爬取框架。以下是展示如何使用 Scrapy 的代码片段，注释中有解释：
# 导入必要的库import scrapyfrom scrapy.crawler import CrawlerProcess# 定义用于 IMDb 数据提取的 Spider 类class IMDbSpider(scrapy.Spider):# 爬虫的名称name = "imdb_spider"# 爬虫开始爬取的 URL 列表start_urls = ["https://www.imdb.com/list/ls566941243/"]# 解析方法，从网页中提取数据def parse(self, response):# 遍历网页上的每个电影项for movie in response.css('div.lister-item-content'):yield {'title': movie.css('h3.lister-item-header a::text').get(),'genre': movie.css('p.text-muted span.genre::text').get(),'runtime': movie.css('p.text-muted span.runtime::text').get(),'rating': movie.css('div.ipl-rating-star span.ipl-rating-star__rating::text').get(),}# 初始化带有设置的 CrawlerProcess 实例process = CrawlerProcess(settings={'FEED_FORMAT': 'json','FEED_URI': 'output.json',# 每次运行爬虫时都会覆盖该文件})# 将 IMDbSpider 添加到爬取进程中process.crawl(IMDbSpider)# 启动爬取进程process.start()import pandas as pd# 将 output.json 文件读入 DataFrame（jsonlines 格式）df = pd.read_json('output.json')# 显示 DataFramedf.head()
在这个示例中，我使用的是 Jupyter Notebook。如果遇到 ReactorNotRestartable错误，只需重启内核并再次运行代码。
示例：使用 Scrapy 时出现 ReactorNotRestartable 错误
显示数据在 DataFrame 中：
import pandas as pd# 将 output.json 文件读入 DataFrame（jsonlines 格式）df = pd.read_json('output.json')# 显示 DataFramedf.head()
方法 3：Selenium
Selenium 通常用于动态网页爬取。以下是一个基本示例：
from selenium import webdriverfrom bs4 import BeautifulSoupimport pandas as pd# IMDb 列表的 URLurl = "https://www.imdb.com/list/ls566941243/"# 设置 Chrome 选项以无痕模式运行浏览器chrome_options = webdriver.ChromeOptions()chrome_options.add_argument("--incognito")# 初始化带有指定选项的 Chrome 驱动driver = webdriver.Chrome(options=chrome_options)# 导航到 IMDb 列表 URLdriver.get(url)# 等待页面加载（根据您的网页调整等待时间）driver.implicitly_wait(10)# 获取页面完全加载后的 HTML 内容html_content = driver.page_source# 使用 BeautifulSoup 解析 HTML 内容soup = BeautifulSoup(html_content, 'html.parser')# 将 HTML 内容保存到文本文件以供参考with open("imdb_selenium.txt", "w", encoding="utf-8") as file:file.write(str(soup))print("页面内容已保存到 imdb_selenium.txt")# 从解析的 HTML 中提取电影数据movies_data = []for movie in soup.find_all('div', class_='lister-item-content'):title = movie.find('a').textgenre = movie.find('span', class_='genre').text.strip()stars = movie.select_one('div.ipl-rating-star span.ipl-rating-star__rating').textruntime = movie.find('span', class_='runtime').textrating = movie.select_one('div.ipl-rating-star span.ipl-rating-star__rating').textmovies_data.append([title, genre, stars, runtime, rating])# 从收集的电影数据创建 Pandas DataFramedf = pd.DataFrame(movies_data, columns=['Title', 'Genre', 'Stars', 'Runtime', 'Rating'])# 显示结果 DataFrameprint(df)# 关闭 Chrome 驱动driver.quit()
最终输出：
使用 Selenium 进行网页爬取（图片由作者提供）
Selenium 的关键在于其 Chrome 选项，这些选项是用于自定义由 Selenium WebDriver 控制的 Chrome 浏览器行为的设置。这些选项可以控制无痕模式、窗口大小、通知等方面。
以下是一些您可能会发现有用的重要 Chrome 选项：
# 以无痕（私密浏览）模式运行浏览器chrome_options.add_argument("--incognito")# 以无头模式运行浏览器，即没有图形用户界面。适用于在后台运行 Selenium 测试而不打开可见的浏览器窗口chrome_options.add_argument("--headless")# 设置浏览器的初始窗口大小chrome_options.add_argument("--window-size=1200x600")# 禁用浏览器通知chrome_options.add_argument("--disable-notifications")# 禁用浏览器顶部出现的信息栏chrome_options.add_argument("--disable-infobars")# 禁用浏览器扩展chrome_options.add_argument("--disable-extensions")# 禁用 GPU 硬件加速chrome_options.add_argument("--disable-gpu")# 禁用 Web 安全功能，这对于在 localhost 上测试没有 CORS 问题时很有用chrome_options.add_argument("--disable-web-security")
这些选项可以根据您的需求进行组合或单独使用。当创建 webdriver.Chrome 实例时，您可以通过 options 参数传递这些选项：
from selenium import webdriverchrome_options = webdriver.ChromeOptions()chrome_options.add_argument("--incognito")chrome_options.add_argument("--headless")driver = webdriver.Chrome(options=chrome_options)
这些选项在使用 Selenium 进行网页自动化或测试时提供了灵活性和对浏览器行为的控制。根据您的具体用例和需求选择选项。
方法 4：Requests 和 lxml
lxml 是一个 Python 库，链接到 C 库 libxml2 和 libxslt，将速度和 XML 功能与简单的原生 Python API 结合起来，类似于 ElementTree，但有更多的优势。
import requestsfrom lxml import htmlimport pandas as pd# 定义 URLurl = "https://www.imdb.com/list/ls566941243/"# 发送 HTTP 请求到 URL 并获取响应response = requests.get(url)# 使用 lxml 解析 HTML 内容tree = html.fromstring(response.content)# 从解析的 HTML 中提取电影数据titles = tree.xpath('//h3[@class="lister-item-header"]/a/text()')genres = [', '.join(genre.strip() for genre in genre_list.xpath(".//text()")) for genre_list in tree.xpath('//p[@class="text-muted text-small"]/span[@class="genre"]')]ratings = tree.xpath('//div[@class="ipl-rating-star small"]/span[@class="ipl-rating-star__rating"]/text()')runtimes = tree.xpath('//p[@class="text-muted text-small"]/span[@class="runtime"]/text()')# 创建包含提取数据的字典data = {'Title': titles,'Genre': genres,'Rating': ratings,'Runtime': runtimes}# 从字典创建 DataFramedf = pd.DataFrame(data)# 显示结果 DataFramedf.head()
方法 5：如何使用 LangChain 进行网页爬取
我打赌所有对本文感兴趣的读者都知道 ChatGPT 和 BARD。大型语言模型（LLM）让生活变得更简单。你可以用它们来执行各种任务，比如询问“谁是唐纳德·特朗普？”或“将句子从德语翻译成英语”，并获得快速答案。好消息是你也可以用它们进行网页爬取。以下是方法。
? 有关此演示的有用 LangChain 资源：
•LangChain Beautiful Soup[2]•LangChain Extraction[3]
使用 LangChain LLM 进行网页爬取（图片由作者提供）
每行代码的简要解释已在注释中提供。
import osimport dotenvimport time# 从 .env 文件加载环境变量dotenv.load_dotenv()# 从环境变量中检索 OpenAI 和 Comet 密钥MY_OPENAI_KEY = os.getenv("MY_OPENAI_KEY")MY_COMET_KEY = os.getenv("MY_COMET_KEY")
在我的 LLM 项目中，我通常会在 Comet 项目中记录输出。在这个演示中，我只使用一个 URL。但是，如果你需要遍历多个 URL，Comet LLM 的实验跟踪非常有用。
? 了解更多关于 Comet LLM 的信息。
? 如何获取 API 密钥：OpenAI 帮助中心——在哪里可以找到我的 API 密钥？；CometLLM——获取你的 API 密钥
import comet_llm# 初始化 Comet 项目comet_llm.init(project="langchain-web-scraping", api_key=MY_COMET_KEY)
# 通过应用 nest_asyncio 解决异步问题import nest_asyncionest_asyncio.apply()# 从 langchain 导入所需模块from langchain_openai import ChatOpenAIfrom langchain_community.document_loaders import AsyncChromiumLoaderfrom langchain_community.document_transformers import BeautifulSoupTransformerfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.chains import create_extraction_chain# 定义 URLurl = "https://www.imdb.com/list/ls566941243/"# 使用 OpenAI API 密钥初始化 ChatOpenAI 实例llm = ChatOpenAI(openai_api_key=MY_OPENAI_KEY)# 使用 AsyncChromiumLoader 加载 HTML 内容loader = AsyncChromiumLoader([url])docs = loader.load()# 将 HTML 内容保存到文本文件以供参考with open("imdb_langchain_html.txt", "w", encoding="utf-8") as file:file.write(str(docs[0].page_content))print("页面内容已保存到 imdb_langchain_html.txt")# 使用 BeautifulSoupTransformer 转换加载的 HTMLbs_transformer = BeautifulSoupTransformer()docs_transformed = bs_transformer.transform_documents(docs, tags_to_extract=["h3", "p"])# 使用 RecursiveCharacterTextSplitter 拆分转换后的文档splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(chunk_size=1000, chunk_overlap=0)splits = splitter.split_documents(docs_transformed)
请注意，根据您的需要，您可能需要探索 HTML 布局以选择合适的 tags_to_extract。在这个演示中，我正在提取电影标题、类型、评分和时长，因此我将使用 <h3> 和 <p> 标签。
基本上，在获取所需的 HTML 之后，我们会问 LLM：“嘿 LLM，使用这个 HTML，请根据以下架构填写信息。”
# 定义用于电影数据验证的 JSON 架构schema = {"properties": {"movie_title": {"type": "string"},"stars": {"type": "integer"},"genre": {"type": "array", "items": {"type": "string"}},"runtime": {"type": "string"},"rating": {"type": "string"},},"required": ["movie_title", "stars", "genre", "runtime", "rating"],}def extract_movie_data(content: str, schema: dict):"""使用指定的 JSON 架构从内容中提取电影数据。参数:- content (str): 包含电影数据的文本内容。- schema (dict): 用于验证电影数据的 JSON 架构。返回:- dict: 提取的电影数据。"""# 使用提供的架构和内容运行提取链start_time = time.time()extracted_content = create_extraction_chain(schema=schema, llm=llm).run(content)end_time = time.time()# 在 Comet 项目中记录元数据和输出以进行跟踪comet_llm.log_prompt(prompt=str(content),metadata={"schema": schema},output=extracted_content,duration=end_time - start_time,)return extracted_content
最后，我们得到了结果：
# 使用定义的架构和第一个拆分页面内容提取电影数据extracted_content = extract_movie_data(schema=schema, content=splits[0].page_content)# 显示提取的电影数据print(extracted_content)
最终输出：
输出：使用 LangChain LLM 进行网页爬取（图片由作者提供）
关于 LLM，还有很多值得探索的内容。想了解更多 LLM 主题？在评论中分享你的想法吧！
如何使用 OpenAI 创建一个简单的电子商务聊天机器人
忘记复杂的深度学习算法——使用 OpenAI 制作聊天机器人简单得多。 heartbeat.comet.ml[4]
如何在 LangChain 中增强具有记忆功能的对话代理
LangChain 对话记忆类型：优缺点及代码示例 heartbeat.comet.ml[5]
❗ 注意事项 网页爬取并不像你想象的那么简单。你可能会遇到一些挑战：
•动态网站结构：现代网站使用动态 JavaScript 结构，需要像 Selenium 这样的工具进行准确的数据提取。•反爬取：IP 封锁和 CAPTCHA 是常见的阻碍。诸如 IP 地址轮换等策略可以帮助克服这些障碍。•法律和伦理考虑：为了避免法律后果，遵守网站的使用条款非常重要。优先考虑伦理实践并请求许可。•数据质量和一致性：在更新网站时维护数据质量是一个持续的挑战。定期更新你的爬取脚本以确保准确和可靠的提取。
结论
网页爬取值得一试。它可能看起来不像一项正式工作，但实际上使用 Python、JavaScript 和 HTML 非常有趣。收集网站信息的方法有很多。我希望你不仅仅尝试网页爬取，还能实现 LLM 技术。
