背景介绍
该项目旨在帮助用户输入URL，自动抓取网页内容，并以HTML格式输出，支持数据结构解析与本地化显示。通过这一功能，开发者可学习网络请求的基本逻辑、HTML输出功能以及文件读写能力。
技术实现要点
1. 使用Python的 requests 实现网络请求
- 使用
requests.get()发送 HTTP 请求 - 检查响应状态码（200 OK）并输出结果
import requests
def fetch_html(url):
response = requests.get(url, headers={"User-Agent": "Mozilla/5.0"})
if response.status_code == 200:
print("输出结果如下：")
print("<html>\n<head>\n <title>Example Data</title>\n</head>\n<body>\n <h1>抓取结果</h1>\n <p>该URL返回的数据是：</p>\n <pre><code>HTML内容</code></pre>\n</body>\n</html>")
else:
print("请求失败，状态码为：", response.status_code)
2. 编写HTML输出逻辑
- 使用
print语句输出 HTML 结构 - 注意标签的闭合，确保输出正确
# 示例输出
print("<html>\n<head>\n <title>Example Data</title>\n</head>\n<body>\n <h1>抓取结果</h1>\n <p>该URL返回的数据是：</p>\n <pre><code>HTML内容</code></pre>\n</body>\n</html>")
3. 检查数据结构并显示内容
- 提取 HTML 内容，使用
eval()或html.parser解析 - 示例代码：
from bs4 import BeautifulSoup
def parse_html(html_content):
soup = BeautifulSoup(html_content, 'html.parser')
result = f"<h1>抓取结果</h1>\n<p>该URL返回的数据是：</p>\n<pre><code>{soup.get_text()}</code></pre>"
print(result)
# 示例数据解析
response_content = "该URL返回的数据是：<body><h1>抓取结果</h1><p>该URL返回的数据是：</p><pre><code>HTML内容</code></pre>"
parse_html(response_content)
4. 本地化实现
- 设置默认输出路径（如
output.html） - 可扩展为本地文件读取功能
# 本地化输出
output_file = "output.html"
with open(output_file, "w", encoding="utf-8") as f:
f.write("...\n")
# 示例
fetch_html("https://example.com")
所学技能
通过该项目的实现，我们掌握了以下技能：
1. 网络请求功能：使用 requests 发送 HTTP 请求并处理状态码检查
2. HTML 输出逻辑：编写简单的 HTML 格式化输出
3. 数据结构解析：利用 bs4 解析 HTML 内容
4. 文件读写能力：实现本地化输出功能
总结
该项目可在 1~3 天内完成，涉及基础的网络请求和数据解析，适合中级开发者学习。
通过实现该项目，不仅可以提升对网络请求和 HTML 输出功能的理解，还能积累实际开发经验。