当前位置:数码通 > 摄影

Python + 查询网页

来源于 数码通 2023-10-09 13:09

Python 是一种功能强大的编程语言,非常适合批量处理数据和网络爬行。本文将介绍如何使用Python和BeautifulSoup库来爬取网页并提取所需的数据。

#导入相关库
导入请求
从 bs4 导入 BeautifulSoup
#发送网络请求
响应 = requests.get("http://m.smtshopping.cn")
# 解析 HTML
汤 = BeautifulSoup(response.content, "html.parser")
#打印所有链接
对于 soup.find_all("a") 中的链接:
print(link.get("href"))

上面的代码使用requests库向网站发送请求,并使用BeautifulSoup解析HTML。使用 .find_all() 方法查找网页中的所有链接并将其打印出来。

如果您想查找特定内容,可以使用.find()或.select()方法。例如,要查找标题为 h1 的所有元素:

#导入相关库
导入请求
从 bs4 导入 BeautifulSoup
#发送网络请求
响应 = requests.get("http://m.smtshopping.cn")
# 解析 HTML
汤 = BeautifulSoup(response.content, "html.parser")
#打印标题为h1的所有内容
对于 soup.find_all("h1") 中的 h1_tag:
print(h1_tag.text)

上面的代码使用.find_all()方法查找所有h1标签并打印其文本内容。

总的来说,使用 Python 和 BeautifulSoup 进行网页抓取非常容易。使用requests库发送网络请求并使用BeautifulSoup解析HTML,您可以轻松提取所需的信息。

登录后参与评论