爬虫小案例05—使用Xpath解析网站

本案例使用Xpath解析源码，从而获取我们想要的内容

1. 获取网页源码

import requests from lxml import etree #输入关键字点击搜索后，跳转后的网址是我们的目标网址 url = 'https://beijing.zbj.com/search/f/?kw=python%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90' headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:97.0) Gecko/20100101 Firefox/97.0" } resp = requests.get(url,headers = headers) print(resp.text) 

2. 将HTML源码进行预加载

html = etree.HTML(resp.text) #将HTML源码进行预加载 

3. 获取内容 3.1 找到所需要的内容所在的位置

3.2 复制路径

获得如下路径： /html/body/div[6]/div/div/div[2]/div[5]/div[1]/div

3.3 使用Xpath表达式获取内容

#拿到每一个服务商的div divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div") for div in divs: #全路径 #prices = div.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()") #根据div的class属性快速定位位置 price = div.xpath(".//div[@class='service-price clearfix']/span[1]/text()")[0].strip("¥") #去除价格前面的￥符号 title = "".join(div.xpath(".//div[@class='service-title']/p//text()")) company_name = div.xpath("./div/div/a[1]/div/p/text()")[1].strip() #列表中有换行符，取列表中的第二个内容，并且去除换行符 loc = div.xpath("./div/div/a[1]/div/div/span/text()") print(price) print(title) print(title) print(company_name)