python使用xpath獲取頁面元素的使用

 更新時間:2021年09月10日 12:02:19   作者:Sun@Python  
本文主要介紹了python使用xpath獲取頁面元素的使用,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下

關于python 使用xpath獲取網頁信息的方法?

1、xpath的使用方法?

​ XPath 使用路徑表達式來選取 XML 文檔中的節點或節點集。節點是通過沿著路徑 (path) 或者步 (steps) 來選取的。

常用路徑表達式含義

表達式 描述
/ 從根節點選取(取子節點)
// 選擇的當前節點選擇文檔中的節點
. 選取當前節點。
選取當前節點的父節點。
@ 選取屬性
* 表示任意內容(通配符)
| 運算符可以選取多個路徑

常用功能函數

函數 用法 解釋
startswith() xpath(‘//div[starts-with(@id,”ma”)]‘) #選取id值以ma開頭的div節點
contains() xpath(‘//div[contains(@id,”ma”)]‘) #選取id值包含ma的div節點
and() xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) #選取id值包含ma的div節點
text() _.xpath('./div/div[4]/a/em/text()') #選取em標簽下文本內容

備注:

1、html中當相同層次存在多個標簽例如div,它們的順序是從1開始,不是0
2、瀏覽器中使用開發者工具可以快速獲取節點信息

在這里插入圖片描述

2、實例:

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Time    : 2021/9/7 9:35
# @Author  : Sun
# @Email   : 8009@163.com
# @File    : sun_test.py
# @Software: PyCharm


import requests
from lxml import etree


def get_web_content():
    try:
        url = "htpps://***keyword=%E6%97%A0%E9%92%A2%E5%9C%88&wq=%E6%97%A0%E"
  "9%92%A2%E5%9C%88&ev=1_68131%5E&pvid=afbf41410b164c1b91d"
        "abdf18ae8ab5c&page=5&s=116&click=0 "
        header = {
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
            "AppleWebKit/537.36 (KHTML, like Gecko) "
                          "Chrome/75.0.3770.100 Safari/537.36 "}
        response = requests.request(method="Get", url=url, headers=header)
        result = response.text
        return result
    except TimeoutError as e:
        return None


def parsing():
    result = get_web_content()
    if result is not None:
        html = etree.HTML(result)
        # 先獲取一個大的節點,包含了想要獲取的所有信息
        ii = html.xpath('//*[@id="J_goodsList"]/ul/li')
       
        for _ in ii:
        # 采用循環,依次從大節點中獲取小的節點內容
            # ''.join() 將列表中的內容拼接成一個字符串
            infoResult = {
            	# @href 表示:獲取屬性為href的內容
                'href': "https:" + _.xpath('./div/div[1]/a/@href')[0],
                'title': ''.join(
                        _.xpath('./div/div[2]/div/ul/li/a/@title')),
                # text()表示獲取節點i里面的文本信息
                'price': _.xpath('./div/div[3]/strong/i/text()')[0],
                'info': ''.join(
                        _.xpath('./div/div[4]/a/em/text()')).strip(),
                'province': _.xpath('./div/div[9]/@data-province')[0]}
            print(infoResult)
    else:
        raise Exception("Failed to get page information, please check!")
    
    return None


if __name__ == '__main__':
    parsing()

結果圖片:

在這里插入圖片描述

到此這篇關于python使用xpath獲取頁面元素的使用的文章就介紹到這了,更多相關python xpath獲取頁面元素內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • ssh批量登錄并執行命令的python實現代碼

    ssh批量登錄并執行命令的python實現代碼

    有個任務是在這些電腦上執行某些命令,者說進行某些操作,比如安裝某些軟件,拷貝某些文件,批量關機等。如果一臺一臺得手工去操作,費時又費力,如果要進行多個操作就更麻煩啦
    2012-05-05
  • 互斥鎖解決 Python 中多線程共享全局變量的問題(推薦)

    互斥鎖解決 Python 中多線程共享全局變量的問題(推薦)

    這篇文章主要介紹了互斥鎖解決 Python 中多線程共享全局變量的問題,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-09-09
  • python繪制高斯曲線

    python繪制高斯曲線

    這篇文章主要為大家詳細介紹了python繪制高斯曲線,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-02-02
  • python numpy存取文件的方式

    python numpy存取文件的方式

    NumPy提供了多種存取數組內容的文件操作函數。保存數組數據的文件可以是二進制格式或者文本格式。這篇文章主要介紹了python利用numpy存取文件,需要的朋友可以參考下
    2019-09-09
  • 小議Python中自定義函數的可變參數的使用及注意點

    小議Python中自定義函數的可變參數的使用及注意點

    Python函數的默認值參數只會在函數定義處被解析一次,以后再使用時這個默認值還是一樣,這在與可變參數共同使用時便會產生困惑,下面就來小議Python中自定義函數的可變參數的使用及注意點
    2016-06-06
  • python nmap實現端口掃描器教程

    python nmap實現端口掃描器教程

    這篇文章主要為大家詳細介紹了python nmap實現端口掃描器教程,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-08-08
  • python使用win32com在百度空間插入html元素示例

    python使用win32com在百度空間插入html元素示例

    這篇文章主要介紹了python使用win32com在百度空間插入html元素的示例,大家參考使用吧
    2014-02-02
  • Python中字符串對齊方法介紹

    Python中字符串對齊方法介紹

    這篇文章主要介紹了Python中字符串對齊方法介紹,本文介紹Python字符串內置方法ljust、rjust、center的用法,需要的朋友可以參考下
    2015-05-05
  • Python環境變量設置方法

    Python環境變量設置方法

    默認情況下,在windows下安裝python之后,系統不會自動添加相應的環境變量。此時在命令行輸入python命令是不能執行的,配置方法如下
    2016-08-08
  • 關于numpy中eye和identity的區別詳解

    關于numpy中eye和identity的區別詳解

    今天小編就為大家分享一篇關于numpy中eye和identity的區別詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-11-11

最新評論

精品国内自产拍在线观看