<input id="0qass"><u id="0qass"></u></input>
  • <input id="0qass"><u id="0qass"></u></input>
  • <menu id="0qass"><u id="0qass"></u></menu>

    Python爬取網站圖片、前方高能——未滿18歲勿學

    python 專欄收錄該內容
    2 篇文章 0 訂閱

    在這里插入圖片描述

    前言
    自從學習編程以來,總是聽別人說什么爬蟲爬蟲的,爬這爬那,我心想老是扒拉來扒拉去不累嗎,有啥好爬的,又沒啥子用,前兩天無聊就想看看python爬取網站的圖片到底是什么鬼,就從網上開始學習,從下載python到配置,從尋找喜歡的網站到爬的盆滿缽滿,現在我就來總結一下。
    準備
    1、下載一個python安裝并配置環境變量,跟java差不多。
    官網下載地址:https://www.python.org/downloads/windows/點擊下載
    在這里插入圖片描述
    下載installer的,然后安裝直接下一步就好,也可以自行選擇下載的位置,最后配置環境變量
    配置環境變量,將python和Scripts都配置上
    在這里插入圖片描述
    驗證是否配置成功,cmd打開命令行,輸入python -V,如圖證明配置環境變量成功
    在這里插入圖片描述
    2、腳本
    在這里插入圖片描述

    # 導入必要的包
    from selenium import webdriver
    from bs4 import BeautifulSoup
    import requests
    
    # 打開谷歌瀏覽器
    driver = webdriver.Chrome()
    # 設置要爬取的網站
    driver.get('http://pic.netbian.com/4kmeinv/')
    # 初始化一個引用計數,用于后面的圖片簡單命名
    index = 1
    
    # 定義爬蟲方法
    def getImage():
        # 將index置為全局變量
        global index
        # 循環爬取,循環多少次爬取多少頁的圖片
        for i in range(0,50):
            # 模擬點擊下一頁,因為爬取完一頁需要點擊下一頁爬取
            driver.find_element_by_link_text("下一頁").click()
            # 解析網頁
            html = BeautifulSoup(driver.page_source, 'html.parser')
            # 獲取原圖的url鏈接
            links =html.find('div', {'class': 'slist'}).find_all('img')
            # 遍歷當頁獲得的所有原圖鏈接
            for link in links:
                # 將原圖存至當前目錄下的jdimg 文件夾,以index命名,后綴名為圖片原名的后三位,即jpg或者gif
                with open('baidu8/{}.{}'.format(index, link.get('src')[len(link.get('src'))-3: len(link.get('src'))]), 'wb') as jpg:
                    jpg.write(requests.get("http://pic.netbian.com/" + link.get('src')).content)
                print("正在爬取第%s張圖片" % index)
                index += 1
    # 定義主函數
    def main():
    
        getImage()
    
    main()
    

    我們用記事本將此腳本寫入,然后修改后綴名為py,然后在同級目錄下創建一個文件夾用來存儲圖片,代碼里的文件夾必須提前創建好,不然運行報錯找不到文件夾,如圖
    在這里插入圖片描述
    我這里的文件夾就是用來存儲圖片的,已經存的滿滿當當
    運行腳本
    我們cmd進入命令行例如我這里就進入到d盤的test文件夾下,如圖
    在這里插入圖片描述
    我們輸入py baidu.py來運行我們的腳本,前提我們配置好了環境變量,所以可以在任意位置運行python腳本,最后效果如圖
    在這里插入圖片描述
    在這里插入圖片描述
    在這里插入圖片描述

    總結
    技術是把雙刃劍,希望大家合理運用技術,下一次分享爬取小視頻的內容,最后說一句,老鐵早點睡啊。

    • 11
      點贊
    • 13
      評論
    • 56
      收藏
    • 一鍵三連
      一鍵三連
    • 掃一掃,分享海報

    ??2021 CSDN 皮膚主題: 1024 設計師:白松林 返回首頁
    實付
    使用余額支付
    點擊重新獲取
    掃碼支付
    錢包余額 0

    抵扣說明:

    1.余額是錢包充值的虛擬貨幣,按照1:1的比例進行支付金額的抵扣。
    2.余額無法直接購買下載,可以購買VIP、C幣套餐、付費專欄及課程。

    余額充值
    多乐彩