Python3爬蟲圖片抓取

在上一章中，我們已經(jīng)學(xué)會了如何使用Python3爬蟲抓取文字，那么在本章教程中，將通過實例來教大家如何使用Python3爬蟲批量抓取圖片。

 注：該網(wǎng)站目前已經(jīng)更換了圖片的請求方式，以下爬蟲方法只能作為思路參考，已經(jīng)無法運行成功，望周知！

（1）實戰(zhàn)背景

上圖的網(wǎng)站的名字叫做Unsplash，免費高清壁紙分享網(wǎng)是一個堅持每天分享高清的攝影圖片的站點，每天更新一張高質(zhì)量的圖片素材，全是生活中的景象作品，清新的生活氣息圖片可以作為桌面壁紙也可以應(yīng)用于各種需要的環(huán)境。

看到這么優(yōu)美的圖片，是不是很想下載啊。每張圖片我都很喜歡，批量下載吧，不多爬，就下載50張好了。

2）實戰(zhàn)進階

我們已經(jīng)知道了每個html標簽都有各自的功能。<a>標簽存放一下超鏈接，圖片存放在哪個標簽里呢？html規(guī)定，圖片統(tǒng)統(tǒng)給我放到<img>標簽中！既然這樣，我們截取就Unsplash網(wǎng)站中的一個<img>標簽，分析一下：

<img alt="Snow-capped mountain slopes under blue sky" src="https://images.unsplash.com/photo-1428509774491-cfac96e12253?dpr=1&

可以看到，<img>標簽有很多屬性，有alt、src、class、style屬性，其中src屬性存放的就是我們需要的圖片保存地址，我們根據(jù)這個地址就可以進行圖片的下載。

那么，讓我們先捋一捋這個過程：

• 使用requeusts獲取整個網(wǎng)頁的HTML信息；
• 使用Beautiful Soup解析HTML信息，找到所有<img>標簽，提取src屬性，獲取圖片存放地址；
• 根據(jù)圖片存放地址，下載圖片。

我們信心滿滿地按照這個思路爬取Unsplash試一試，編寫代碼如下：

# -*- coding:UTF-8 -*-
import requests
if __name__ == '__main__':
     target = 'https://unsplash.com/'
     req = requests.get(url=target)
     print(req.text)

按照我們的設(shè)想，我們應(yīng)該能找到很多<img>標簽。但是我們發(fā)現(xiàn)，除了一些<script>標簽和一些看不懂的代碼之外，我們一無所獲，一個<img>標簽都沒有！跟我們在網(wǎng)站審查元素的結(jié)果完全不一樣，這是為什么？

答案就是，這個網(wǎng)站的所有圖片都是動態(tài)加載的！網(wǎng)站有靜態(tài)網(wǎng)站和動態(tài)網(wǎng)站之分，上一個實戰(zhàn)爬取的網(wǎng)站是靜態(tài)網(wǎng)站，而這個網(wǎng)站是動態(tài)網(wǎng)站，動態(tài)加載有一部分的目的就是為了反爬蟲。

對于什么是動態(tài)加載，你可以這樣理解：我們知道化妝術(shù)學(xué)的好，賊厲害，可以改變一個人的容貌。相應(yīng)的，動態(tài)加載用的好，也賊厲害，可以改變一個網(wǎng)站的容貌。

動態(tài)網(wǎng)站使用動態(tài)加載常用的手段就是通過調(diào)用JavaScript來實現(xiàn)的。怎么實現(xiàn)JavaScript動態(tài)加載，我們不必深究，我們只要知道，動態(tài)加載的JavaScript腳本，就像化妝術(shù)需要用的化妝品，五花八門。有粉底、口紅、睫毛膏等等，它們都有各自的用途。動態(tài)加載的JavaScript腳本也一樣，一個動態(tài)加載的網(wǎng)站可能使用很多JavaScript腳本，我們只要找到負責(zé)動態(tài)加載圖片的JavaScript腳本，不就找到我們需要的鏈接了嗎？

對于初學(xué)者，我們不必看懂JavaScript執(zhí)行的內(nèi)容是什么，做了哪些事情，因為我們有強大的抓包工具，它自然會幫我們分析。這個強大的抓包工具就是Fiddler：http://www.telerik.com/fiddler

PS：也可以使用瀏覽器自帶的Networks，但是我更推薦這個軟件，因為它操作起來更高效。

安裝方法很簡單，傻瓜式安裝，一直下一步即可，對于經(jīng)常使用電腦的人來說，應(yīng)該沒有任何難度。

這個軟件的使用方法也很簡單，打開軟件，然后用瀏覽器打開我們的目標網(wǎng)站，以Unsplash為例，抓包結(jié)果如下：

我們可以看到，上圖左側(cè)紅框處是我們的GET請求的地址，就是網(wǎng)站的URL，右下角是服務(wù)器返回的信息，我們可以看到，這些信息也是我們上一個程序獲得的信息。這個不是我們需要的鏈接，我們繼續(xù)往下看。

我們發(fā)現(xiàn)上圖所示的就是一個JavaScript請求，看右下側(cè)服務(wù)器返回的信息是一個json格式的數(shù)據(jù)。這里面，就有我們需要的內(nèi)容。我們局部放大看一下：

這是Fiddler右側(cè)的信息，上面是請求的Headers信息，包括這個Javascript的請求地址：http://unsplash.com/napi/feeds/home，其他信息我們先不管，我們看看下面的內(nèi)容。里面有很多圖片的信息，包括圖片的id，圖片的大小，圖片的鏈接，還有下一頁的地址。這個腳本以json格式存儲傳輸?shù)臄?shù)據(jù)，json格式是一種輕量級的數(shù)據(jù)交換格式，起到封裝數(shù)據(jù)的作用，易于人閱讀和編寫，同時也易于機器解析和生成。這么多鏈接，可以看到圖片的鏈接有很多，根據(jù)哪個鏈接下載圖片呢？先別急，讓我們繼續(xù)分析：

在這個網(wǎng)站，我們可以按這個按鈕進行圖片下載。我們抓包分下下這個動作，看看發(fā)送了哪些請求。

https://unsplash.com/photos/1PrQ2mHW-Fo/download?force=true
https://unsplash.com/photos/JX7nDtafBcU/download?force=true
https://unsplash.com/photos/HCVbP3zqX4k/download?force=true

通過Fiddler抓包，我們發(fā)現(xiàn)，點擊不同圖片的下載按鈕，GET請求的地址都是不同的。但是它們很有規(guī)律，就是中間有一段代碼是不一樣的，其他地方都一樣。中間那段代碼是不是很熟悉？沒錯，它就是我們之前抓包分析得到j(luò)son數(shù)據(jù)中的照片的id。我們只要解析出每個照片的id，就可以獲得圖片下載的請求地址，然后根據(jù)這個請求地址，我們就可以下載圖片了。那么，現(xiàn)在的首要任務(wù)就是解析json數(shù)據(jù)了。

json格式的數(shù)據(jù)也是分層的。可以看到next_page里存放的是下一頁的請求地址，很顯然Unsplash下一頁的內(nèi)容，也是動態(tài)加載的。在photos下面的id里，存放著圖片的id，這個就是我們需要獲得的圖片id號。

怎么編程提取這些json數(shù)據(jù)呢？我們也是分步完成：

• 獲取整個json數(shù)據(jù)
• 解析json數(shù)據(jù)

編寫代碼，嘗試獲取json數(shù)據(jù)：

# -*- coding:UTF-8 -*-
import requests
if __name__ == '__main__':
     target = 'http://unsplash.com/napi/feeds/home'
     req = requests.get(url=target) print(req.text)

很遺憾，程序報錯了，問題出在哪里？通過錯誤信息，我們可以看到SSL認證錯誤，SSL認證是指客戶端到服務(wù)器端的認證。一個非常簡單的解決這個認證錯誤的方法就是設(shè)置requests.get()方法的verify參數(shù)。這個參數(shù)默認設(shè)置為True，也就是執(zhí)行認證。我們將其設(shè)置為False，繞過認證不就可以了？

有想法就要嘗試，編寫代碼如下：

# -*- coding:UTF-8 -*-
import requests
if __name__ == '__main__':
     target = 'http://unsplash.com/napi/feeds/home'
     req = requests.get(url=target, verify=False)
     print(req.text)

認證問題解決了，又有新問題了：

可以看到，我們GET請求又失敗了，這是為什么？這個網(wǎng)站反爬蟲的手段除了動態(tài)加載，還有一個反爬蟲手段，那就是驗證Request Headers。接下來，讓我們分析下這個Requests Headers：

我截取了Fiddler的抓包信息，可以看到Requests Headers里又很多參數(shù)，有Accept、Accept-Encoding、Accept-Language、DPR、User-Agent、Viewport-Width、accept-version、Referer、x-unsplash-client、authorization、Connection、Host。它們都是什么意思呢？

專業(yè)的解釋能說的太多，我挑重點：

• User-Agent：這里面存放瀏覽器的信息。可以看到上圖的參數(shù)值，它表示我是通過Windows的Chrome瀏覽器，訪問的這個服務(wù)器。如果我們不設(shè)置這個參數(shù)，用Python程序直接發(fā)送GET請求，服務(wù)器接受到的User-Agent信息就會是一個包含python字樣的User-Agent。如果后臺設(shè)計者驗證這個User-Agent參數(shù)是否合法，不讓帶Python字樣的User-Agent訪問，這樣就起到了反爬蟲的作用。這是一個最簡單的，最常用的反爬蟲手段。
• Referer：這個參數(shù)也可以用于反爬蟲，它表示這個請求是從哪發(fā)出的?？梢钥吹轿覀兺ㄟ^瀏覽器訪問網(wǎng)站，這個請求是從https://unsplash.com/，這個地址發(fā)出的。如果后臺設(shè)計者，驗證這個參數(shù)，對于不是從這個地址跳轉(zhuǎn)過來的請求一律禁止訪問，這樣就也起到了反爬蟲的作用。
• authorization：這個參數(shù)是基于AAA模型中的身份驗證信息允許訪問一種資源的行為。在我們用瀏覽器訪問的時候，服務(wù)器會為訪問者分配這個用戶ID。如果后臺設(shè)計者，驗證這個參數(shù)，對于沒有用戶ID的請求一律禁止訪問，這樣就又起到了反爬蟲的作用。

Unsplash是根據(jù)哪個參數(shù)反爬蟲的呢？根據(jù)我的測試，是authorization。我們只要通過程序手動添加這個參數(shù)，然后再發(fā)送GET請求，就可以順利訪問了。怎么什么設(shè)置呢？還是requests.get()方法，我們只需要添加headers參數(shù)即可。編寫代碼如下：

# -*- coding:UTF-8 -*-
import requests
if __name__ == '__main__':
     target = 'http://unsplash.com/napi/feeds/home'
     headers = {'authorization':'your Client-ID'}
     req = requests.get(url=target, headers=headers, verify=False)
     print(req.text)

headers參數(shù)值是通過字典傳入的。記得將上述代碼中your Client-ID換成諸位自己抓包獲得的信息。代碼運行結(jié)果如下：

皇天不負有心人，可以看到我們已經(jīng)順利獲得json數(shù)據(jù)了，里面有next_page和照片的id。接下來就是解析json數(shù)據(jù)。根據(jù)我們之前分析可知，next_page放在了json數(shù)據(jù)的最外側(cè)，照片的id放在了photos->id里。我們使用json.load()方法解析數(shù)據(jù)，編寫代碼如下：

# -*- coding:UTF-8 -*-
import requests, json
if __name__ == '__main__':
     target = 'http://unsplash.com/napi/feeds/home'
     headers = {'authorization':'your Client-ID'}
     req = requests.get(url=target, headers=headers, verify=False)
     html = json.loads(req.text)
     next_page = html['next_page']
     print('下一頁地址:',next_page)
     for each in html['photos']:
          print('圖片ID:',each['id'])

解析json數(shù)據(jù)很簡單，跟字典操作一樣，就是字典套字典。json.load()里面的參數(shù)是原始的json格式的數(shù)據(jù)。程序運行結(jié)果如下：

圖片的ID已經(jīng)獲得了，再通過字符串處理一下，就生成了我們需要的圖片下載請求地址。根據(jù)這個地址，我們就可以下載圖片了。下載方式，使用直接寫入文件的方法。

（3）整合代碼

每次獲取鏈接加一個1s延時，因為人在瀏覽頁面的時候，翻頁的動作不可能太快。我們要讓我們的爬蟲盡量友好一些。

# -*- coding:UTF-8 -*-
import requests, json, time, sys
from contextlib import closing

class get_photos(object):

    def __init__(self):
        self.photos_id = []
        self.download_server = 'https://unsplash.com/photos/xxx/download?force=trues'
        self.target = 'http://unsplash.com/napi/feeds/home'
        self.headers = {'authorization':'Client-ID c94869b36aa272dd62dfaeefed769d4115fb3189a9d1ec88ed457207747be626'}

    """
    函數(shù)說明:獲取圖片ID
    Parameters:
        無
    Returns:
        無
    Modify:
        2017-09-13
    """   
    def get_ids(self):
        req = requests.get(url=self.target, headers=self.headers, verify=False)
        html = json.loads(req.text)
        next_page = html['next_page']
        for each in html['photos']:
            self.photos_id.append(each['id'])
        time.sleep(1)
        for i in range(5):
            req = requests.get(url=next_page, headers=self.headers, verify=False)
            html = json.loads(req.text)
            next_page = html['next_page']
            for each in html['photos']:
                self.photos_id.append(each['id'])
            time.sleep(1)


    """
    函數(shù)說明:圖片下載
    Parameters:
        無
    Returns:
        無
    Modify:
        2017-09-13
    """   
    def download(self, photo_id, filename):
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36'}
        target = self.download_server.replace('xxx', photo_id)
        with closing(requests.get(url=target, stream=True, verify = False, headers = self.headers)) as r:
            with open('%d.jpg' % filename, 'ab+') as f:
                for chunk in r.iter_content(chunk_size = 1024):
                    if chunk:
                        f.write(chunk)
                        f.flush()

if __name__ == '__main__':
    gp = get_photos()
    print('獲取圖片連接中:')
    gp.get_ids()
    print('圖片下載中:')
    for i in range(len(gp.photos_id)):
        print('  正在下載第%d張圖片' % (i+1))
        gp.download(gp.photos_id[i], (i+1))

下載速度還行，有的圖片下載慢是因為圖片太大?？梢钥吹接覀?cè)也打印了一些警報信息，這是因為我們沒有進行SSL驗證。

原文作者：Jack-Cui

原文地址：https://blog.csdn.net/c406495762/article/details/78123502