2024 一天掌握python爬蟲(chóng)【基礎(chǔ)篇】 涵蓋 requests、beautifulsoup、selenium：

https://www.bilibili.com/video/BV1Ju4y1Y7k6/

很多網(wǎng)站和應(yīng)用都有反爬蟲(chóng)策略，我們頻繁的訪(fǎng)問(wèn)，一旦觸發(fā)反爬蟲(chóng)策略，我們的IP就會(huì)被封掉。

我們?yōu)榱藨?yīng)對(duì)反爬蟲(chóng)，可以使用代理。

代理IP能劃分成高度匿名代理（以下簡(jiǎn)稱(chēng)：高匿）、普通匿名代理（以下簡(jiǎn)稱(chēng)：普匿）和透明代理三類(lèi)，通過(guò)名字相信大家也猜出了每個(gè)級(jí)別的匿名程度是：高匿 > 普匿 > 透明。

1. 透明代理IP：顧名思義，服務(wù)器知道你在使用代理IP，并且也知道你的真實(shí)IP。

2. 普匿代理IP：普匿代理IP要比透明代理IP好一些，但是對(duì)方服務(wù)器仍然會(huì)知道你使用了代理。

3. 高匿代理IP：高匿代理IP不僅可以保護(hù)你的IP地址，并且不會(huì)改變你的訪(fǎng)問(wèn)請(qǐng)求，讓對(duì)方服務(wù)器毫無(wú)察覺(jué)，不知道你使用了代理。因此，高匿代理的效果是最好的。

所以我們使用代理IP，建議用高匿代理IP，效果好。

推薦一個(gè)不錯(cuò)的代理IP商-快代理 https://www.kuaidaili.com/

他們提供了一些免費(fèi)的代理IP，鋒哥測(cè)試了幾個(gè)，都不能用。所以花錢(qián)買(mǎi)了，果然好用。

測(cè)試代碼：

import requests

url = "http://www.cip.cc/"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}

proxy = {
    "http": "c612.kdltps.com:15818"
}

r = requests.get(url=url, headers=headers, proxies=proxy)
r.encoding = "utf-8"
print(r.status_code)
print(r.text)
with open('proxy.html', 'w', encoding='utf-8') as fp:
    fp.write(r.text)

生成的proxy.html里會(huì)顯示代理IP地址。