ほぼ週刊ハマりどころメモ

画像認識と自然言語処理を研究する中でハマったところを共有します.ほぼ自分用のメモ.

Proxy環境下でWebスクレイピング[request][BeautifulSoup]

import urllib
from bs4 import BeautifulSoup

if __name__ == "__main__":
    
    proxy = urllib.request.ProxyHandler({'http': 'http://xx.xx.xx.xx:8080'})
    opener = urllib.request.build_opener(proxy)
    
    url = "http://xx.xx"
    
    urllib.request.install_opener(opener)
    
    html = urllib.request.urlopen(url)
    
    soup = BeautifulSoup(html, "html.parser")