分别用python2和python3假装浏览器爬取网页内容

python网页抓取功用十分强壮,运用urllib或许urllib2能够很轻松的抓取网页内容。可是许多时分咱们要留意,或许许多网站都设置了防收集功用,不是那么轻松就能抓取到想要的内容。

今日我来共享下载python2和python3中都是如何来模仿浏览器来越过屏蔽进行抓取的。

最根底的抓取:

#! /usr/bin/env python
# -*- coding=utf-8 -*-
# @Author pythontab
import urllib.request
url = "http://www.vztug.com"
html = urllib.request.urlopen(url).read()
print(html)


可是...有些网站不能抓取,进行了防收集设置,所以咱们要改换一下办法

python2中(最新安稳版别python2.7)

#! /usr/bin/env python
# -*- coding=utf-8 -*- 
# @Author vztug.com
import urllib2
url="http://vztug.com"
req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
             'Accept':'text/html;q=0.9,*/*;q=0.8',
             'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
             'Accept-Encoding':'gzip',
             'Connection':'close',
             'Referer':None #留意假如仍然不能抓取的话,这儿能够设置抓取网站的host
             }
req_timeout = 5
req = urllib2.Request(url,None,req_header)
resp = urllib2.urlopen(req,None,req_timeout)
html = resp.read()
print(html)

python3中(最新安稳版别python3.3)

#! /usr/bin/env python
# -*- coding=utf-8 -*- 
# @Author pythontab
import urllib.request
 
url = "http://www.vztug.com"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
             'Accept':'text/html;q=0.9,*/*;q=0.8',
             'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
             'Accept-Encoding':'gzip',
             'Connection':'close',
             'Referer':None #留意假如仍然不能抓取,这儿能够设置抓取网站的host
             }
 
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data)


上一篇:运用python发送邮件和接纳邮件
下一篇:Python生成验证码实例解说

PythonTab微信大众号:

Python技能交流合作群 ( 请勿加多个群 ):

群1: 87464755

群2: 333646237

群3: 318130924

群4: 385100854