python批量抓取美人图片

学了python今后,知道python的抓取功用其实是十分强壮的,当然不能糟蹋,呵呵。我平常很喜欢美人图,呵呵,程序员很苦闷的,看看美人,养养眼,增加点趣味。好,那就用python写一个美人图主动抓取程序吧~~

其间用到urllib2模块和正则表达式模块。下面直接上代码:

用python批量抓取美人图片

#!/usr/bin/env python
#-*- coding: utf-8 -*-
#经过urllib(2)模块下载网络内容
import urllib,urllib2,gevent
#引进正则表达式模块,时刻模块
import re,time
from gevent import monkey
  
monkey.patch_all()
  
def geturllist(url):
    url_list=[]
    print url        
    s = urllib2.urlopen(url)
    text = s.read()
    #正则匹配,匹配其间的图片
    html = re.search(r'<ol.*</ol>', text, re.S)
    urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
    for i in urls:
        url=i.group(1).strip()+str("jpg")
        url_list.append(url)
    return url_list
  
def download(down_url):
    name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
    print name
    urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
  
def getpageurl():
    page_list = []
    #进行列表页循环
    for page in range(1,700):
        url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
        #把生成的url加入到page_list中
        page_list.append(url)
    print page_list
    return page_list
if __name__ == '__main__':
    jobs = []
    pageurl = getpageurl()[::-1]
    #进行图片下载 
    for i in pageurl:
        for (downurl) in geturllist(i):
            jobs.append(gevent.spawn(download, downurl))
    gevent.joinall(jobs)

程序不长才45行,不是太难,咱们能够研讨下,这儿我仅仅抛砖引玉,咱们能够依据原理开宣布其他的抓取程序,呵呵,自己想去吧。。。我就不多说了~~

上一篇:python完成douban.fm简易客户端
下一篇:python中json目标转化犯错解决办法

PythonTab微信大众号:

Python技能交流合作群 ( 请勿加多个群 ):

群1: 87464755

群2: 333646237

群3: 318130924

群4: 385100854