python爬取彼岸桌面网美女4k壁纸

[查看百度是否已收录]
ofuxagzi Lv.2 显示全部楼层 发表于 2021-9-3 23:54:26
爬取美女系列指定页数图片
小白写的第一个爬虫,不足之处请谅解

代码如下

  1. import os
  2. import re
  3. import time
  4. import requests
  5. from bs4 import BeautifulSoup

  6. n=1
  7. headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.78",

  8.            "Connection":"close"}
  9. k=input("你要爬取第几页")
  10. url1=f'http://www.netbian.com/meinv/index_{k}.htm'
  11. url2='http://www.netbian.com'


  12. resp=requests.get(url1,headers=headers)
  13. resp.encoding='gbk'
  14. html=resp.text
  15. main_page=BeautifulSoup(html,"html.parser")
  16. alist=main_page.find("div",attrs={"class":"list"}).find_all("a",attrs={"target":"_blank"})

  17. url=re.findall('<a href="(.*?)" title=".*?" target="_blank">',html) #从首页中获取子页面的路径
  18. del(url[0])
  19. url.pop()
  20. j=0
  21. for j in range(19):
  22.     url3=url2+url[j]
  23.     j+=1
  24.     resp2 = requests.get(url3, headers=headers)
  25.     resp2.encoding='gbk'
  26.     html2=resp2.text
  27.     child_page=BeautifulSoup(html2,"html.parser")
  28.     clist=child_page.find("div",attrs={"class":"pic"}).find_all("img")
  29.     for q in clist:
  30.         q1=q.get("src") #获取下载链接
  31.         if not os.path.exists('4k壁纸%s' % k):
  32.            os.mkdir(f'./4k壁纸%s' % k)
  33.         f = open(f'./4k壁纸%s/' % k + "pic_%s.jpg" % n, mode="wb")
  34.         tu = requests.get(q1,headers=headers)
  35.         tu.close()
  36.         f.write(tu.content)
  37.         time.sleep(1)
  38.         print("下载了%s张壁纸" % n)
  39.         n+=1
复制代码





上一篇:Python爬取腾讯视频真实M3U8地址
回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 返回顶部

  • 快速回复 返回顶部 返回列表