【爬虫学习】一个简单的爬虫demo

ReCclay 2020-02-25 22:35:43

154

分类专栏： # python学习

最后发布:2020-02-25 22:35:43首次发布:2020-02-25 22:35:43

本文链接：https://blog.csdn.net/ReCclay/article/details/104507271

版权

##################################################
# 1. 请求页
import time
import requests
import re

headers = {
    'user-agent': 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'

}
# response = requests.get('https://www.vmgirls.com/13591.html', headers=headers)
response = requests.get('http://www.mculover666.cn/posts/1606619423/', headers=headers)
html = response.text
# print(response.request.headers)
# print(response.text)

# 2. 解析网页
# urls = re.findall('<a href="(.*?)" alt=".*?" title=".*?">', html)
# urls = re.findall('<img src=".*?" alt="mark">', html)
urls = re.findall('<img src=".*?" alt="mark">', html)
# <img src="http://mculover666.cn/image/20190806/9uiPTi5odYSj.png?imageslim" alt="mark">
print(urls)
# for url in urls:
#     print(url.split('"')[1])

# 3. 保存图片
for url in urls:
    # 延时
    # time.sleep(1)
    url = url.split('"')[1]
    # print(url)
    # 图片的名字
    file_name = url.split('/')[-1].split('?')[0]
    print(file_name)
    response = requests.get(url, headers=headers)
    # with open(file_name, "wb") as f:
    #     f.write(response.content)

ReCclay

CSDN认证博客专家视觉/OpenCV 图像处理深度学习

大家好，我是CSDN博主ReCclay，目前处于研究生阶段，就读于电子科技大学，主攻方向为汽车辅助驾驶算法研究。入站以来，凭借坚持与热爱，以博文的方式分享所学，截止目前累计博文数量达800余篇，受益人次达135万余次，涉及领域包括但不限于物联网开发、单片机开发、Linux驱动开发、FPGA开发、前/后端软件开发等。在未来我将继续专注于嵌入式相关领域，学习更多的科技知识，输出更高质量的博文。希望在”2020博客之星年度总评选“中，可以大家的关注和投票，投票地址：https://bss.csdn.net/m/topic/blog_star2020/detail?username=recclay