【爬虫学习】一个简单的爬虫demo

##################################################
# 1. 请求页
import time
import requests
import re

headers = {
    'user-agent': 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'

}
# response = requests.get('https://www.vmgirls.com/13591.html', headers=headers)
response = requests.get('http://www.mculover666.cn/posts/1606619423/', headers=headers)
html = response.text
# print(response.request.headers)
# print(response.text)

# 2. 解析网页
# urls = re.findall('<a href="(.*?)" alt=".*?" title=".*?">', html)
# urls = re.findall('<img src=".*?" alt="mark">', html)
urls = re.findall('<img src=".*?" alt="mark">', html)
# <img src="http://mculover666.cn/image/20190806/9uiPTi5odYSj.png?imageslim" alt="mark">
print(urls)
# for url in urls:
#     print(url.split('"')[1])

# 3. 保存图片
for url in urls:
    # 延时
    # time.sleep(1)
    url = url.split('"')[1]
    # print(url)
    # 图片的名字
    file_name = url.split('/')[-1].split('?')[0]
    print(file_name)
    response = requests.get(url, headers=headers)
    # with open(file_name, "wb") as f:
    #     f.write(response.content)

ReCclay CSDN认证博客专家 视觉/OpenCV 图像处理 深度学习
大家好,我是CSDN博主ReCclay,目前处于研究生阶段,就读于电子科技大学,主攻方向为汽车辅助驾驶算法研究。入站以来,凭借坚持与热爱,以博文的方式分享所学,截止目前累计博文数量达800余篇,受益人次达135万余次,涉及领域包括但不限于物联网开发、单片机开发、Linux驱动开发、FPGA开发、前/后端软件开发等。在未来我将继续专注于嵌入式相关领域,学习更多的科技知识,输出更高质量的博文。希望在”2020博客之星年度总评选“中,可以大家的关注和投票,投票地址:https://bss.csdn.net/m/topic/blog_star2020/detail?username=recclay
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页