python爬虫脚本在哪里找(分享python爬虫万能代码)

 2023-07-19  阅读 816  评论 0

摘要:Python技术 知乎上有许多关于颜值、身材的话题,有些话题的回复数甚至高达几百上千,拥有成千上万的关注者与被浏览数。如果我们在摸鱼的时候欣赏这些话题将花费大量的时间,可以用 Python 制作一个下

Python技术

知乎上有许多关于颜值、身材的话题,有些话题的回复数甚至高达几百上千,拥有成千上万的关注者与被浏览数。如果我们在摸鱼的时候欣赏这些话题将花费大量的时间,可以用 Python 制作一个下载知乎回答图片的小脚本,将图片下载到本地。

请求 URL 分析

首先打开 F12 控制台面板,看到照片的 URL 都是 https://pic4.zhimg.com/80/xxxx.wf?source=xxx 这种格式的。

滚动知乎页面向下翻页,找到一个带 limit,offset 参数的 URL 请求。

检查 Response 面板中的内容是否包含了图片的 URL 地址,其中图片地址 URL 存在 data-original 属性中。

提取图片的 URL

从上图可以看出图片的地址存放在 content 属性下的 data-original 属性中。

下面代码将获取图片的地址,并写入文件。

import reimport requestsimport osimport urllib.requestimport sslfrom urllib.parse import urlsplitfrom os.path import basenameimport jsonssl._create_default_https_context = ssl._create_unverified_contextheaders = {    \'User-Agent\': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36",    \'Accept-Encoding\': \'gzip, deflate\'}def get_image_url(qid, title):    answers_url = \'https://www.zhihu.com/api/v4/questions/\'+str(qid)+\'/answers?include=data%5B*%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cattachment%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Cis_labeled%2Cpaid_info%2Cpaid_info_content%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_recognized%3Bdata%5B*%5D.mark_infos%5B*%5D.url%3Bdata%5B*%5D.author.follower_count%2Cbadge%5B*%5D.topics%3Bdata%5B*%5D.settings.table_of_content.enabled&offset={}&limit=10&sort_by=default&platform=desktop\'    offset = 0    session = requests.Session()    while True:        page = session.get(answers_url.format(offset), headers = headers)        json_text = json.loads(page.text)        answers = json_text[\'data\']        offset += 10        if not answers:            print(\'获取图片地址完成\')            return        pic_re = re.compile(\'data-src="https://www.1688weishang.com/aimg/bk46/pek91qr48i0r85cey3jqp7sbxm82bax5kpx0o6gb-0.webp"\', re.S)        for answer in answers:            tmp_list = []            pic_urls = re.findall(pic_re, answer[\'content\'])            for item in pic_urls:                  # 去掉转移字符                 pic_url = item.replace("", "")                pic_url = pic_url.split(\'?\')[0]                # 去重复                if pic_url not in tmp_list:                    tmp_list.append(pic_url)                        for pic_url in tmp_list:                if pic_url.endswith(\'r.wf\'):                    print(pic_url)                    write_file(title, pic_url)def write_file(title, pic_url):    file_name = title + \'.txt\'    f = open(file_name, \'a\')    f.write(pic_url + \'n\')    f.close()

示例结果:

下载图片

下面代码将读取文件中的图片地址并下载。

def read_file(title):    file_name = title + \'.txt\'    pic_urls = []    # 判断文件是否存在    if not os.path.exists(file_name):        return pic_urls    with open(file_name, \'r\') as f:        for line in f:            url = line.replace("n", "")            if url not in pic_urls:                pic_urls.append(url)    print("文件中共有{}个不重复的 URL".format(len(pic_urls)))    return pic_urlsdef download_pic(pic_urls, title):    # 创建文件夹    if not os.path.exists(title):        os.makedirs(title)    error_pic_urls = []    success_pic_num = 0    repeat_pic_num = 0    index = 1    for url in pic_urls:        file_name = os.sep.join((title,basename(urlsplit(url)[2])))        if os.path.exists(file_name):            print("图片{}已存在".format(file_name))            index += 1            repeat_pic_num += 1            continue        try:            urllib.request.urlretrieve(url, file_name)            success_pic_num += 1            index += 1            print("下载{}完成!({}/{})".format(file_name, index, len(pic_urls)))        except:            print("下载{}失败!({}/{})".format(file_name, index, len(pic_urls)))            error_pic_urls.append(url)            index += 1            continue            print("图片全部下载完毕!(成功:{}/重复:{}/失败:{})".format(success_pic_num, repeat_pic_num, len(error_pic_urls)))    if len(error_pic_urls) > 0:        print(\'下面打印失败的图片地址\')        for error_url in error_pic_urls:            print(error_url)

结语

今天的文章用 Python 爬虫制作了一个小脚本,如果小伙伴们觉得文章有趣且有用,点个 转发 支持一下吧!

版权声明:xxxxxxxxx;

原文链接:https://www.fanque.com.cn/aa307A24LAVJaCQ.html

标签: 技术 分析 摸鱼

发表评论:

管理员

  • 内容144525
  • 积分0
  • 金币0
关于我们
l番茄知识网是实用的健康养生科普知识及日常生活保健小常识大全网站,分享春夏秋冬四季健康饮食养生保健小知识、运动对健康的好处、中医养生食疗做法等健康的生活方式及养生之道,学习健康养生百科知识尽在番茄健康养生知识网。
快捷菜单
健康养生知识
联系方式
电话:
地址:
Email:admin@qq.com
注册登录
注册帐号
登录帐号

Copyright © 2022 番茄知识网 Inc. 保留所有权利。 Powered by

页面耗时0.4175秒, 内存占用1.87 MB, 访问数据库18次

鄂ICP备2022009988号-2

  • 我要关灯
    我要开灯
  • 客户电话
    807220904

    工作时间:8:00-18:00

    客服电话

    电子邮件

    admin@qq.com

  • 官方微信

    扫码二维码

    获取最新动态

  • 返回顶部