Tag:爬虫

Tag (爬虫)'s result:

王者荣耀高清英雄大图赠送

听说xx荣耀最近很火,那不如一起……写个小爬虫玩玩,顺便找回手感。 功能说明: 爬取xx荣耀官网英雄大图,并保存到本地。 这是单线程版本,保存的地址根据自身情况修改。还写了个多线程版本,但是开5个线程就被反爬了,有空优化一下再发。 源码: #coding:utf-8 #Author:LSA #Description……

python采集百度url

最近用python写了一个采集百度url的脚本,一个线程一次爬一个页面的全部url,使用了多线程、队列、bs4,感觉bs4挺强大。 功能描述:采集百度url,自定义页数,线程数,关键词,保存文件名 (注:此脚本使用线程数小于或等于页面数即可,由于使用了队列,即使线程数大于页面数效果也和等于页面数一样) 源代码: #coding: utf-……