Classification:Python

Classification (Python)'s result:

Python 协程笔记0

0x00 啥是协程(coroutine) 用户态,共享堆,不共享栈,单线程,不需要锁机制。上下文切换比线程效率高,多用于IO密集型。IO耗时就切换到其他协程,极大提高效率,互相协作让控制权。异步IO,高并发。拥有自己的寄存器和栈,可保留状态。需要多进程配合才能运行在多核CPU上。线程越多,协程优势越明显。   0x01 为什么用……

用python打造x云漏洞词云

0x00 前言 突然想做一个漏洞词云,看看哪些漏洞比较高频,如果某些厂商有漏洞公开(比如ly),也好针对性挖掘。就选x云吧(镜像站 http://wy.hxsec.com/bugs.php)。用jieba和wordcloud两个强大的第三方库,就可以轻松打造出x云漏洞词云。 github地址:https://github.com/theL……

记一次python2.7中文乱码的解决历程

0x00 前言 最近用python写个小爬虫,想回复下feeling,却被中文乱码的问题搞得寝食难安,不过经过两天的各种搜索尝试,还是解决掉了这个问题。 0x01 乱码前奏 我的环境:debian8+python2.7 那是一个风雨交加的夜晚,本人打算写个小小的爬虫,当我高兴地按下回车,控制台输出 UnicodeEncodeError: ……

王者荣耀高清英雄大图赠送

听说xx荣耀最近很火,那不如一起……写个小爬虫玩玩,顺便找回手感。 功能说明: 爬取xx荣耀官网英雄大图,并保存到本地。 这是单线程版本,保存的地址根据自身情况修改。还写了个多线程版本,但是开5个线程就被反爬了,有空优化一下再发。 源码: #coding:utf-8 #Author:LSA #Description……

用python实现多种http请求

0x00 主要的HTTP请求: 1. GET :从指定的服务器中获取数据。 2. POST :提交数据给指定的服务器处理。 3. HEAD:类似于get请求,只不过返回的响应中没有具体的内容,用于获取报头。 4. OPTIONS:查询可以执行哪些请求,也可以利用向Web服务器发送’*’的请求来测试服务器的的性能。 ……

python采集百度url

最近用python写了一个采集百度url的脚本,一个线程一次爬一个页面的全部url,使用了多线程、队列、bs4,感觉bs4挺强大。 功能描述:采集百度url,自定义页数,线程数,关键词,保存文件名 (注:此脚本使用线程数小于或等于页面数即可,由于使用了队列,即使线程数大于页面数效果也和等于页面数一样) 源代码: #coding: utf-……

python爬取代理脚本

最近写了一个爬取代理的python脚本,参考了一下别人的代码,有了大量代理就方便了,这是v1.0版本,采用了多线程(一页用一个线程爬代理),顺便熟悉一下队列和bs4,感觉bs4的确很强大而且方便很多。还有很多地方不是很完善,日后有空会继续完善这个脚本。 功能描述:爬取www.xicidaili.com的代理,并去1212.ip138.co……