Akkuman 的博客

习技术,不积跬步无以至千里,不积小流无以成江海
Python 0 篇文章

Python SSH 爆破以及 Python3 线程池控制线程数

源自一个朋友的要求,他的要求是只爆破一个 ip,结果出来后就停止,如果是爆破多个,完全没必要停止,等他跑完就好 #!usr/bin/envpython#!coding=utf-8__author__='Akkuman''''SSH 爆破,由于多线程的问题,我不知道怎么做可以出现结果马上停止(会查的,有更好的方法再改)现在我的方法是定义了一个全局的信号 finish_flag,然后每个线程检查这个信号线程池用

Python 异步爬虫的学习 (一)

本文主要从一下几个方面进行说明: 什么是异步 (Asynchronous) 编程为什么要使用异步编程?如何利用 Python 实现异步什么是异步编程文章开始前,先简单介绍下各种 IO 模型:最容易做的是阻塞 IO 即读写数据时,需要等待操作完成,才能继续执行。进阶的做法就是用多线程来处理需要 IO 的部分,缺点是开销会有些大。接着是非阻塞 IO 即读写数据时,如果暂时不可读写,则立刻返回,而不等待。因为不知道什么时候是可读写

javbus 爬虫 - 老司机你值得拥有

起因有个朋友叫我帮忙写个爬虫,爬取 javbus5 上面所有的详情页链接,也就是所有的 https://www.javbus5.com/SRS-055 这种链接,我一看,嘿呀,这是司机的活儿啊,我绝对不能辱没我老司机的名声(被败坏了可不好),于是开始着手写了构思爬虫调度启动程序 crawler.py 页面下载程序 downloader.py 页面解析程序 pageparser.py 数据库入库与去重管理程序 contro

Visual Studio Code 配置 Python 开发环境

1. 安装 Python 插件在 VScode 界面按 Crtl+Shift+P 或者 F1 输入 extinstall 直接安装 Python,也就是点击它,然后等待,安装好后会提示你重启 2. 配置运行 Python 程序同样的打开命令面板(Crtl+Shift+P 或 F1),然后输入 Tasks:ConfigureTaskRunner(中文输入:任务,然后选择任务:配置任务运行程序),选择 Other 此时 VScode 会自动生成. v

Python 之 Requests 的高级用法

高级用法本篇文档涵盖了 Requests 的一些更加高级的特性。会话对象会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookies。会话对象具有主要的 RequestsAPI 的所有方法。我们来跨请求保持一些 cookies:s=requests.Session()s.get('http://httpbin.org/cookies/set/sessioncooki

Python 中的 open 和 codecs.open

最近老被编码困扰,多次折腾之后,感觉 python 的编解码做得挺好的,只要了解下边的流程,一般都能解决 input 文件 (gbk,utf-8...)----decode----->unicode-------encode------>output 文件(gbk,utf-8...) 很多文本挖掘的 package 是在 unicode 上边做事的,比如 nltk. 所以开始读入文件后要 decode 为 unicode 格式,可以

Python 之 Requests 的安装与基本使用

安装使用 pip 安装 Requests 非常简单 pipinstallrequests 或者使用 easy_install 安装 easy_installrequests 获得源码 Requests 一直在 Github 上被积极的开发着你可以克隆公共版本库: gitclonegit://github.com/kennethreitz/requests.git 下载源码: curl-OLhttps://github.com/ken