python异步多线程超高性能爬虫爬取又拍云图片
前言
最近有个奇葩需求:
要把又拍云所有的图片全都下载下来 大约10T 3亿张左右
联系又拍云 能否邮寄硬盘直接拷贝,答曰不行。。但是给了个下载的python脚本
download_file_with_iter.py
我怀着感激的心情下载下来,结果一秒不到3张。。实在是慢,于是乎打算自己写一个
最近有个奇葩需求:
要把又拍云所有的图片全都下载下来 大约10T 3亿张左右
联系又拍云 能否邮寄硬盘直接拷贝,答曰不行。。但是给了个下载的python脚本
download_file_with_iter.py
我怀着感激的心情下载下来,结果一秒不到3张。。实在是慢,于是乎打算自己写一个
最近读了一篇有关arp欺骗和中间人攻击的文章,于是乎就想着自己实现一下,顺便验证下微信在回话劫持后的安全性。
……DDoS攻击是常见的攻击方式,每小时大约发生28次。http://www.digitalattackmap.com提供在世界范围内的DDoS实时攻击分布图:
从DDoS攻击的地图上就可以看出国际形势;例如,到9月18号可以看到日本-中国的攻击;川普宣布建墙之后,可以看到墨西哥-美国的攻击。
……nmap-Network Mapper,是著名的网络扫描和嗅探工具包。他同样支持Windows和OS X。
……Kali Linux默认并没有安装SSH服务,为了实现远程登录Kali Linux,我们需要安装SSH服务。
……HTTrack可以克隆指定网站-把整个网站下载到本地。
可以用在离线浏览上,也可以用来收集信息(甚至有网站使用隐藏的密码文件)。
……你要做坏事时,最先应该想到匿名。扫描网站/主机,或利用漏洞;甚至在大天朝发帖都有风险,为了防止半夜鬼敲门,我们可以使用tor实现匿名。
……sqlmap是开源的SQL注入自动攻击工具,它可以自动的探测SQL注入点并且进一步控制网站的数据库。
……Metasploit提供了很多辅助的模块,非常实用。今天介绍一个叫search_email_collector的模块,它的功能是查找搜索引擎(google、bing、yahoo),收集和某个域名有关的邮箱地址。
……Lynis
是Linux平台上的一款安全漏洞扫描工具。它可以扫描系统的安全漏洞、收集系统信息、安装的软件信息、配置问题、没有设置密码的用户和防火墙等等。