摘要：
一什么是mitmproxy抓包工具2mitmproxy抓包工具介绍pipinstallmitmproxy检测是否安装成功mitmproxy--version默认监听8080端口,使用-p指定端口3下载证书linux中操作mitmproxytab切换显示页面esc+q返回上下移动windows端口8080端口使用命令mitmdump或者mitmweb把代理日志写入文件mitmdump-wtext.t
一 什么是mitmproxy 抓包工具
2 mitmproxy抓包工具介绍
pip install mitmproxy
检测是否安装成功
mitmproxy --version
默认监听 8080端口,使用 -p 指定端口
3 下载证书
linux 中操作
mitmproxy
tab 切换显示页面 esc +q 返回 上下移动
windows 端口8080端口
使用命令 mitmdump或者mitmweb
把代理日志写入文件
mitmdump -w text.txt 输出文件名
mitmweb
4 mitmproxy数据过滤
命令行中输入f
断点拦截
命令行输入i,编写拦截规则
选择数据包,回车
输入e进入修改,tab切换到response.
q 返回
输入a继续访问.
5 使用mitmproxy中间人代理,爬取数据,入库
请求拦截函数名:
defrequest(flow): pass
响应拦截:
defresponset(flow): //flow 表示数据流 pass
实例代码
importjson from handle_db importmongo_info #引入数据库 defresponse(flow): if 'aweme/v1/user/follower/list/' inflow.request.url: //如果请求的url中包含了 #'aweme/v1/user/follower/list/', 则拦截 for user in json.loads(flow.response.text)['followers']: douyin_info={} douyin_info['share_id']=user['uid'] douyin_info['douyin_id']=user['short_id'] douyin_info['nickname']=user['nickname'] mongo_info.save_task(douyin_info)