前言：

上篇文章简单介绍了手机端的抓包工具fiddler的使用，实现了抓取抖音某用户“喜欢”的视频列表的操作。

为了在代码层面实现手机端的抓包，介绍另一款非常便捷的代理工具Mitmproxy的安装与使用。本文记于20年10月。

基础知识：

1）什么是网络代理

通过代理服务访问目标网页。类似与淘宝快递的场景，买家和卖家不会有直接的接触，在一场购物过程中，卖家不需要关心你是谁、你住在哪，只需要贴条发快递即可。实际购买的五品是通过快递小哥触达买家的。在这个过程中，快递小哥充当的就是代理服务的角色。

代理服务器（Proxy Server）作为网络信息的中转站，其功能是代理网络用户去取得网络信息。

2）什么是Mitmproxy

Mitmproxy就是一个常见的网络代理服务，与fiddler、charles类似。

“顾名思义，mitmproxy 就是用于 MITM 的 proxy，MITM(Man-in-the-MiddleAttack) 即”中间人攻击”，用于中间人攻击的代理首先会向正常的代理一样转发请求，保障服务端与客户端的通信，其次，会适时的查、记录其截获的数据，或篡改数据，引发服务端或客户端特定的行为。

不同于 fiddler 或 wireshark 等抓包工具，mitmproxy 不仅可以截获请求帮助开发者查看、分析，更可以通过自定义脚本进行二次开发。”这也是Mitmproxy的突出应用场景，除了可以实现类似fiddler的过滤浏览器对某个特定 url 的请求、查看分析数据，还可以实现高度的定制化需求，这样的需求可以通过载入自定义代码脚本轻松实现，支持python/java等语言，简单易用。

3）Mitmproxy的基本功能有哪些

Mitmproxy是一个开源项目，github托管地址为 https://github.com/mitmproxy/mitmproxy。

其项目中包含4个最重要的组件，分别为：

mitmproxy 是具有SSL / TLS功能的交互式拦截侦听代理，具有用于HTTP / 1，HTTP / 2和WebSockets的控制台界面。
mitmdump是mitmproxy的命令行版本。将tcpdump用于HTTP。
mitmweb 是用于mitmproxy的基于Web的界面。
pathoc并且pathod是错误的HTTP客户端和服务器应用程序，旨在让您制作几乎所有可能的HTTP请求，包括创造性地违反标准的请求。

简单的介绍就到这里，下面分4个步骤，以windows端为例，讲解下Mitmproxy的安装和使用。

STEP1：下载和安装Mitmproxy

Windows端Mitmproxy下载地址：https://github.com/mitmproxy/mitmproxy/releases

安装过程很简单，不赘述，一直下一步即可。

安装完成后，会自动弹出一个命令行窗口和一个web网页。

命令行窗口中，标明proxy server默认运行在8080端口上，web界面默认运行在8081端口上；

Web界面默认地址是127.0.0.1:8081，界面用于展示抓包详情。

成功出现如上界面，说明PC端的配置正常。

STEP2：手机端的配置

与fiddler等其他工具使用过程中的手机端配置类似，需要：

1）手机和PC接入同一WIFI

2）查看PC端的ip地址，如本机为192.168.0.121

3）在手机端wifi的高级设置中，配置手动代理，添加主机名为PC端ip，端口为Mitmproxy设置的端口号(默认为8080)

之后手机浏览器访问 mitm.it，下载对应终端的证书并安装即可。

以上便完成了 Mitmproxy 在手机端的配置。

STEP3：Mitmproxy界面初识

Flows界面

1/2. 每条flow请求的内容，GET请求, URL, 状态码, 响应类型, 大小；

3. 刷新图标代表重新request；

4. 橙色代表request正在被拦截, enter进入，按e可进行编辑；

5. 向左的箭头代表返回的response被拦截，可被编辑；

6. 请求log, EventLog模式下，按e进行日志栏打开/关闭；

7. flow请求的综述；

8. 当前的状态，包括正在拦截什么样的请求，是否在运行特定脚本；

9. 显示当前绑定的地址、端口号等；

Web界面：

以安卓手机模拟器为例展示，web界面中是抓到的请求，点击可如下图展开查看详情。基本功能与其他工具如fiddler类似。

STEP4：如何结合python代码实现简单的抓包

上文有提到，“这也是Mitmproxy的突出应用场景，除了可以实现类似fiddler的过滤浏览器对某个特定 url 的请求、查看分析数据，还可以实现高度的定制化需求”，能够轻松结合代码实现定制化需求是Mitmproxy的突出特点，下面就放一个“python打印某用户抖音“喜欢”列表中视频元素”的实现逻辑和简单代码片段：

1）首先要抓到刷某用户“喜欢”列表的请求：

分析请求过程，发现在某条favorite的请求中，有aweme_list值，是我们想要获取的请求，分析下来，请求返回的json串中包含了相关视频的丰富信息，其中'desc'为视频的描述信息，'aweme_id'为视频的id信息，'share_url'为视频的分享连接。

2）根据抓取到的目标请求和响应，编写代码。下面是一个简单的代码块，抓取请求并解析打印响应字段：

import json
def response(flow):
 print(">>>>>>>>>>>>>>Start<<<<<<<<<<<<<<<<")
 if "aweme/v1/aweme/favorite" in flow.request.url:
 for video in json.loads(flow.response.text)['aweme_list']:
 video_info = {}
 video_info['describtion'] = video['desc']
 video_info['aweme_id info'] = video['aweme_id']
 video_info['share_url info'] = video['share_url']
 print(video_info)

在cmd命令行模式下，使用命令mitmdump -s Praser.py -p 8080跑起来，就会在命令行中持续打印信息。如下图，可以看到已经成功抓取到了想要的信息。

总结：

什么是Mitmproxy：

Mitmproxy是开源的网络代理服务，可以结合代码轻松实现手机端的抓包需求。

安装和简单的使用步骤：

STEP1：下载和安装Mitmproxy

STEP2：手机端的配置

STEP3：Mitmproxy界面初识

STEP4：结合python代码实现简单的抓包

原文地址：https://cloud.tencent.com/developer/article/1727283

Mitmproxy 的安装与使用案例

前言：

基础知识：

1）什么是网络代理

2）什么是Mitmproxy

3）Mitmproxy的基本功能有哪些

STEP1：下载和安装Mitmproxy

STEP2：手机端的配置

STEP3：Mitmproxy界面初识

STEP4：如何结合python代码实现简单的抓包

总结：

相关推荐