抓包工具的使用

抓包工具的使用

十二月 07, 2019

抓包工具是拦截查看网络数据包内容的软件。抓包工具由于其可以对数据通信过程中的所有lP报文实施捕获并进行逐层拆包分析,一直是传统固网数通维护工作中罐常用的故障排查工具,目前普及度高且应用的比较多的抓包工具有Fiddler、Charles、WireShark,本文主要介绍Charles、Fiddler两款抓包工具下的主要使用方法。

Charles的使用

Charles介绍

Charles 是 macOS 平台下最好用的抓包分析工具之一,提供GUI界面,界面简洁,基本功能包括HTTP、HTTPS请求抓包,支持请求参数的修改,最新的 Charles 4 还支持 HTTP/2。当然,也同时支持Windows 和 Linux, 下面是官方的下载地址:https://www.charlesproxy.com/download ,这款软件不是免费的,下面教大家如何进行破解。

Charles的主要功能:

1.支持SSL代理。可以截取分析SSL的请求。

2.支持流量控制。可以模拟慢速网络以及等待时间(latency)较长的请求。

3.支持AJAX调试。可以自动将json或xml数据格式化,方便查看。

4.支持AMF调试。可以将Flash Remoting 或 Flex Remoting信息格式化,方便查看。

5.支持重发网络请求,方便后端调试。

6.支持修改网络请求参数。

7.支持网络请求的截获并动态修改。

8.检查HTML,CSS和RSS内容是否符合W3C标准。

Charles的安装及破解

首先从官网下载对应自己系统的安装包,双击解压后进行安装,然后对其进行解压,解压文件的下载地址:https://pan.baidu.com/s/1jgjPLas_-r6S-mzWri0mOw ,解压密码6tva,下载后替换掉原来文件夹里的charles.jar,安装破解过程还是非常容易的。

  • Mac下的地址:/Applications/Charles.app/Contents/Java/charles.jar
  • Windows下的地址:C:\Program Files\Charles\lib\charles.jar

Charles的操作

1.设置系统代理

首先,需要给青花瓷设置系统代理的权限,选择菜单中的“Proxy”–>“mac OS Proxy”,将Charles设置成系统代理。

  • 将Charles 设置系统代理的权限后,就会看到源源不断的接口请求在主界面显示出来。
  • 需要注意的是,Chrome 和 Firefox 浏览器默认并不使用系统的代理服务器设置,而 Charles 是通过将自己设置成代理服务器来完成封包截取的,所以在默认情况下无法截取 Chrome 和 Firefox 浏览器的网络通讯内容。如果你需要截取的话,在 Chrome 中设置成使用系统的代理服务器设置即可,或者直接将代理服务器设置成 127.0.0.1:8888 也可达到相同效果。

2.设置端口

其次就是配置端口,选择菜单中的“Proxy”–>“Proxy Setting”进行端口配置。

一般默认设置端口都是8888,也可以根据自己的需求进行配置。

3.主界面介绍

界面有两种查看方式,一种是以接口类型进行查看,另外一种是按照时间的顺序进行查看,如下图所示:

  • 以接口类型展示

  • 以时间顺序进行展示

3.设置过滤方式

  • 第一种过滤方式:这种过滤方式也是最常用的过滤方式,比较简单快捷,就是直接在过滤器里输入关键字进行过滤。

  • 第二种过滤方式:选中想要过滤的网站,运用Focus进行过滤。
  • 第三种过滤方式:选择菜单中的“Proxy”–>“SSL Proxying Settings”–>“Add”。

在设置中加入你所想要过滤的网站,以及配置其对应的端口。

以上设置全是在电脑上抓包的设置,主要是通过设置代理后,就可以抓取电脑请求的数据包。 移动端开发需要抓取手机端数据包,需要一些额外的设置。

4.Charles设置代理,手机进行抓包

1.这一步的目的是为了让移动设备连接到Charles,通过Charles来抓取移动设备中的所有请求,首先需要在Proxy Setting中对其端口进行设置,这里可以参考下面的端口设置图片样例,并且需要勾选“Enable transparent HTTP proxying”,这样就完成了Charles的设置。

2.在手机端进行代理设置的话,首先需要获取到Charles运行所在电脑的IP地址,选择菜单中的“Help”–>“Local IP Address”打开查看本机IP地址。

打开后可以查看到本机的IP地址。

3.之后需要将手机与电脑保证连接在同一局域网下,并且给手机网络设置代理 ,这里以iphone为例进行说明,选择代理设置为手动模式,在服务器那里填入电脑上获取的本机IP,在连接端里填写Charles里设置的端口。

4.代理设置完成后需要在Charles上进行证书的安装

在安装证书的时候会弹出如下图所示的提示,提示手机端也需要安装一个证书,会展示出你手机的代理设置地址,并且提供了证书下载的一个地址chls.pro/ssl,下载安装证书完成后需要在手机的设置–>关于本机–>凭证信任设定中将信任证书的开关打开。

在设置完这个证书后,Charles就可以抓到手机里的Https的请求了,这里抓取了微信的结果作为示范,如下图所示:

可以看到已经可以成功在手机端进行信息抓取了。以上,Charles的抓包使用就介绍到这了,抓包工具还是要结合具体的业务需求具体使用,还有一些高级功能本文没有提到,有需要请自行查阅资料。

Fiddler的使用

Fiddler抓包原理

Fiddler是以代理Web服务器的形式进行工作的,默认使用的地址是127.0.0.1,默认端口号是8888,。每次当Fiddler退出的时候会自动注销,把占用的端口及地址释放出来,这样就不会影响到别的程序。但如果Fiddler没有进行正常退出的话,它是不会自动进行注销的,可能会引起一些网页或者端口的无法访问,解决办法就是重启一下Fiddler即可。

Fiddler的配置

首先打开Fiddler后,选择菜单栏中的“Tool”–>“Fiddler Options”–>“HTTPS”。(配置完后需要重启Fiddler生效)

选中”Decrpt HTTPS traffic”, Fiddler就可以截获HTTPS请求,第一次会弹出证书安装提示,若没有弹出提示,勾选Actions-> Trust Root Certificate;另外,如果你要监听的程序访问的 HTTPS 站点使用的是不可信的证书,则请接着把下面的 “Ignore servercertificate errors” 勾选上。

证书安装提示:

点击Yes,留意一下红框里面的内容,DO_NOT_TRUST_FiddlerRoot ,这个就是证书的名称。

然后点击确定,一直到出现下面的界面就证明Fiddler的证书安装成功了。

查看一下证书,Actions—>open windows certificate Manager 。

可以证书已经添加进去了,证书名称就是之前提醒大家留意的,【DO_NOT_TRUST_FiddlerRoot】

Fiddler手机端配置

Fiddler的监听端口默认是8888,你可以设置成任何你想要的端口,只要不引起冲突就好。勾选上 “Allow remote computersto connect” ,允许远程设备连接。

为了减少干扰,可以去掉 “Act assystem proxy on startup” 。

手机客户端代理设置

首先需要查看电脑的IP地址,Windows下在命令行输入ipconfig,Mac OS或者Linux下输入ifconfig命令进行查看即可。

确认好IP地址后,将Fiddler代理服务器的证书导到手机上才可以抓一些APP的包。(要保证手机和电脑处于同一局域网下)导入的过程:在手机上打开浏览器,在地址栏中输入代理服务器的IP地址以及端口号(即电脑的IP加fiddler的端口),会看到一个Fiddler 提供的页面,然后确定安装就好了。

打开 WiFi 设置页面,选择要连接的 wifi ,并且长按,在弹出的对话框中,选择“修改网络”。在接下来弹出的对话框中,勾选“显示高级选项”。在接下来显示的页面中,点击“代理”,选择“手动”。代理服务器主机名设为 PC 的 IP ,代理服务器端口设为 Fiddler 上配置的端口 8888,点”保存”。iphone上的配置与Android基本上是一样的。

至此所有的Fiddler配置已完成。

Fiddler主界面介绍

会话的概率:一次请求和一次响应就是一个会话。

Fiddler主界面

下面挑几个快捷功能进行解释,其他功能请自行探索

快捷功能区:

  1. 给会话添加备注信息。
  2. 重新加载当前会话。
  3. 删除会话选项。
  4. 放行,和断点对应。
  5. 响应模式。即是,当Fiddler拿到远程的Response后是缓存起来一次响应给客户端还是以stream的方式直接响应。
  6. 解码。有些请求是被编码的,点击这个按钮后可以根据响应的编码格式自动进行解码。
  7. 查找会话。
  8. 保存会话。
  9. 截屏。截屏后会以会话的方式返回一个截图。

接下来看看会话列表

  • 【#】–HTTP Request的顺序,从1开始,按照页面加载请求的顺序递增。
  • 【Result】–HTTP响应的状态,可以参考这里。
  • 【Protocol】–请求使用的协议(如HTTP、HTTPS、FTP)
  • 【Host】–请求地址的域名
  • 【URL】–请求的服务器路径和文件名,也包括Get参数
  • 【BODY】–请求的大小,以Byte为单位
  • 【Caching】–请求的缓存过期时间或缓存控制Header值
  • 【Content-Type】–请求响应的类型
  • 【Process】–发出此请求的进程ID
  • 【Comments】–用户通过脚本或者右键菜单给此session增加的备注
  • 【Custom】–用户可通过脚本设置的自定义值

Fiddler功能介绍

1.Statistic

一般常用来观察关于Http请求的性能和其他数据的分析,可以从中看到一些基本性能数据,如DNS的解析时间,建立TCP/IP连接的时间消耗等信息。

2.Inspector

提供headers、textview、hexview,Raw等多种方式查看单条http请求的请求报文的信息,分为上下两个部分,上半部分是请求头部分,下半部分是响应头部分。对于每一部分,提供了多种不同格式查看每个请求和响应的内容。

  • ImageVIew标签

JPG 格式使用 ImageView 就可以看到图片,选择一条Content-Type是image/jpeg的回话,点击TextView

  • Text/View标签

HTML/JS/CSS 使用 TextView 可以看到响应的内容。选择一条Content-Type是text/html的回话,点击TextView

  • Raw标签

Raw标签可以查看响应报文和响应正文,但是不包含请求报文

  • Auth标签

Auth则可以查看授权Proxy-Authorization 和 Authorization的相关信息

  • Cookies标签

Cookies标签可以看到请求的cookie和响应的set-cookie头信息。

3.Composer

Composer允许自定义请求发送服务器,可以手动创建一个新的请求,也可以在会话列表中,拖拽一个现有的请求。

Parsed模式下你只需要提供简单的URL地址即可。(如下图,也可以在RequestBody定制一些属性,如模拟浏览器User-Agent)

4.断点请求/响应

如上图,箭头所指的位置时可以点击的。共三种状态:

空白:不设置断点。

箭头向上:表示断点请求。此时客户端的请求是无法直接到达目标服务器的,需要手动控制。

箭头向下:表示断点响应。此时目标服务器的响应是无法直接到达客户端的,需要手动控制。

还有一种打断点的方式

在命令行中输入命令:

bpu www.baidu.com (断点请求)

bpuafter www.baidu.com(断点响应)

这种方法只会中断www.baidu.com

断点请求并修改

如上图,操作步骤:

  1. 设置断点请求,访问网页
  2. 点击对应的会话
  3. 查看请求报文信息
  4. 修改请求内容
  5. 完成断点,放行,把该请求发送给目标服务器。

图中Break On Response表示把请求发给服务器,但是服务器的响应被fiddler拦截,此时可以修改响应内容(和断点响应类似)。

断点响应并修改

和断点请求操作类似,只是在响应区域修改报文信息即可。在断点响应时,请注意超时时间。

5.Filter过滤域名

Fiddler抓包可以完成我们移动开发者的调试测试需求。但是多余的网页请求和手机的其他链接影响我们手机开发的需求。所以我们需要排除其他无用的包,只关注我们指定的域名的请求包。

打开fiddler,找到Filters选项并点击打开。

默认情况下,这个页面是灰色的,代表默认不过滤任何请求。现在我们勾选 Use Filters。

一般常用的有三种过滤条件:

1.域名过滤,只显示特定域名的记录

百度一级域名+二级域名的会话:*.baidu.com,设置完成后点击Action使其生效。

2.类型过滤,一般对各种图片、CSS、JS这类的静态素材也不需要看的情况下,直接全部过滤掉

.*.(bmp|css|js|gif|ico|jp?g|png|swf|woff)

3.根据返回状态码,比如只想显示200的状态,其他的不显示。

Fiddler内置命令

“?”

问号后边跟一个字符串,Fiddler将所有会话中存在该字符串的匹配全部高亮显示(例:?baidu.com)所匹配的字符串是Protocol,Host,URL中的任何字符串。

“>”和”<”

大于号(>)和小于号(<)后加一个数值,表示高亮所有数值都大于或小于该数值的session。这个数值表示请求大小。

“=”

等于号(=)后边可以接Http状态码或Http方法,比如=200表示高亮所有请求正常响应的session,=POST表示高亮所有请求方法时POST方法的session。

“@”

@后边跟的是Host,表示会高亮此Host的session。

下边 bpafter、bps、bpv、bpm 和 bpu 用于设置断点,会话被中断下来之后,点击页面上方的 Go 按钮放行当前中断下来的会话,但新的匹配内容还是会被断下来,输入命令但不带参数表示取消之前设置的断点。

“bpafter”

bpafter 后边跟一个字符串,表示中断所有包含该字符串的会话。

“bps”

bps 后边跟的是 HTTP 状态码,表示中断所有为该状态码的会话。

“bpv或bpm”

bpv 或 bpm 后边跟的是 HTTP 方法,表示中断所有为该方法的会话。

“bpu”

跟 bpafter 类似,区别:bpu 是在发起请求时中断,而 bpafter 是在收到响应后中断。

“cls或clear”

将所有的会话打包成 .zip 压缩包的形式保存到 C 盘根目录下。

“g或go”

放行所有中断下来的会话。

“hide”

将Fiddler隐藏。

“show”

将Fiddler恢复

“urlreplace”

urlreplace 后边跟两个字符串,表示替换 URL 中的字符串。比如 urlreplace baidu fishc 表示将所有 URL 的 baidu 替换成 fishc;直接输入 urlreplace 不带任何参数表示恢复原来的样子。

“start”

Fiddler开始工作

“stop”

Fiddler停止工作

“quit”

关闭Fiddler

“select”

select 后边跟响应的类型(Content-Type),表示选中所有匹配的会话。

比如希望 Fiddler 选中所有的图片,可以使用 select image;

而 select css 则选中所有的 css 文件;

当然,select htm 就是选中所有的 html 文件。

“allbut或keeponly”

跟select类似,不过allbut和keeponly会将所有无关的会话删除。keeponly image表示我只想看图片,其他的就会删除。

总结

以上针对Charles和Fiddler两款工具的使用做了一个简单的介绍,请结合具体业务情景使用。