抓包工具的使用
抓包工具是拦截查看网络数据包内容的软件。抓包工具由于其可以对数据通信过程中的所有lP报文实施捕获并进行逐层拆包分析,一直是传统固网数通维护工作中罐常用的故障排查工具,目前普及度高且应用的比较多的抓包工具有Fiddler、Charles、WireShark,本文主要介绍Charles、Fiddler两款抓包工具下的主要使用方法。
Charles的使用
Charles介绍
Charles 是 macOS 平台下最好用的抓包分析工具之一,提供GUI界面,界面简洁,基本功能包括HTTP、HTTPS请求抓包,支持请求参数的修改,最新的 Charles 4 还支持 HTTP/2。当然,也同时支持Windows 和 Linux, 下面是官方的下载地址:https://www.charlesproxy.com/download ,这款软件不是免费的,下面教大家如何进行破解。
Charles的主要功能:
1.支持SSL代理。可以截取分析SSL的请求。
2.支持流量控制。可以模拟慢速网络以及等待时间(latency)较长的请求。
3.支持AJAX调试。可以自动将json或xml数据格式化,方便查看。
4.支持AMF调试。可以将Flash Remoting 或 Flex Remoting信息格式化,方便查看。
5.支持重发网络请求,方便后端调试。
6.支持修改网络请求参数。
7.支持网络请求的截获并动态修改。
8.检查HTML,CSS和RSS内容是否符合W3C标准。
Charles的安装及破解
首先从官网下载对应自己系统的安装包,双击解压后进行安装,然后对其进行解压,解压文件的下载地址:https://pan.baidu.com/s/1jgjPLas_-r6S-mzWri0mOw ,解压密码6tva,下载后替换掉原来文件夹里的charles.jar,安装破解过程还是非常容易的。
- Mac下的地址:/Applications/Charles.app/Contents/Java/charles.jar
- Windows下的地址:C:\Program Files\Charles\lib\charles.jar
Charles的操作
1.设置系统代理
首先,需要给青花瓷设置系统代理的权限,选择菜单中的“Proxy”–>“mac OS Proxy”,将Charles设置成系统代理。
- 将Charles 设置系统代理的权限后,就会看到源源不断的接口请求在主界面显示出来。
- 需要注意的是,Chrome 和 Firefox 浏览器默认并不使用系统的代理服务器设置,而 Charles 是通过将自己设置成代理服务器来完成封包截取的,所以在默认情况下无法截取 Chrome 和 Firefox 浏览器的网络通讯内容。如果你需要截取的话,在 Chrome 中设置成使用系统的代理服务器设置即可,或者直接将代理服务器设置成 127.0.0.1:8888 也可达到相同效果。
2.设置端口
其次就是配置端口,选择菜单中的“Proxy”–>“Proxy Setting”进行端口配置。
一般默认设置端口都是8888,也可以根据自己的需求进行配置。
3.主界面介绍
界面有两种查看方式,一种是以接口类型进行查看,另外一种是按照时间的顺序进行查看,如下图所示:
- 以接口类型展示
- 以时间顺序进行展示
3.设置过滤方式
- 第一种过滤方式:这种过滤方式也是最常用的过滤方式,比较简单快捷,就是直接在过滤器里输入关键字进行过滤。
- 第二种过滤方式:选中想要过滤的网站,运用Focus进行过滤。
- 第三种过滤方式:选择菜单中的“Proxy”–>“SSL Proxying Settings”–>“Add”。
在设置中加入你所想要过滤的网站,以及配置其对应的端口。
以上设置全是在电脑上抓包的设置,主要是通过设置代理后,就可以抓取电脑请求的数据包。 移动端开发需要抓取手机端数据包,需要一些额外的设置。
4.Charles设置代理,手机进行抓包
1.这一步的目的是为了让移动设备连接到Charles,通过Charles来抓取移动设备中的所有请求,首先需要在Proxy Setting中对其端口进行设置,这里可以参考下面的端口设置图片样例,并且需要勾选“Enable transparent HTTP proxying”,这样就完成了Charles的设置。
2.在手机端进行代理设置的话,首先需要获取到Charles运行所在电脑的IP地址,选择菜单中的“Help”–>“Local IP Address”打开查看本机IP地址。
打开后可以查看到本机的IP地址。
3.之后需要将手机与电脑保证连接在同一局域网下,并且给手机网络设置代理 ,这里以iphone为例进行说明,选择代理设置为手动模式,在服务器那里填入电脑上获取的本机IP,在连接端里填写Charles里设置的端口。
4.代理设置完成后需要在Charles上进行证书的安装
在安装证书的时候会弹出如下图所示的提示,提示手机端也需要安装一个证书,会展示出你手机的代理设置地址,并且提供了证书下载的一个地址chls.pro/ssl,下载安装证书完成后需要在手机的设置–>关于本机–>凭证信任设定中将信任证书的开关打开。
在设置完这个证书后,Charles就可以抓到手机里的Https的请求了,这里抓取了微信的结果作为示范,如下图所示:
可以看到已经可以成功在手机端进行信息抓取了。以上,Charles的抓包使用就介绍到这了,抓包工具还是要结合具体的业务需求具体使用,还有一些高级功能本文没有提到,有需要请自行查阅资料。
Fiddler的使用
Fiddler抓包原理
Fiddler是以代理Web服务器的形式进行工作的,默认使用的地址是127.0.0.1,默认端口号是8888,。每次当Fiddler退出的时候会自动注销,把占用的端口及地址释放出来,这样就不会影响到别的程序。但如果Fiddler没有进行正常退出的话,它是不会自动进行注销的,可能会引起一些网页或者端口的无法访问,解决办法就是重启一下Fiddler即可。
Fiddler的配置
首先打开Fiddler后,选择菜单栏中的“Tool”–>“Fiddler Options”–>“HTTPS”。(配置完后需要重启Fiddler生效)
选中”Decrpt HTTPS traffic”, Fiddler就可以截获HTTPS请求,第一次会弹出证书安装提示,若没有弹出提示,勾选Actions-> Trust Root Certificate;另外,如果你要监听的程序访问的 HTTPS 站点使用的是不可信的证书,则请接着把下面的 “Ignore servercertificate errors” 勾选上。
证书安装提示:
点击Yes,留意一下红框里面的内容,DO_NOT_TRUST_FiddlerRoot ,这个就是证书的名称。
然后点击确定,一直到出现下面的界面就证明Fiddler的证书安装成功了。
查看一下证书,Actions—>open windows certificate Manager 。
可以证书已经添加进去了,证书名称就是之前提醒大家留意的,【DO_NOT_TRUST_FiddlerRoot】
Fiddler手机端配置
Fiddler的监听端口默认是8888,你可以设置成任何你想要的端口,只要不引起冲突就好。勾选上 “Allow remote computersto connect” ,允许远程设备连接。
为了减少干扰,可以去掉 “Act assystem proxy on startup” 。
手机客户端代理设置
首先需要查看电脑的IP地址,Windows下在命令行输入ipconfig,Mac OS或者Linux下输入ifconfig命令进行查看即可。
确认好IP地址后,将Fiddler代理服务器的证书导到手机上才可以抓一些APP的包。(要保证手机和电脑处于同一局域网下)导入的过程:在手机上打开浏览器,在地址栏中输入代理服务器的IP地址以及端口号(即电脑的IP加fiddler的端口),会看到一个Fiddler 提供的页面,然后确定安装就好了。
打开 WiFi 设置页面,选择要连接的 wifi ,并且长按,在弹出的对话框中,选择“修改网络”。在接下来弹出的对话框中,勾选“显示高级选项”。在接下来显示的页面中,点击“代理”,选择“手动”。代理服务器主机名设为 PC 的 IP ,代理服务器端口设为 Fiddler 上配置的端口 8888,点”保存”。iphone上的配置与Android基本上是一样的。
至此所有的Fiddler配置已完成。
Fiddler主界面介绍
会话的概率:一次请求和一次响应就是一个会话。
Fiddler主界面
下面挑几个快捷功能进行解释,其他功能请自行探索
快捷功能区:
- 给会话添加备注信息。
- 重新加载当前会话。
- 删除会话选项。
- 放行,和断点对应。
- 响应模式。即是,当Fiddler拿到远程的Response后是缓存起来一次响应给客户端还是以stream的方式直接响应。
- 解码。有些请求是被编码的,点击这个按钮后可以根据响应的编码格式自动进行解码。
- 查找会话。
- 保存会话。
- 截屏。截屏后会以会话的方式返回一个截图。
接下来看看会话列表
- 【#】–HTTP Request的顺序,从1开始,按照页面加载请求的顺序递增。
- 【Result】–HTTP响应的状态,可以参考这里。
- 【Protocol】–请求使用的协议(如HTTP、HTTPS、FTP)
- 【Host】–请求地址的域名
- 【URL】–请求的服务器路径和文件名,也包括Get参数
- 【BODY】–请求的大小,以Byte为单位
- 【Caching】–请求的缓存过期时间或缓存控制Header值
- 【Content-Type】–请求响应的类型
- 【Process】–发出此请求的进程ID
- 【Comments】–用户通过脚本或者右键菜单给此session增加的备注
- 【Custom】–用户可通过脚本设置的自定义值
Fiddler功能介绍
1.Statistic
一般常用来观察关于Http请求的性能和其他数据的分析,可以从中看到一些基本性能数据,如DNS的解析时间,建立TCP/IP连接的时间消耗等信息。
2.Inspector
提供headers、textview、hexview,Raw等多种方式查看单条http请求的请求报文的信息,分为上下两个部分,上半部分是请求头部分,下半部分是响应头部分。对于每一部分,提供了多种不同格式查看每个请求和响应的内容。
- ImageVIew标签
JPG 格式使用 ImageView 就可以看到图片,选择一条Content-Type是image/jpeg的回话,点击TextView
- Text/View标签
HTML/JS/CSS 使用 TextView 可以看到响应的内容。选择一条Content-Type是text/html的回话,点击TextView
- Raw标签
Raw标签可以查看响应报文和响应正文,但是不包含请求报文
- Auth标签
Auth则可以查看授权Proxy-Authorization 和 Authorization的相关信息
- Cookies标签
Cookies标签可以看到请求的cookie和响应的set-cookie头信息。
3.Composer
Composer允许自定义请求发送服务器,可以手动创建一个新的请求,也可以在会话列表中,拖拽一个现有的请求。
Parsed模式下你只需要提供简单的URL地址即可。(如下图,也可以在RequestBody定制一些属性,如模拟浏览器User-Agent)
4.断点请求/响应
如上图,箭头所指的位置时可以点击的。共三种状态:
空白:不设置断点。
箭头向上:表示断点请求。此时客户端的请求是无法直接到达目标服务器的,需要手动控制。
箭头向下:表示断点响应。此时目标服务器的响应是无法直接到达客户端的,需要手动控制。
还有一种打断点的方式
在命令行中输入命令:
bpu www.baidu.com (断点请求)
bpuafter www.baidu.com(断点响应)
这种方法只会中断www.baidu.com
断点请求并修改
如上图,操作步骤:
- 设置断点请求,访问网页
- 点击对应的会话
- 查看请求报文信息
- 修改请求内容
- 完成断点,放行,把该请求发送给目标服务器。
图中Break On Response表示把请求发给服务器,但是服务器的响应被fiddler拦截,此时可以修改响应内容(和断点响应类似)。
断点响应并修改
和断点请求操作类似,只是在响应区域修改报文信息即可。在断点响应时,请注意超时时间。
5.Filter过滤域名
Fiddler抓包可以完成我们移动开发者的调试测试需求。但是多余的网页请求和手机的其他链接影响我们手机开发的需求。所以我们需要排除其他无用的包,只关注我们指定的域名的请求包。
打开fiddler,找到Filters选项并点击打开。
默认情况下,这个页面是灰色的,代表默认不过滤任何请求。现在我们勾选 Use Filters。
一般常用的有三种过滤条件:
1.域名过滤,只显示特定域名的记录
百度一级域名+二级域名的会话:*.baidu.com,设置完成后点击Action使其生效。
2.类型过滤,一般对各种图片、CSS、JS这类的静态素材也不需要看的情况下,直接全部过滤掉
.*.(bmp|css|js|gif|ico|jp?g|png|swf|woff)
3.根据返回状态码,比如只想显示200的状态,其他的不显示。
Fiddler内置命令
“?”
问号后边跟一个字符串,Fiddler将所有会话中存在该字符串的匹配全部高亮显示(例:?baidu.com)所匹配的字符串是Protocol,Host,URL中的任何字符串。
“>”和”<”
大于号(>)和小于号(<)后加一个数值,表示高亮所有数值都大于或小于该数值的session。这个数值表示请求大小。
“=”
等于号(=)后边可以接Http状态码或Http方法,比如=200表示高亮所有请求正常响应的session,=POST表示高亮所有请求方法时POST方法的session。
“@”
@后边跟的是Host,表示会高亮此Host的session。
下边 bpafter、bps、bpv、bpm 和 bpu 用于设置断点,会话被中断下来之后,点击页面上方的 Go 按钮放行当前中断下来的会话,但新的匹配内容还是会被断下来,输入命令但不带参数表示取消之前设置的断点。
“bpafter”
bpafter 后边跟一个字符串,表示中断所有包含该字符串的会话。
“bps”
bps 后边跟的是 HTTP 状态码,表示中断所有为该状态码的会话。
“bpv或bpm”
bpv 或 bpm 后边跟的是 HTTP 方法,表示中断所有为该方法的会话。
“bpu”
跟 bpafter 类似,区别:bpu 是在发起请求时中断,而 bpafter 是在收到响应后中断。
“cls或clear”
将所有的会话打包成 .zip 压缩包的形式保存到 C 盘根目录下。
“g或go”
放行所有中断下来的会话。
“hide”
将Fiddler隐藏。
“show”
将Fiddler恢复
“urlreplace”
urlreplace 后边跟两个字符串,表示替换 URL 中的字符串。比如 urlreplace baidu fishc 表示将所有 URL 的 baidu 替换成 fishc;直接输入 urlreplace 不带任何参数表示恢复原来的样子。
“start”
Fiddler开始工作
“stop”
Fiddler停止工作
“quit”
关闭Fiddler
“select”
select 后边跟响应的类型(Content-Type),表示选中所有匹配的会话。
比如希望 Fiddler 选中所有的图片,可以使用 select image;
而 select css 则选中所有的 css 文件;
当然,select htm 就是选中所有的 html 文件。
“allbut或keeponly”
跟select类似,不过allbut和keeponly会将所有无关的会话删除。keeponly image表示我只想看图片,其他的就会删除。
总结
以上针对Charles和Fiddler两款工具的使用做了一个简单的介绍,请结合具体业务情景使用。