由于TSL的流量流量都是加密的,对TSL的抓包一般比较麻烦,比如用Wireshar抓包还需要网站服务器私钥。最新版本的Arkime(以前叫做Moloch)可以通过PolarProxy接收抓包并解密HTTPS流。本文我们就来介绍如何将通过Arkim和PolarProxy 实时捕获并解密更HTTPS流量。
Arkime是一个开源数据包捕获软件,它可以收集到PCAP数据并对其索引。Arkime自带Web前端,用于浏览和搜索捕获的并建立索引的网络流量。
Arkime抓包并解密TSL流量需要其pcap-over-ip-server功能,并用"--pcapoveripconnect 127.0.0.1:57012"选项启动PolarProxy。PolarProxy通过TCP端口57012连接到Arkime的PCAP-over-IP侦听器,并将其解密的所有TLS数据包的副本发送给它。
TLS解密是通过PolarProxy(透明的TLS拦截代理)来实施的:
PolarProxy和Arkime可以安装在服务器上,可以实现拦截,解密,索引和存储网络上多个客户端的TLS网络流量。甚至有可能在单独的服务器上安PolarProxy和Arkime,以便PolarProxy将解密的流量转发到Arkime服务器。为了避免不必要的麻烦,本文我们在Ubuntu安装了Arkime和PolarProxy。操作系统是Ubuntu 20.04.1机器,也支持其他Linux发行版版本使用,比如Arch,CentOS,Debian,Fedora和SUSE等。
可以在Arkime官方下载适用于CentOS (rpm)和Ubuntu(deb)的预安装包安装,也可以下载源码或者从Github clone源码编译安装:
安装Arkime软件包后,通过运行以下命令配置Arkime:
sudo /data/moloch/bin/Configure
Found interfaces: lo;eth0
Semicolon ';' seperated list of interfaces to monitor [eth0] none
输入"none"作为要监视的界面(当Arkime被配置为IP上的PCAP服务器时,该界面设置将被忽略)
根据提示,选择"Yes"来安装额外的ElasticSearch服务器
编辑/data/moloch/etc/config.ini,添加"pcapReadMethod = pcap-over-ip-server",将Arkime配置为监听PCAP连接。
接下来,用以下命令启用ElasticSearch systemd服务。
sudo systemctl enable elasticsearch.service
sudo systemctl start elasticsearch.service
启动Arkime search集群。
/data/moloch/db/db.pl localhost:9200 init
创建一个新的管理员用户。
/data/moloch/bin/moloch_add_user.sh admin "Admin User" THEPASSWORD - admin
然后启用Moloch捕获和查看器服务。
sudo systemctl start molochcapture.service
sudo systemctl enable molochviewer.service
sudo systemctl start molochviewer.servic
启动后,测试一下主机上监听的TCP端口57012,确保服务已经启动。
ss -nta | grep 57012
LISTEN 0 10 0.0.0.0:57012 0.0.0.0:*
为PolarProxy的systemd服务创建一个启动用户,并按下载PolarProxy:
sudo adduser --system --shell /bin/bash proxyuser
sudo mkdir /var/log/PolarProxy
sudo chown proxyuser:root /var/log/PolarProxy/
sudo chmod 0775 /var/log/PolarProxy/
sudo su - proxyuser
mkdir ~/PolarProxy
cd ~/PolarProxy/
curl https://www.netresec.com/?download=PolarProxy | tar -xzf -
exit
复制PolarProxy配置复制到systemd。
sudo cp /home/proxyuser/PolarProxy/PolarProxy.service /etc/systemd/system/PolarProxy.service
修改/etc/systemd/system/PolarProxy.service,在ExecStart命令的末尾添加"--pcapoveripconnect 127.0.0.1:57012"
启动PolarProxy服务
sudo systemctl enable PolarProxy.service
sudo systemctl start PolarProxy.service
验证PolarProxy已在TCP端口57012已经连接到Arkime的PCAP-over-IP监听端口。
ss -nta | grep 57012
LISTEN 0 10 0.0.0.0:57012 0.0.0.0:*
ESTAB 0 0 127.0.0.1:40801 127.0.0.1:57012
ESTAB 0 0 127.0.0.1:57012 127.0.0.1:40801
PolarProxy当前正在监听TCP端口10443上的传入TLS连接。因此,我们可以使用以下curl命令通过TLS解密代理运行流量:
curl --insecure --connect-to www.xxx.com:443:127.0.0.1:10443 https://www.xxx.com/
如果一切正常,解密的流量将显示在Arkime中。在浏览器中打开http:// localhost:8005/sessions并查找与www.xxx.com的连接。
为了让PolarProxy服务使用的根CA证书同时被操作系统和浏览器所信任,以便通过解密代理运行TLS流量而不会出现错误。请按照以下步骤添加对根CA的信任(其他发行版可能稍有差异):
sudo mkdir /usr/share/ca-certificates/extra
sudo openssl x509 -inform DER -in /var/log/PolarProxy/polarproxy.cer -out /usr/share/ca-certificates/extra/PolarProxy-root-CA.crt
sudo dpkg-reconfigure ca-certificates
选择"extra /PolarProxy-root-CA.crt"证书颁发机构
按<确定>
从以下位置下载根CA证书:localhost:10080/polarproxy.cer
在Firefox 浏览器地址栏输入: about:preferences#privacy
向下滚动到"证书",然后单击"查看证书"
导入>选择"polarproxy.cer",导入添加信任。
最后是将本地用户的传出HTTPS流量重定向到TCP端口上PolarProxy服务监听10443。
在/etc/ufw/before.rules添加如下nat规则将传出的HTTPS流量重定向到侦听端口10443的本地PolarProxy服务。
*nat
:OUTPUT ACCEPT [0:0]
-A OUTPUT -m owner --uid 1000 -p tcp --dport 443 -j REDIRECT --to 10443
COMMIT
保存before.rules之后,重新加载UFW以激活端口重定向。
sudo ufw reload
注意,如果你使用的itpables防火墙,而非UFW,则等效规则为:
iptables -t nat -A OUTPUT -m owner --uid 1000 -p tcp --dport 443 -j REDIRECT --to 10443
确保修改防火墙规则中的uid值(1000)以匹配PolarProxy应该为其解密HTTPS流量的本地用户的uid值。
可以通过运行命令"id -u"来查看当前的uid值。
也可以将多个用户的流量从重定向到PolarProxy,但是,一定注意避免转发"proxyuser"用户HTTPS流量,否则就会形成无限死循环了。
可以使用 "id -u proxyuser" 命令查看proxyuser的uid。
这样,该主机已经配置为将自动解密HTTPS流量到到Arkime,打开Firefox并访问https网站,就可以返在Arkime查看到相关的流量。