The more know the more need to learn.

通过 OpenVPN 实现流量审计

Posted on By Green_m

0x00 前言

为了满足日益增长的渗透测试网络审计需要,特别是从普通的全流量记录,到进一步的HTTPS流量审计,特地设计了一套网络结构,满足简单的傻瓜化远程接入实验室,实现 http/https 全流量记录的功能。

0x01 流量镜像和审计系统

早期的流量审计需求不高,抓下全流量就可以,直接买一个流量分光的设备,双网口,一个网口直接串联到设备中间,另一个网口接到抓流量的服务器上,不用改任何网络架构,就实现目的了。 但现在的要求越来越高,需要对HTTPS这样的加密流量也进行解密了,我们只能重新设计网络架构。

一、选择系统

最开始的想法是选用市面上已经有的路由器系统,不是有不少打着名号说自己特别牛逼的全流量审计,解码等等一应俱全的网关,比如 PFsense,WFilter-NGF,RouterOS,openwrt之类的。

经过测试了好几个产品,基本不太能满足需求。 比如 PFsense: SSL/TLS 解码是通过 Squirt 实现的,仅仅能解包记录域名头,并不支持全流量抓包和明文记录,而且由于使用的是 bsd 系统,想自己装一些工具也遇到了比较多的兼容性问题,无奈只好放弃。

尝试了多种系统选择后,最终决定使用 debian + mitmproxy 从轮胎开始一步一步造一辆能跑起来的车。

二、物理架构图

/styles/images/openvpn_traffic/p1.png

客户端接入有两条线路:

  1. 流量记录线路: Client (192.168.3.x) –> 路由器(192.168.3.1) –> VirtualBox debian (192.168.1.1) –> 4G sim 卡路由器(192.168.8.1) –> 外网
  2. 非流量记录线路: Client (10.90.45.x) –> 路由器(10.90.45.1) –> 外网

分成两条线路,保证工作和其他娱乐下载等流量分开,也避免造成不必要的流量浪费。

三、配置 VirtualBox debian 10 作为路由器

虚拟机搭建步骤省略, 需要配置物理机的网卡 enp0s1enp0s2通过桥接模式映射到虚拟机即可:

物理机 enp0s1 –> 虚拟机enp0s3

物理机 enp0s2 –> 虚拟机enp0s8

  1. 开启流量转发:
sysctl –w net.ipv4.ip_forward=1
  1. 使用iptables 配置转发策略:
iptables -t nat -A PREROUTING -i enp0s8 -p tcp -m tcp --dport 80 -j REDIRECT --to-ports 23333
iptables -t nat -A PREROUTING -i enp0s8 -p tcp -m tcp --dport 443 -j REDIRECT --to-ports 23333
iptables -t nat -A PREROUTING -i enp0s8 -p tcp -m tcp --dport 8080 -j REDIRECT --to-ports 23333
iptables -t nat -A POSTROUTING ! -d 192.168.2.0/24 -o enp0s3 -j MASQUERADE

iptables -t filter -A INPUT -i lo -j ACCEPT
iptables -t filter -A INPUT -i enp0s8 -j ACCEPT
iptables -t filter -A INPUT -i enp0s3 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
iptables -t filter -A FORWARD -i enp0s8 -o enp0s3 -j ACCEPT
iptables -t filter -A FORWARD -i enp0s3 -o enp0s8 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT

说明一下: nat 表里的规则是表示 80 443 8080 端口的流量转发到23333端口,实现透明代理,下文会解释 23333 端口的具体作用; filter 表的东西是一些转发和输入策略。

  1. iptables 规则持久化

使用 iptables-persistent 这个包,将上述规则保存到硬盘 /etc/iptables/rulesv4.save ,使用其他方式实现开机自动加载,方式自选,我使用的是 crontab 里的 @reboot

四、配置 mitmproxy 实现透明代理

安装最新版 mitmproxy,使用如下命令抓取流量:

/usr/bin/mitmdump -q --mode transparent --showhost -p 23333 --ssl-insecure --cert=cert.pem -s mitm_parse.py -w /data/mitmproxy_traffic/mitm_files/mitm_raw_$(date +"%Y%m%d").mitm

默认的 mitmdump 抓取的流量不是标准的通用格式,是 mitmdump 自定义的,为了保证可读性,这里我使用了 mitm_parse.py 这个脚本来对抓取的内容进行处理,脚本内容如下:

from mitmproxy import http
import time,re
import logging

logfile = "/data/mitmproxy_traffic/logs/mitm_parsed_" + time.strftime("%Y%m%d") + ".log"
logging.basicConfig(filename=logfile,
                            filemode='a',
                            format='%(asctime)s,%(msecs)d %(name)s %(levelname)s %(message)s',
                            datefmt='%H:%M:%S',
                            level=logging.INFO)
logger = logging.getLogger('mylogger')


def response(flow):
    logtext = "\n" 
    logtext += "="*50 + "\n"
    logtext += flow.request.url + "\n"

    logtext += "-"*25 + "request headers:" + "-"*25 + "\n"
    for k, v in flow.request.headers.items():
        logtext += "%-20s: %s" % (k.upper(), v) + "\n"

    logtext += "-"*25 + "request content:" + "-"*25 + "\n"
    logtext += flow.response.content.decode('utf-8','ignore') + "\n"

    logtext += "-"*25 + "response headers:" + "-"*25 + "\n"
    for k, v in flow.response.headers.items():
        logtext += "%-20s: %s" % (k.upper(), v) + "\n"

    logtext += "-"*25 + "response content:" + "-"*25 + "\n"
    logtext += flow.response.content.decode('utf-8','ignore') + "\n"
    logger.info(logtext)

那么这里就有两份数据,一份数据是 mitmdump 抓取的原始数据,存放在 /data/mitmproxy_traffic/mitm_files/目录下,另一份经过脚本处理过的可读性较好的数据,存放在 /data/mitmproxy_traffic/logs/ 目录下。

使用 curl 访问 qq.com 的日志如下:

18:34:12,49 mylogger INFO 
==================================================
https://125.39.52.26/
-------------------------request headers:-------------------------
:AUTHORITY          : qq.com
USER-AGENT          : curl/7.72.0
ACCEPT              : */*
-------------------------request content:-------------------------
<html>
<head><title>302 Found</title></head>
<body bgcolor="white">
<center><h1>302 Found</h1></center>
<hr><center>nginx/1.6.0</center>
</body>
</html>

-------------------------response headers:-------------------------
DATE                : Mon, 11 Jan 2021 10:34:12 GMT
CONTENT-TYPE        : text/html
SERVER              : squid/3.5.24
LOCATION            : https://www.qq.com?fromdefault
EXPIRES             : Mon, 11 Jan 2021 10:35:11 GMT
CACHE-CONTROL       : max-age=60
VARY                : Accept-Encoding
X-CACHE             : HIT from shenzhen.qq.com
-------------------------response content:-------------------------
<html>
<head><title>302 Found</title></head>
<body bgcolor="white">
<center><h1>302 Found</h1></center>
<hr><center>nginx/1.6.0</center>
</body>
</html>

五、dumpcap 抓取全流量

可以看到我们的 mitmproxy 的方案并不完美,只抓取了部分端口号的内容,并不能保证所有流量的记录,因此也十分有必要抓取全部的流量作为备份。

使用 dumpcap 抓取全流量:

#!/bin/bash
dir=/data/net_traffic_storage/files/$(date +"%Y%m%d")/

if [ ! -d $dir ]
then
        mkdir $dir
fi

dumpcap -i enp0s8 -w $dir/traffic.pcapng -b filesize:1024000

使用 supervisor 或者其他类似的工具将上面的命令进行持久化(经常断电),保证每次开启都能自启动成功。

六、使用 NFS 存储数据到物理机

虚拟机的硬盘容量较小,我们也没必要选择存在虚拟机上,所以选择存放在物理机上,使用NFS的方式。 这里也可以直接虚拟机映射硬盘,方式不局限,这里仅作我的选择的记录。

编辑 /etc/fstab,添加如下

192.168.1.128:/data/net_traffic_storage /data/net_traffic_storage nfs defaults 0 0 
192.168.1.128:/data/mitmproxy_traffic /data/mitmproxy_traffic nfs defaults 0 0 

在重启过程中出现过一些因为先后顺序导致的挂载失败,因此写了个计划任务去判断:

0 */1 * * * cat /proc/mounts | grep -q 192.168.1.128 || systemctl restart remote-fs.target && systemctl restart supervisor

这里我们已经实现了流量审计的功能,接下来需要考虑的是如何远程接入审计系统。

0x02 OpenVPN 的网络架构

/styles/images/openvpn_traffic/p2.png

网络流量走向为(在openvpn 接入的一台服务器上执行)

└─$ traceroute 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
 1  192.168.2.189 (192.168.2.189)
 2  192.168.2.200 (192.168.2.200)  
 3  192.168.1.1 (192.168.1.1)  
 4  192.168.8.1 (192.168.8.1)  
 5  * * *
 ......

0x03 OpenVPN Client as gateway 实现

这个需求出现的场景是,我们希望所有接入OpenVPN的客户端,不使用 Server(192.168.2.189) 作为最终的网关,而是使用某一个固定的客户端(192.168.2.200)作为最终的网关。 经过搜索,发现这个需求还比较小众,最终发现了某个帖子里提到了同样的需求,我们以这个帖子为参考。

一、OpenVPN 的 Bridge 和 Route 对比

这篇帖子中提到仅有OpenVPN bridge 模式才能实现这样的功能。先解释一下 bridge 模式和 route 模式的区别(来自官方论坛):

TAP 设备(bridge 模式):

  • 可以传输非 TCP/IP 层的流量,也就是第二层。
  • 需要桥接网络

有下列需求的话,必须使用 bridge 模式

  • 需要 LAN 和 VPN 客户端处在同一个广播域
  • 需要 LAN 的 DHCP 服务器给 VPN 客户端提供 DHCP 地址
  • 需要 Windows 服务器在 VPN 网络中,使用网络发现等功能

TAP 设备的优点:

  • 类似一个真正的网络适配器
  • 可以传输任何网络协议(IPv4, IPv6, Netalk, IPX, 等等)
  • 工作在第二层
  • 可以用来桥接网络

TAP 设备的缺点:

  • VPN 传输更多广播流量
  • VPN 传输更多以太网报文头
  • 扩展型差
  • 不能用在安卓或者 IOS 设备

相应的 route 模式,也就是 TUN 设备,工作在第三层,优势和劣势与 bridge 模式相反。

根据我们的需求,这里我们选择更底层的 bridge 模式,流量开销的缺点基本可以忽略不计。

二、搭建 OpenVPN (bridge 模式)

基本的搭建我们就不赘述了,可以使用官方文档或者一键搭建脚本,需要注意的是,根据官方文档,我们搭建 bridge 模式的话,需要自己创建虚拟网卡 brxxx ,但是在云上一创建就会挂掉,这里我们需要使用其他方式来实现该功能,参考:is-it-possible-to-set-up-a-bridged-vpn-in-aws

在 Server 端配置中写入

dev tap

# Define your IP address range within a valid subnet
server-bridge 192.168.2.189 255.255.255.0 192.168.2.200 192.168.2.250
client-to-client

# Set server tap0 ip address on startup
up /etc/openvpn/server/openvpn-server-up.sh

# Set client config dir
client-config-dir /etc/openvpn/ccd

其中 openvpn-server-up.sh 的内容为,并添加可执行权限。

#!/bin/sh
ifconfig tap0 192.168.2.189 netmask 255.255.255.0 broadcast 192.168.2.255

/etc/openvpn/ccd/ 目录下创建跟 Client 配置文件同名的文件,如 wangxiaoqing, 写入

ifconfig-push 192.168.2.211 255.255.255.0

代表给 wangxiaoqing 这个用户固定 192.168.2.211 的 IP 地址,有多个用户就以此类推。

这样 Server 端启动时会自动启动 openvpn-server-up.sh 的脚本,给 tap0 的虚拟网卡指定网络配置。

最后的 Server 配置发出来大家参考:

port 1194
proto tcp
dev tap
ca ca.crt
cert server.crt
key server.key
dh dh.pem
auth SHA512
tls-crypt tc.key
topology subnet
script-security 2
server-bridge 192.168.2.189 255.255.255.0 192.168.2.200 192.168.2.250
push "dhcp-option DNS 192.168.8.1"
push "redirect-gateway def1 bypass-dhcp"
keepalive 10 120
cipher AES-256-CBC
user nobody
group nogroup
persist-key
persist-tun
status openvpn-status.log
verb 3
crl-verify crl.pem

client-to-client
up /etc/openvpn/server/openvpn-server-up.sh
client-config-dir /etc/openvpn/ccd

通过这样的配置,我们就可以实现 Client 接入 VPN 后,访问其他 Client ,或者通过 Server 端上网了。

三、配置 Server 端的路由

通过上面的配置,我们实现了最基础也是最常用的 OpenVPN 架构,多 Client 通过 Server 上网。如果仅仅是这样的话,bridge 和 route 模式几乎没区别。 但接下来的设置,就只有 bridge 模式才能实现了。

为了让所有 Client 使用其中一个 Client (192.168.2.200)作为路由,我们需要在 Server 端进行如下设置。

  1. 先添加一个路由表
echo 100 vpnroute >> /etc/iproute2/rt_tables
  1. 给 路由表 vpnroute 定义地址范围
ip rule add from 192.168.2.0/24 table vpnroute
  1. 给 vpnroute 添加路由
ip route add 192.168.2.0/24 via 192.168.2.189 dev tap0 table vpnroute
ip route add default via 192.168.2.200 dev tap0 table vpnroute

第一条为192.168.2.0/24 网段的地址走原始的 Server 网关 192.168.2.189,

第二条为其他的地址走默认的 192.168.2.200 的 Client 网关。

通过命令 ip route show table vpnroute 就能看到我们刚刚添加的路由:

root@openvpn-server:~# ip route show table vpnroute
default via 192.168.2.200 dev tap0
192.168.2.0/24 via 192.168.2.189 dev tap0

这种根据源地址来定义路由的方式,叫 policy based routing ,而直接通过 route 命令修改的系统路由表,只能根据目的地址的不同来定义路由策略,不能满足我们的需求。

四、配置 Client 端作为网关

Client(192.168.2.200) 本来是一个普通的 Linux 服务器,想把它作为 gateway ,是需要一些额外配置的。

开启转发:

sysctl –w net.ipv4.ip_forward=1

设置 SNAT

iptables -t nat  -A POSTROUTING -s 192.168.2.0/24 ! -d 192.168.2.0/24  -j MASQUERADE  -o eth0

通过这样设置,如果 Client 只有一个网络出口的话,就已经可以实现我们需要的功能了。 之后会具体讲到一种多网络接口的特殊情况。

五、Client 多网络出口的情况下

192.168.2.200 这台服务器,作为网关时本地有好几张网卡都可以出外网:

10.90.45.20/24
192.168.1.128/24
192.168.8.105/24

默认的路由表是走 10.90.45.1 这个网关出去上网的,正常的情况下这个机器并不需要走流量审计的网络。这里就涉及到如何让来自 OpenVPN 的流量走 192.168.1.128/24 这个网卡的路由。( 考虑过使用 192.168.1.1 这台审计网关直接接入 OpenVPN ,但因为虚拟机的网卡是通过桥接模式映射的,再通过 bridge 接入 openvpn 冲突了(猜测),所以就选择直接在物理机上接入。)

这里我们还是使用上文提到的 policy-based route ,通过路由表规则来配置:

先确定通过其中一个网卡能顺利出网:

traceroute --interface=enp1s0f1 8.8.8.8

然后配置路由规则:

echo 201 debian_lan >> /etc/iproute2/rt_tables

ip route add default via 192.168.1.1 dev enp1s0f1 table debian_lan
ip rule add from 192.168.1.0/24 table debian_lan
ip rule add fwmark 0x1111 table debian_lan

使用 iptables 转发

/sbin/iptables -t mangle -A PREROUTING -i tap0 -s 192.168.2.0/24 ! -d 192.168.2.0/24 -j MARK --set-mark 0x1111
/sbin/iptables -t nat  -A POSTROUTING -s 192.168.2.0/24 ! -d 192.168.2.0/24  -j MASQUERADE  -o enp1s0f1

其他命令在前文已经解释过了,这里需要特别注意的就是如下两句:

ip rule add fwmark 0x1111 table debian_lan
iptables -t mangle -A PREROUTING -i tap0 -s 192.168.2.0/24 ! -d 192.168.2.0/24 -j MARK --set-mark 0x1111

第一条的意思是给 路由表 debian_lan 添加标记,第二条 iptables 的意思是在走路由策略之前,给流量包添加标记。符合这个标记的流量包就会走 debian_lan 这个路由表。 最开始我缺少这两条规则,NAT 一直不成功,但是如果尝试默认路由的话又可以 ,加上这两条规则做一下标记后就完美成功了。

0x04 一些不足

以上这套方案,其实还是有很多问题的,比如结构比较复杂耦合程度较高,最严重的问题还是:

  1. 只能根据端口号判断 http(s) 流量,如果是非标准端口号,比如 8443 甚至 38443 这种端口,那就没有办法做证书劫持了,只能记录加密流量,同时其他协议流量也不能解密。所以也记录了全流量作为补充。
  2. 用户体验不太好,中间人劫持肯定是会弹出不信任的警告的,要么手动接受要么导入根证书,就算是根证书也因为 CN 和 SAN 的限制,无法让浏览器或者其他检验了该名称的工具实现完美信任。

能实现目前的程度我暂时觉得已经不错了,后续如果有其他思路的话再进一步改进。

0x05 参考链接

Using a client as a gateway

Is it possible to set up a bridged VPN in AWS to connect multiple clients in a single LAN that will allow broadcasts between them?

Set up your Debian router / gateway in 10 minutes

howto-transparent

iptables深入解析-mangle篇