SSL on Kernel Notes

Vastbase SSL安全传输

Thu, 28 Aug 2025 09:47:00 +0800

1 基于SSL证书实现身份认证

在应用与数据库传输数据时，为避免攻击者对数据进行窃听、篡改、伪造、重放等攻击，Vastbae支持采用SSL协议保障数据机密性与完整性。在SSL协议协商密钥的过程中，应用与数据库需通过证书验证对方身份，同时，该证书也可作为登入数据库的身份凭证。
此处介绍生成证书，并基于证书配置SSL协议，同时基于证书实现身份认证，操作流程可分为以下3个阶段：

一、生成私钥与证书
二、数据库端配置证书与私钥
三、应用端配置证书与私钥

一、生成私钥与证书

此处介绍基于openssl工具，生成自签名证书的流程

创建存放私钥与证书的文件夹

mkdir cadir
cd cadir
mkdir ./demoCA ./demoCA/newcerts ./demoCA/private
echo '01'>./demoCA/serial
touch ./demoCA/index.txt

配置openssl工具
从Vastbase安装包中，获取openssl工具以及openss配置文件。假设Vastbae安装包存放在$GAUSSHOME目录。

cp $GAUSSHOME/bin/openssl ./
export PATH=`pwd`:$PATH
which openssl # 确保openssl来源于Vastbase安装包，避免因版本不同造成证书不可用
openssl version

cp $GAUSSHOME/share/sslcert/gsql/openssl.cnf ./
export OPENSSL_CONF=`pwd`/openssl.cnf

创建CA私钥、CA证书

openssl ecparam -genkey -name SM2 -out demoCA/private/cakey.pem
openssl req -new -config openssl.cnf -key demoCA/private/cakey.pem -subj /C=CN/ST=BJ/L=HaiDian/O=VAST/OU=SEC/CN=CA -out cacert.req
openssl ca -selfsign -config openssl.cnf -batch -keyfile demoCA/private/cakey.pem -in cacert.req -out demoCA/cacert.pem

创建数据库私钥、数据库证书

数据库安全传输加密

Wed, 21 May 2025 09:37:00 +0800

非国密

生成证书
数据库服务端：配置证书、配置传输加密算法
数据库客户端：配置证书

# 检查openssl版本
which openssl
 # 确保使用的是vastbase发布包中的openssl，而非操作系统中的openssl

cp $GAUSSHOME/share/sslcert/gsql/openssl.cnf ./
export OPENSSL_CONF=`pwd`/openssl.cnf

# 创建文件
mkdir cert
cd cert
mkdir ./demoCA ./demoCA/newcerts ./demoCA/private
chmod 700 ./demoCA/private
echo '01'>./demoCA/serial
touch ./demoCA/index.txt

# ca
openssl genrsa -out ./demoCA/private/cakey.pem 2048
openssl req -new -key ./demoCA/private/cakey.pem -out ./demoCA/private/ca_cert_req.pem -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=root"
openssl x509 -req -in ./demoCA/private/ca_cert_req.pem -days 7300 -signkey ./demoCA/private/cakey.pem -out ./demoCA/cacert.pem

# server
openssl genrsa -out server.key 2048
openssl req -new -key server.key -out server.csr -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=server"
openssl x509 -req -in server.csr -days 3650 -CA ./demoCA/cacert.pem -CAkey ./demoCA/private/cakey.pem -CAcreateserial -out server.crt

# client
openssl genrsa -out client.key 2048
openssl req -new -key client.key -out client.csr -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=client"
openssl x509 -req -in client.csr -days 3650 -CA ./demoCA/cacert.pem -CAkey ./demoCA/private/cakey.pem -CAcreateserial -out client.crt

# 查看内容
openssl x509 -in client.crt -text

# 设置权限
chmod 600 client.key
chmod 600 client.crt
chmod 600 server.key
chmod 600 server.crt
chmod 600 ./demoCA/cacert.pem

export CERT=`pwd`
echo '
export CERT=`pwd`
export PGSSLMODE=verify-ca

export PGSSLROOTCERT=$CERT/demoCA/cacert.pem

export PGSSLKEY=$CERT/client.key
export PGSSLCERT=$CERT/client.crt
' > client_env

source client_env

# 设置服务端参数
gs_guc set -D $GAUSSHOME/data -c "ssl=on"
gs_guc set -D $GAUSSHOME/data -c "ssl_ciphers = 'ALL'"
gs_guc set -D $GAUSSHOME/data -c "ssl_ca_file = '$CERT/demoCA/cacert.pem'"
gs_guc set -D $GAUSSHOME/data -c "ssl_key_file='$CERT/server.key'"
gs_guc set -D $GAUSSHOME/data -c "ssl_cert_file='$CERT/server.crt'"

# 重启数据库

vsql -d postgres -c " CREATE USER u1 PASSWORD 'u1.password' "

# 连接数据库：需加-h参数
vsql -h localhost -d postgres -U u1 -W 'u1.password' -r

rm -f client.* server.*
gs_guc set -D $GAUSSHOME/data -c "ssl_ciphers = 'ECDHE-ECDSA-SM4-CBC-SM3'"

openssl ecparam -name SM2 -genkey -out ./demoCA/private/cakey.pem
openssl req -new -key ./demoCA/private/cakey.pem -out ./demoCA/private/ca_cert_req.pem -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=root"
openssl x509 -req -in ./demoCA/private/ca_cert_req.pem -days 7300 -signkey ./demoCA/private/cakey.pem -out ./demoCA/cacert.pem

# server
openssl ecparam -name SM2 -genkey -out server.key
openssl req -new -key server.key -out server.csr -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=server"
openssl x509 -req -in server.csr -days 3650 -CA ./demoCA/cacert.pem -CAkey ./demoCA/private/cakey.pem -CAcreateserial -out server.crt

# client
openssl ecparam -name SM2 -genkey -out client.key
openssl req -new -key client.key -out client.csr -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=client"
openssl x509 -req -in client.csr -days 3650 -CA ./demoCA/cacert.pem -CAkey ./demoCA/private/cakey.pem -CAcreateserial -out client.crt

chmod 600 client.key client.crt server.key server.crt ./demoCA/cacert.pem

openssl x509 -in client.crt -text

国密

mkdir cert
cd cert

openssl version
# OpenSSL 1.1.1s Tassl 2.1.2 1 Nov 2022

cp ../tassl/install/openssl.cnf ./
chmod +w ./openssl.cnf

echo '
[ gm_ca_cert ]
subjectKeyIdentifier=hash
authorityKeyIdentifier=keyid:always,issuer
basicConstraints = critical,CA:true
keyUsage = critical, cRLSign, keyCertSign

[ gm_sign_cert ]
basicConstraints = CA:FALSE
keyUsage = critical, digitalSignature, nonRepudiation

[ gm_enc_cert ]
basicConstraints = CA:FALSE
keyUsage = critical, keyEncipherment, dataEncipherment, keyAgreement' >> ./openssl.cnf

mkdir ./demoCA ./demoCA/newcerts ./demoCA/private
chmod 700 ./demoCA/private
echo '01'>./demoCA/serial
touch ./demoCA/index.txt

# ca
openssl ecparam -name SM2 -genkey -out ./demoCA/private/cakey.pem
openssl req -config openssl.cnf -new -key ./demoCA/private/cakey.pem -sm3 -out ./demoCA/private/ca_cert_req.pem -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=root"
openssl x509 -req -extfile openssl.cnf -extensions gm_ca_cert -in ./demoCA/private/ca_cert_req.pem -sm3 -days 7300 -signkey ./demoCA/private/cakey.pem -out ./demoCA/cacert.pem

# server
openssl ecparam -name SM2 -genkey -out server.key
openssl ec -in server.key -passout pass:gauss@123 -sm4 -out server.key
openssl req -config openssl.cnf -new -key server.key -passin pass:gauss@123 -sm3 -out server.csr -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=server"
openssl x509 -req -extfile openssl.cnf -extensions gm_sign_cert -in server.csr -sm3 -days 3650 -CA ./demoCA/cacert.pem -CAkey ./demoCA/private/cakey.pem -passin pass:gauss@123 -CAcreateserial -out server.crt

# server.enc
openssl ecparam -name SM2 -genkey -out server_enc.key
openssl ec -in server_enc.key -passout pass:gauss@123 -sm4 -out server_enc.key
openssl req -config openssl.cnf -new -key server_enc.key -passin pass:gauss@123 -sm3 -out server_enc.csr -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=server"
openssl x509 -req -extfile openssl.cnf -extensions gm_enc_cert -in server_enc.csr -sm3 -days 3650 -CA ./demoCA/cacert.pem -CAkey ./demoCA/private/cakey.pem -passin pass:gauss@123 -CAcreateserial -out server_enc.crt

gs_guc encrypt -M server -D ./ -K gauss@123

# client
openssl ecparam -name SM2 -genkey -out client.key
openssl ec -in client.key -passout pass:gauss@123 -sm4 -out client.key
openssl req -config openssl.cnf -new -key client.key -passin pass:gauss@123 -sm3 -out client.csr -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=client"
openssl x509 -req -extfile openssl.cnf -extensions gm_sign_cert -in client.csr -sm3 -days 3650 -CA ./demoCA/cacert.pem -CAkey ./demoCA/private/cakey.pem -passin pass:gauss@123 -CAcreateserial -out client.crt

# client.enc
openssl ecparam -name SM2 -genkey -out client_enc.key
openssl ec -in client_enc.key -passout pass:gauss@123 -sm4 -out client_enc.key
openssl req -config openssl.cnf -new -key client_enc.key -passin pass:gauss@123 -sm3 -out client_enc.csr -subj "/C=CN/ST=Beijing/O=huawei/OU=gauss/CN=client"
openssl x509 -req -extfile openssl.cnf -extensions gm_enc_cert -in client_enc.csr -sm3 -days 3650 -CA ./demoCA/cacert.pem -CAkey ./demoCA/private/cakey.pem -passin pass:gauss@123 -CAcreateserial -out client_enc.crt

gs_guc encrypt -M client -D ./ -K gauss@123

# openssl x509 -in client.crt -text

export CERT=`pwd`
echo '
export CERT=`pwd`
export PGSSLMODE=verify-ca
export PGSSLTLCP=1

export PGSSLROOTCERT=$CERT/demoCA/cacert.pem

export PGSSLKEY=$CERT/client.key
export PGSSLCERT=$CERT/client.crt
export PGSSLENCKEY=$CERT/client_enc.key
export PGSSLENCCERT=$CERT/client_enc.crt
' > client_env

source client_env

# 设置服务端参数
gs_guc set -D $GAUSSHOME/data/single_node -c "ssl=on"
gs_guc set -D $GAUSSHOME/data/single_node -c "ssl_ciphers = 'ALL'"
gs_guc set -D $GAUSSHOME/data/single_node -c "ssl_use_tlcp=on"
gs_guc set -D $GAUSSHOME/data/single_node -c "ssl_ca_file = '$CERT/demoCA/cacert.pem'"
gs_guc set -D $GAUSSHOME/data/single_node -c "ssl_key_file='$CERT/server.key'"
gs_guc set -D $GAUSSHOME/data/single_node -c "ssl_cert_file='$CERT/server.crt'"
gs_guc set -D $GAUSSHOME/data/single_node -c "ssl_enc_key_file='$CERT/server_enc.key'"
gs_guc set -D $GAUSSHOME/data/single_node -c "ssl_enc_cert_file='$CERT/server_enc.crt'"

# 重启数据库

海量 10 设计 SSL协议

Tue, 09 Sep 2025 18:48:00 +0800

1 TLS协议支持第三方流量审计

1.1 功能简述

【需求背景】
TLS协议，是保障通信安全的加密协议，可分为4个子功能：

密钥生成：通过密钥交换或密钥协商等协议，让双方生成相同的密钥
身份认证：在开始阶段，双方均向对方发送自己的证书。双方接收证书后，基于PKI体系，校验证书是否合法。
数据加密：发送方发生数据前，使用密钥加密数据，发送数据密文。接受方接受密文后，使用密钥解密，获取数据。
数据校验：在加密数据的同时，生成数据完整性校验码，与数据密文拼接在一起。（简单理解：生成数据的哈希值，并使用密钥加密哈希值）接收方解密数据后，同样生成数据完整性校验码，与接收的相比，判断是否一致。

开源软件libssl.so提供TLS功能，应用只需调用接口，即可实现TLS协议。同时，libssl.so提供100+算法套件，可让应用选择不同的参数组合，1个算法套件，包含4个关键参数：

密钥生成：密钥生成协议
身份认证：证书算法类型
数据加密：加密算法类型
数据校验：哈希算法类型

例如，libssl.so中，常用的算法套件为：ECDHE-RSA-AES128-SHA256，该套件中，参数的含义如下：

密钥生成协议：ECDHE协议。（常见协议类型:DHE、ECDHE、RSA等）
证书算法类型：RSA
加密算法类型：AES-128
哈希算法类型：SHA-256

【需求分析】
vastbase支持TLS协议，当vsql与vastbase通信时，双方可使用TLS模块，生成密钥，并使用密钥加密、解密通信数据，包括：SQL语句、SQL执行结果等。
客户可能采用第三方工具，截取网络流量，获取传输中的SQL等数据，进行流量审计。但是，在使用TLS协议的情况下，网络中的数据是密文形式，无法进行流量审计。

vastbase提供1个GUC参数ssl_ciphers，用于配置TLS协议采用的算法套件，旧版本，该参数的取值范围如下：

ECDHE-ECDSA-AES256-GCM-SHA384
ECDHE-RSA-AES256-GCM-SHA384
DHE-RSA-AES256-GCM-SHA384
ECDHE-ECDSA-AES128-GCM-SHA256
DHE-RSA-AES128-GCM-SHA256
ECDHE-RSA-AES128-SHA256
ECDHE-ECDSA-SM4-CBC-SM3
4个仅tassl支持的国密算法套件

上述7个套件中，密钥生成协议为：ECDHE、DHE，此类DH协议，无法让第三方工具获取密钥。

本版本，新增4个算法套件：

AES128-SHA256
AES256-SHA256
AES128-GCM-SHA256
AES256-GCM-SHA384

上述4个套件，密钥生成协议为：RSA，该协议可让第三方工具获取密钥，使其可解密网络流量，获取SQL语句、SQL执行结果等。

【需求实现】
之前，vastbase限制ssl_ciphers的取值范围，仅放开7个算法套件，本版本，将新增放开4个算法套件。

实现时，仅修改ssl_ciphers的取值范围，新增支持4个算法套件[AES128-SHA256、AES256-SHA256、AES128-GCM-SHA256、AES256-GCM-SHA384]，4个算法套件将直接传递给libssl.so，内核不做任何处理。

因此，本需求无复杂设计。本文主要介绍完整的TLS协议工作原理。

1.2 实现方案

一、ECDHE与RSA的区别

此处简化ECDHE与RSA的步骤与算法，提取最核心的原理，方便快速理解。

一、ECDHE密钥协商协议
第三方工具、攻击者完全无法获取密钥。

client server
+-------------------------------------------+-----------------------------------
| <---- 0. 双方随机约定一些公开参数 ------> |
| 1. 生成随机私钥 client_priv
| 2. 基于client_priv，计算公钥 client_pub
| 3. 发送公钥 client_pub ------------>
 | 4. 接收公钥 client_pub
 | 5. 生成随机私钥 server_priv
 | 6. 基于server_priv，计算公钥 server_pub
 <------------ | 7. 发送公钥 server_pub
| 8. 接收公钥 server_pub
| 9. 基于client_priv，server_pub，计算密钥
 | 10. 基于server_priv，client_pub，计算密钥
（第9步和第10步，可以计算出相同的密钥）

简单举个例子
client server
+-------------------------------------------+-----------------------------------
| <----- 0. generate and send (2,11) ----> |
| 1. generate 8
| 2. caculate (8 * 2) % 11 = 5
| 3. send 5 ---------->
 | 4. receive 5
 | 5. generate 10
 | 6. caculate (10 * 2) % 11 = 9
 <------------ | 7. send 9
| 8. receive 9
| 9. key = (8 * 9) % 11 = 6
 | 10. key = (10 * 5) % 11 = 6

攻击者：截获网络流量，获取2,11,5,9，无法计算出密钥为6

二、RSA密钥交换协议

海量 10 需求 SSL协议

Wed, 03 Sep 2025 11:07:00 +0800

1 简介

1.1 目的

在应用与数据库传输数据时，为避免攻击者对数据进行窃听、篡改、伪造、重放等攻击，Vastbase支持采用TLS协议保障数据机密性与完整性。
通过TLS协议，应用传输数据指至服务端路程如下：

建立连接：与数据建立TCP连接
生成密钥(TLS)：采用TLS协议协商生成密钥(连接级)
加密数据(TLS)：使用密钥加密数据(SQL等)
发送数据：通过TCP协议，发送数据密文至数据库

客户可能采用第三方工具，截取网络流量，获取传输中的SQL等数据，进行流量审计。但是，在使用TLS协议的情况下，网络中的数据是密文形式，无法进行流量审计。为解决该问题，本文介绍如何让第三方工具获取密钥，以解密网络中的数据密文。

1.2 适用范围

本文适用于3.0.8 psu4以之后版本。未来本需求将同步至2.2.15版本。

1.3 术语定义、首字母缩写词和缩略语

SSL: Secure Sockets Layer，于保障网络通信安全的加密协议，早期协议，存在设计缺陷，目前由TLS协议替代。但是，SSL也可不特指SSL协议，可泛指所有通信安全加密协议。同时，由于历史原因，以及前向兼容，数据库中的很多参数与接口采用SSL命令，实际使用的是TLS协议。无需纠结TLS与SSL差异，vastbase中SSL等于TLS。
TLS: Transport Layer Security，更安全的传输加密协议。早期版本1.0,1.1已不安全，主流版本为1.2,1.3。

1.3 参考资料

原始需求：https://www.tapd.cn/tapd_fe/60475194/story/detail/1160475194001084569
openssl支持的所有cipers： https://docs.openssl.org/3.0/man1/openssl-ciphers/
ssl与tls原理：博客写了一点点，没整理

2 TLS协议支持第三方流量审计

2.1 功能简述

【需求现状】
目前，大部分第三方流量审计工具，可在一些特定场景下，解密由TLS协议加密后的数据。以vastbase为例，使用TLS协议分为以下阶段：

生成证书、私钥文件
vastbase端配置证书、私钥文件
vsql端配置证书、私钥文件
vsql连接vastbase
4.1 建立tcp连接
4.2 使用证书校验对方身份
4.3 双发协商选择算法套件：包括密钥生成协议、加密算法等
4.4 双方协商生成密钥
vsql与vastbase传输数据
5.1 发送数据前，使用密钥加密数据
5.2 发送数据密文
在4.3步骤中，可配置不同的密钥生成协议，对于其中一部分协议，在步骤4.4中，第三方工具可获取密钥，第步骤5.2中，第三方工具截取数据密文后，即可解密数据。
但是，4.3步骤中，目前vastbase仅支持2种密钥生成协议，这2种协议都无法让第三方工具获取密钥。

【密钥生成协议】
此处介绍2类常见的密钥生成协议：

一、DHE密钥协商协议
Vastbase目前支持的2种协议，都属于此类协议

client server
+-------------------------------------------+-----------------------------------
| <-------- 0. 双方随机约定一些参数 ------> |
| 1. 生成随机私钥 client_priv
| 2. 基于client_priv，计算公钥 client_pub
| 3. 发送公钥 client_pub ------------>
 | 4. 接收公钥 client_pub
 | 5. 生成随机私钥 server_priv
 | 6. 基于server_priv，计算公钥 server_pub
 <------------ | 7. 发送公钥 server_pub
| 8. 接收公钥 server_pub
| 9. 基于client_priv，server_pub，计算密钥
 | 10. 基于server_priv，client_pub，计算密钥
（第9步和第10步，可以计算出相同的密钥）

简单举个例子
client server
+-------------------------------------------+-----------------------------------
| <----- 0. generate and send (2,11) ----> |
| 1. generate 8
| 2. caculate (8 * 2) % 11 = 5
| 3. send 5 ---------->
 | 4. receive 5
 | 5. generate 10
 | 6. caculate (10 * 2) % 11 = 9
 <------------ | 7. send 9
| 8. receive 9
| 9. key = (8 * 9) % 11 = 6
 | 10. key = (10 * 5) % 11 = 6

攻击者：截获网络流量，获取2,11,5,9，无法计算出密钥为6

二、RSA密钥交换协议
该协议支持第三方工具解密流量，客户选择的工具已适配该协议。TLS还支持其他PSK、SRP等协议，但是，由于这些协议比较少见，且客户选择的工具未适配，本次不适配其他协议。