项目文档 on Kernel Notes

海量 1 用例 oracle加密函数

Tue, 25 Feb 2025 15:31:00 +0800

CREATE SCHEMA pgcrypto_2_text;
SET search_path TO pgcrypto_2_text;

/* ------------------------------------------------------------------------------------------------
 * part 0: create some utils functions
 * ------------------------------------------------------------------------------------------------
 */
CREATE FUNCTION strtoraw(string VARCHAR2) RETURN RAW IS
BEGIN
RETURN utl_raw.cast_to_raw(string);
END;
/

CREATE FUNCTION rawtostr(rawdata RAW) RETURN VARCHAR2 IS
BEGIN
RETURN utl_raw.cast_to_varchar2(rawdata);
END;
/

-- get data type name
CREATE OR REPLACE FUNCTION oidgettype(typeoid OID)
RETURNS TEXT AS $$
BEGIN
 RETURN (SELECT typname FROM pg_type WHERE oid = typeoid);
END;
$$ LANGUAGE plpgsql;

CREATE OR REPLACE FUNCTION oidgettype(typeoids OIDVECTOR)
RETURNS TEXT[] AS $$
DECLARE
 result TEXT[] := '{}';
 typoid OID;
 typename TEXT;
BEGIN
 FOREACH typoid IN ARRAY typeoids LOOP
 SELECT typname INTO typename
 FROM pg_type
 WHERE oid = typoid;
 result := array_append(result, COALESCE(typename, 'Unknown OID'));
 END LOOP;
 RETURN result;
END;
$$ LANGUAGE plpgsql;

-- find all functions from dbms_obfuscation_toolkit
CREATE VIEW allfuncs AS
SELECT proname name,pronargs args,oidgettype(prorettype) output,oidgettype(proargtypes) input
FROM pg_proc
WHERE pronamespace = (SELECT oid FROM pg_namespace WHERE nspname = 'dbms_obfuscation_toolkit') ORDER BY 1,3,2;

/* ------------------------------------------------------------------------------------------------
 * part 1: install pgcrypt with different versions
 * ------------------------------------------------------------------------------------------------
 */
-- available version
SELECT * FROM pg_available_extension_versions WHERE name = 'pgcrypto';

-- 2.0 (default version)
CREATE EXTENSION pgcrypto;
SELECT * FROM pg_extension WHERE extname = 'pgcrypto';
SELECT * FROM allfuncs;
DROP EXTENSION pgcrypto;

-- 1.2 (old version)
CREATE EXTENSION pgcrypto WITH VERSION '1.2';
SELECT * FROM pg_extension WHERE extname = 'pgcrypto';
SELECT * FROM allfuncs;
DROP EXTENSION pgcrypto;

-- 2.0 --> 1.2
CREATE EXTENSION pgcrypto;
SELECT * FROM pg_extension WHERE extname = 'pgcrypto';
ALTER EXTENSION pgcrypto UPDATE TO '1.2';
SELECT * FROM pg_extension WHERE extname = 'pgcrypto';
SELECT * FROM allfuncs;
DROP EXTENSION pgcrypto;

-- 1.2 --> 2.0
CREATE EXTENSION pgcrypto WITH VERSION '1.2';
SELECT * FROM pg_extension WHERE extname = 'pgcrypto';
ALTER EXTENSION pgcrypto UPDATE TO '2.0';
SELECT * FROM pg_extension WHERE extname = 'pgcrypto';
SELECT * FROM allfuncs;
DROP EXTENSION pgcrypto;

/* ------------------------------------------------------------------------------------------------
 * part 2: core functions
 * ------------------------------------------------------------------------------------------------
 */
CREATE EXTENSION pgcrypto;

-- 1 desencrypt
SELECT dbms_obfuscation_toolkit.desencrypt(strtoraw('11111111'), strtoraw('11111111')) FROM dual;
SELECT dbms_obfuscation_toolkit.desencrypt(strtoraw('1111111111111111'), strtoraw('11111111')) FROM dual;

-- 2 desdecrypt
SELECT rawtostr(dbms_obfuscation_toolkit.desdecrypt(hextoraw('655EA628CF62585F'), strtoraw('11111111'))) FROM dual;
SELECT rawtostr(dbms_obfuscation_toolkit.desdecrypt(hextoraw('655EA628CF62585F20D3B8A6E657876B'), strtoraw('11111111'))) FROM dual;

-- 3 des3encrypt
SELECT dbms_obfuscation_toolkit.des3encrypt(strtoraw('11111111'), strtoraw('1111111122222222'), 0, strtoraw('11111111')) FROM dual;
SELECT dbms_obfuscation_toolkit.des3encrypt(strtoraw('1111111111111111'), strtoraw('1111111122222222'), 0, strtoraw('11111111')) FROM dual;

-- 4 des3decrypt
SELECT rawtostr(dbms_obfuscation_toolkit.des3decrypt(hextoraw('0D28E17571051319'), strtoraw('1111111122222222'), 0, strtoraw('11111111'))) FROM dual;
SELECT rawtostr(dbms_obfuscation_toolkit.des3decrypt(hextoraw('0D28E17571051319ACCE2D19D9AED5C8'), strtoraw('1111111122222222'), 0, strtoraw('11111111'))) FROM dual;

-- 5 des3encrypt -- without iv
SELECT dbms_obfuscation_toolkit.des3encrypt(strtoraw('11111111'), strtoraw('1111111122222222')) FROM dual;
SELECT dbms_obfuscation_toolkit.des3encrypt(strtoraw('1111111111111111'), strtoraw('1111111122222222')) FROM dual;

-- 6 des3decrypt -- without iv
SELECT rawtostr(dbms_obfuscation_toolkit.des3decrypt(hextoraw('7934131269E334A2'), strtoraw('1111111122222222'))) FROM dual;
SELECT rawtostr(dbms_obfuscation_toolkit.des3decrypt(hextoraw('7934131269E334A2BCC64878CC5A075A'), strtoraw('1111111122222222'))) FROM dual;

/* ------------------------------------------------------------------------------------------------
 * part 3: different args
 * ------------------------------------------------------------------------------------------------
 */
-- 1 des
CREATE TABLE tplain (id INT, plain TEXT, key TEXT);
INSERT INTO tplain VALUES
 (1, '', ''),
 (2, NULL, NULL),
 -- different plain
 (11, NULL, '88888888'),
 (12, '', '88888888'),
 (13, '1', '88888888'),
 (14, '7777777', '88888888'),
 (15, '88888888', '88888888'),
 (16, '999999999', '88888888'),
 (17, '17171717171717171', '88888888'),
 (18, '242424242424242422424242','88888888'),
 -- different key
 (31, '88888888', NULL),
 (32, '88888888', ''),
 (33, '88888888', '1'),
 (34, '88888888', '7777777'),
 (37, '88888888', '88888888'),
 (38, '88888888', '999999999'),
 (37, '88888888', '17171717171717171'),
 (38, '88888888', '242424242424242422424242');

CREATE TABLE tcipher (id INT, key TEXT, cipher RAW);
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 1;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 2;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 11;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 12;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 13;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 14;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 15;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 16;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 17;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 18;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 31;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 32;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 33;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 34;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 35;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 36;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 37;
INSERT INTO tcipher SELECT id, key, dbms_obfuscation_toolkit.desencrypt(strtoraw(plain), strtoraw(key)) FROM tplain WHERE id = 38;
SELECT id,cipher,length(cipher) FROM tcipher ORDER BY id;

SELECT id,rawtostr(dbms_obfuscation_toolkit.desdecrypt(cipher, strtoraw(key))) FROM tcipher ORDER BY id;

DROP TABLE tplain,tcipher;

-- 2 3des
CREATE TABLE tplain (id INT, plain TEXT, keymod INT, key TEXT, iv TEXT);
INSERT INTO tplain VALUES
 (1, '', 0, '', ''),
 (2, NULL, 0, NULL, NULL),
 -- different plain
 (11, NULL, 0, '1616161616161616', '88888888'),
 (12, '', 0, '1616161616161616', '88888888'),
 (13, '1', 0, '1616161616161616', '88888888'),
 (14, '7777777', 0, '1616161616161616', '88888888'),
 (15, '88888888', 0, '1616161616161616', '88888888'),
 (16, '999999999', 0, '1616161616161616', '88888888'),
 (17, '17171717171717171', 0, '1616161616161616', '88888888'),
 (18, '242424242424242422424242',0, '1616161616161616', '88888888'),
 -- different keymod
 (31, '1616161616161616', NULL, '1616161616161616', '88888888'),
 (32, '1616161616161616', -1, '1616161616161616', '88888888'),
 (33, '1616161616161616', -1.1, '1616161616161616', '88888888'),
 (34, '1616161616161616', 1.1, '1616161616161616', '88888888'),
 (35, '1616161616161616', 2, '1616161616161616', '88888888'),
 (36, '1616161616161616', '0', '1616161616161616', '88888888'),
 (37, '1616161616161616', 1, '242424242424242422424242', '88888888'),
 -- different key
 (51, '1616161616161616', 0, NULL, '88888888'),
 (52, '1616161616161616', 0, '', '88888888'),
 (53, '1616161616161616', 0, '1', '88888888'),
 (54, '1616161616161616', 0, '7777777', '88888888'),
 (55, '1616161616161616', 0, '88888888', '88888888'),
 (56, '1616161616161616', 0, '999999999', '88888888'),
 (57, '1616161616161616', 0, '17171717171717171', '88888888'),
 (58, '1616161616161616', 0, '242424242424242422424242', '88888888'),
 (59, '1616161616161616', 0, '272727272727272727272727272', '88888888'),
 (61, '1616161616161616', 1, NULL, '88888888'),
 (62, '1616161616161616', 1, '', '88888888'),
 (63, '1616161616161616', 1, '1', '88888888'),
 (64, '1616161616161616', 1, '7777777', '88888888'),
 (65, '1616161616161616', 1, '88888888', '88888888'),
 (66, '1616161616161616', 1, '999999999', '88888888'),
 (67, '1616161616161616', 1, '17171717171717171', '88888888'),
 (68, '1616161616161616', 1, '242424242424242422424242', '88888888'),
 (69, '1616161616161616', 1, '272727272727272727272727272', '88888888'),
 -- different iv
 (81, '1616161616161616', 1, '242424242424242422424242', NULL),
 (82, '1616161616161616', 1, '242424242424242422424242', ''),
 (83, '1616161616161616', 1, '242424242424242422424242', '1'),
 (84, '1616161616161616', 1, '242424242424242422424242', '7777777'),
 (85, '1616161616161616', 1, '242424242424242422424242', '88888888'),
 (86, '1616161616161616', 1, '242424242424242422424242', '999999999'),
 (87, '1616161616161616', 1, '242424242424242422424242', '17171717171717171'),
 (88, '1616161616161616', 1, '242424242424242422424242', '242424242424242422424242'),
 (89, '1616161616161616', 1, '242424242424242422424242', '272727272727272727272727272');

CREATE TABLE tcipher (id INT, CIPHER RAW, keymod INT, key TEXT, iv TEXT);
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 1;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 2;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 11;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 12;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 13;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 14;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 15;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 16;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 17;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 18;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 31;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 32;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 33;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 34;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 35;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 36;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 37;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 51;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 52;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 53;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 54;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 55;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 56;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 57;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 58;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 59;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 61;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 62;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 63;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 64;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 65;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 66;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 67;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 68;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 69;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 81;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 82;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 83;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 84;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 85;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 86;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 87;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 88;
INSERT INTO tcipher SELECT id, dbms_obfuscation_toolkit.des3encrypt(strtoraw(plain), strtoraw(key), keymod, strtoraw(iv)), keymod, key, iv FROM tplain WHERE id = 89;
SELECT * FROM tcipher;

SELECT id, rawtostr(dbms_obfuscation_toolkit.des3decrypt(cipher, strtoraw(key), keymod, strtoraw(iv))) FROM tcipher ORDER BY id;

DROP TABLE tplain, tcipher;

/* ------------------------------------------------------------------------------------------------
 * part 4: other functions
 * ------------------------------------------------------------------------------------------------
 */
SELECT length(dbms_obfuscation_toolkit.desgetkey(strtoraw('11111111112222222222333333333344444444445555555555666666666677777777778888888888'))) FROM dual;
SELECT length(dbms_obfuscation_toolkit.des3getkey(0, strtoraw('11111111112222222222333333333344444444445555555555666666666677777777778888888888'))) FROM dual;
SELECT length(dbms_obfuscation_toolkit.des3getkey(1, strtoraw('11111111112222222222333333333344444444445555555555666666666677777777778888888888'))) FROM dual;
SELECT dbms_obfuscation_toolkit.md5(strtoraw('1111111111111111')) FROM dual;

CREATE TABLE deskey(id INT, key RAW);
CREATE TABLE des3key0 (id INT, key RAW);
CREATE TABLE des3key1 (id INT, key RAW);

INSERT INTO deskey SELECT generate_series(1, 1000),
 dbms_obfuscation_toolkit.desgetkey(strtoraw('11111111112222222222333333333344444444445555555555666666666677777777778888888888'));
INSERT INTO des3key0 SELECT generate_series(1, 1000),
 dbms_obfuscation_toolkit.des3getkey(0, strtoraw('11111111112222222222333333333344444444445555555555666666666677777777778888888888'));
INSERT INTO des3key1 SELECT generate_series(1, 1000),
 dbms_obfuscation_toolkit.des3getkey(1, strtoraw('11111111112222222222333333333344444444445555555555666666666677777777778888888888'));

CREATE TABLE allcnt (cnt INT);
INSERT INTO allcnt SELECT count(*) FROM deskey GROUP BY key;
INSERT INTO allcnt SELECT count(*) FROM des3key0 GROUP BY key;
INSERT INTO allcnt SELECT count(*) FROM des3key1 GROUP BY key;
SELECT cnt,count(*) FROM allcnt GROUP BY cnt;

-- test (need to spend too much time)

-- CREATE TABLE moretime(id INT, key RAW);
-- INSERT INTO moretime SELECT generate_series(1, 100000),
-- dbms_obfuscation_toolkit.desgetkey(strtoraw('11111111112222222222333333333344444444445555555555666666666677777777778888888888'));
-- -- 预期 key列重复的字符不多
-- SELECT * FROM moretime ORDER BY key ASC LIMIT 10;
-- SELECT * FROM moretime ORDER BY key DESC LIMIT 10;
-- DROP TABLE moretime;

DROP TABLE deskey, des3key0, des3key1, allcnt;

DROP EXTENSION pgcrypto;
RESET search_path;
DROP SCHEMA pgcrypto_2_text CASCADE;

海量 1 设计 oracle加密函数

Tue, 25 Feb 2025 09:49:00 +0800

1

设置默认版本

contrib/pgcrypto/pgcrypto.control

defaultl_version = '2.0'
dbcompatibilities = 'A, B, PG'

生成同名的sql文件

touch contrib/pgcrypto/pgcrypto-2.0.sql

安装sql文件

# pgcrypto.control与pgcrypt.*.sql文件
ll $GAUSSHOME/share/postgresql/extension | grep pgcrypto

加载插件

# 执行：CREATE EXTENSION pgcrypto
 ..
 CreateExtension
 check_valild_extension_name # 检查插件名：要求不含 '-'、不含'..'等路径字符
 get_extension_oid
 heap_open('pg_extension')
 systable_beginscan # 遍历系统表 pg_extension：确保插件存在
 read_extension_control_file
 parse_extension_control_file
 get_extension_control_filename
 sprintf("{share}/extension/{extension_name}.control")
 ParreConfigFp
 # 获取 directory, default_version, module_pathname, dbcompatibilities 等参数
 get_extension_script_filename
 get_extension_script_direcotry
 if name is 'pgcrypto':
 sprintf("{script_dir}/crypto-a.sql")
 read_extension_script_file
 InsertExtensionTuple # 插入系统表 pg_extension
 execute_extension_script
 ApplyExtensionUpdates

海量 1 需求 oracle加密函数

Wed, 19 Feb 2025 16:20:00 +0800

1 简介

1.1 目的

早期版本的oracle提供一个包含多个加密函数的包，用户可通过SQL语法调用加密函数，实现数据加密功能。本文主要介绍以下几点：

oracle加密包的功能与使用方法
vastbase实现oracle加密包
vastbase加密包的功能与使用方法

本文档可指导开发者、测试者熟悉vastbase加密包特性的功能场景。

本文档的内容已被上传至tapd，tapd上，排版更好看，测试用例更方便复制。建议直接从tapd上查看本文档原文： https://www.tapd.cn/60475194/markdown_wikis/show/#1160475194001007194

1.2 适用范围

vastbase 3.0.8及之后版本。

1.3 术语定义、首字母缩写词和缩略语

DES：Data Encryption Standard，数据加密标准，一种早期通用的加密算法
3DES：Triple DES，基于DES演进的一种早期通用的加密算法
MD5：Message-Digest Algorithm，一种早期通用的数据摘要算法

1.3 参考资料

oracle dbms_obfuscation_toolkit 函数介绍：https://docs.oracle.com/cd/A97630_01/appdev.920/a96590/adgsec04.htm
oracle dbms_obfuscation_toolkit 函数参数：https://docs.oracle.com/cd/B10500_01/appdev.920/a96612/d_obtoo2.htm
tapd上，本需求文档： https://www.tapd.cn/60475194/markdown_wikis/show/#1160475194001007194
tapd上，本需求的测试用例： https://www.tapd.cn/60475194/markdown_wikis/show/#1160475194001007197

2 支持oracle加密插件dbms_obfuscation_toolkit

2.1 功能简述

早期版本oracle提供7个内置加密函数。早在4年或更早之前的旧版本vastbase中，也提供7个与oracle一致的加密函数，这7个函数，函数名、函数入参与oracle一致，但是，6个函数输出、15个函数参数约束与oracle不一致，本特性将重构这些加密函数，确保函数的输出、约束等与oracle一致。

一、基础知识

加密的原理
加密算法有很多种，不同场景中，适合的加密算法类型不同。对存储数据加密，通常采用对称密码算法，此处主要介绍对称密码算法：
- 加密原理：输入1个明文，输入1个密钥，对明文和密钥进行一些可逆的运算（比如异或，代换），可得到1个密文。密钥通常是随机生成的
- 加密算法：DES算法，发布于1977年，已确定为不安全加密算法。3DES算法，调用3次DES算法，生成3个密钥，安全性与DES差别不大，也属于不安全的加密算法。AES算法，发布于2001年，通用的国际标准，替代不安全的DES算法

数据库加密函数
几乎所有数据库，都提供内置加密函数，让用户通过SQL语句调用。最典型的场景如下：

-- 假设，数据库提供函数encrypt(明文，密钥，加密算法)，输出为密文
-- 用户想表't1'中存储数据'shenkun'，则存储的语法如下：（用户自己保管密钥）
INSERT INTO t1 VALUES (encrypt('shenkun', '一串随机的密钥', 'aes'));

二、Oracle加密包

早期版本的oracle中，包含1个名为dbms_obfuscation_toolkit的包，提供7个函数，主要实现加密、解密等功能：

版本信息：oracle 8i版本开始提供，oracle 10g版本开始不被推荐使用，由dbms_crypto代替，oracle 21c版本正式移除
函数列表：
- 生成随机数：desgetkey(seed) -> key
- 加密：desencrypt(input, key) -> encrypted_data
- 解密：descdecrypt(input, key) -> decrypted_data
- 生成随机数：des3getkey(which=>0, seed) -> key
- 加密：des3encrypt(input, key, which=>0, iv=>012345678abcdef) -> encrypted_data
- 解密：des3decrypt(input, key, which=>0, iv=>012345678abcdef) -> decrypted_data
- 哈希：md5(input) -> checksum
函数参数：函数参数有2种数据类型：varchar2, raw。与raw类型相比，如果是varchar2类型，参数名需加上_string后缀。比如，raw类型的入参名为input，则varcha2类型入参名为input_string
函数限制：
- desgetkey：seed长度最短为80字节
- desencrypt：input长度是8字节的整数倍；key最短为8字节，超过8字节的部分被丢弃
- descdecrypt：input长度是8字节的整数倍；key最短为8字节，超过8字节的部分被丢弃
- des3getkey: seed长度最短为80字节
- des3encrypt：input长度是8字节的整数倍；which为0时，key最短为16字节，超过16字节的部分被丢弃；which为1时，key最短为24字节，超过24字节的部分被丢弃
- des3dencrypt：input长度是8字节的整数倍；which为0时，key最短为16字节，超过16字节的部分被丢弃；which为1时，key最短为24字节，超过24字节的部分被丢弃
- md5：无
参考文档
- 函数介绍：函数背景、注意事项等：https://docs.oracle.com/cd/A97630_01/appdev.920/a96590/adgsec04.htm
- 函数参数：参数类型、调用示例等：https://docs.oracle.com/cd/B10500_01/appdev.920/a96612/d_obtoo2.htm

以下是上述函数的调用示例：

海量 2 博客 profile

Thu, 22 May 2025 10:00:00 +0800

摘要：本文主要分为3个章节：

介绍Vastbase基于密码的身份认证机制，介绍密码相关配置参数，指出当前控制参数的局限性，提出PROFILE功能支持细粒度设置密码相关配置参数。

介绍Vastbase的PROFILE功能如何使用，包括管理PROFILE功能、管理PROFILE参数、管理用户PROFILE

介绍Vastbase身份认证流程与原理，介绍PROFILE功能的实现原理

1 PROFILE 功能背景
2 PROFILE 功能使用
3 PROFILE 功能原理
1. 3.1 身份认证元数据
2. 3.2 身份认证流程

1 PROFILE 功能背景

1.1 身份认证机制

Vastbase身份认证模块，主要采用基于密码的认证机制，常用的密码操作包括：

创建密码
创建新用户时，需指定密码。语法示例如下：
```
CREATE USER u1 PASSWORD 'u1.password';
```
Vastbase接收密码后，计算密码的哈希值，并将密码哈希值、密码创建时间等存储至系统表中。
使用密码
用户连接Vastbase时，需提供密码，使用vsql连接的命令如下：
```
vsql -h {host} -p {port} -U u1 -W 'u1.password' -d vastbase -r
```
Vastbase会与vsql进行身份认证交互，基于存储的密码哈希值，校验密码是否正确。同时，Vastbase还会进行其他检查，比如：密码是否过期、密码错误次数是否过多等。
修改密码
用户修改密码时，语法示例如下：

海量 2 用例 profile

Fri, 14 Mar 2025 16:14:00 +0800

1 CREATE/ALTER/DROP PROFILE
2 CREATE/ALTER USER .. PROFILE
3 验证profile生效
3 view

CREATE PROFILE pro1 limit password_reuse_time 0.00002 password_reuse_max 10; -- 1.72s
CREATE USER u1 PASSWORD 'u1.pass1' PROFILE pro1;
ALTER USER u1 PASSWORD 'u1.pass2';
ALTER USER u1 PASSWORD 'u1.pass1'; -- error, interval < password_reuse_time
\! sleep 2
ALTER USER u1 PASSWORD 'u1.pass1'; -- succeed, interval > password_reuse_time

ALTER PROFILE pro1 LIMIT password_reuse_time 0.00005; -- 4.32s
ALTER USER u1 PASSWORD 'u1.pass3';
ALTER USER u1 PASSWORD 'u1.pass4';
ALTER USER u1 PASSWORD 'u1.pass3'; -- error, interval < password_reuse_time
\! sleep 5
ALTER USER u1 PASSWORD 'u1.pass3'; -- succeed, interval > password_reuse_time

1 CREATE/ALTER/DROP PROFILE

-- check profile feature
SHOW resource_limit;

-- ================================ part 1 ================================
-- create profile
CREATE PROFILE pro1;
-- succeed: can set setting
CREATE PROFILE pro2 LIMIT failed_login_attempts 10;
-- succeed: can set more settings
CREATE PROFILE pro3 LIMIT
 failed_login_attempts 10 password_lock_time 20
 password_life_time 30 password_grace_time 40
 password_reuse_time 50 password_reuse_max 60
 idle_time 80;
-- succeed: repeated settings are allowed
CREATE PROFILE pro4 LIMIT password_life_time 10 password_life_time 20.2;
-- succeed: setting value could be 'unlimited'
CREATE PROFILE pro5 LIMIT failed_login_attempts unlimited password_lock_time 10 password_life_time unlimited;

-- succeed: name max len is 64, name will be truncated
CREATE PROFILE aaaaa111111111122222222223333333333444444444455555555556666666666; -- too long, max 64, wi
-- truncated name: aaaaa1111111111222222222233333333334444444444555555555566666666

SELECT profile,count(*) FROM vb_profiles GROUP BY profile ORDER BY profile;
SELECT * FROM vb_profiles WHERE profile = 'pro5' ORDER BY setname;

-- error: profile name is invalid
CREATE PROFILE 1; -- int
CREATE PROFILE 1.1; -- numeric

-- error: profile already exists
CREATE PROFILE default LIMIT failed_login_attempts 10;
CREATE PROFILE pro1 LIMIT failed_login_attempts 10;

/*
error: setting is invalid, supported settings:
 unit type min max
 ------------------------+---------+----------+---------+------------+----
 failed_login_attempts | times | int | 1 | 2147483646 | 10
 password_lock_time | days | double | 0.00001 | 24855 | 1
 password_life_time | days | double | 0.00001 | 24855 | 180
 password_grace_time | days | double | 0.00001 | 24855 | 7
 password_reuse_time | days | double | 0.00001 | 24855 | 1
 password_reuse_max | times | int | 1 | 2147483646 | 1
 idle_time | minutes | double | 0.00001 | 2147483646 | 10
*/
CREATE PROFILE epro2 LIMIT data_directory anyvalue;
CREATE PROFILE epro3 LIMIT password_effect_time 10;
CREATE PROFILE epro4 LIMIT 10 failed_login_attempts;

-- error: setting lose value
CREATE PROFILE epro5 LIMIT failed_login_attempts;
CREATE PROFILE epro6 LIMIT failed_login_attempts 10 password_lock_time;

-- error: setting value type is invalud
CREATE PROFILE epro7 LIMIT failed_login_attempts 'iamstring';
CREATE PROFILE epro8 LIMIT failed_login_attempts 1.1;
CREATE PROFILE epro9 LIMIT failed_login_attempts noint;
CREATE PROFILE epro10 LIMIT failed_login_attempts default;

-- error: setting value is out of limit
CREATE PROFILE epro11 LIMIT failed_login_attempts 0;
CREATE PROFILE epro12 LIMIT failed_login_attempts 1 password_lock_time 0;
CREATE PROFILE epro13 LIMIT password_lock_time 24856;
CREATE PROFILE epro14 LIMIT password_lock_time 0.000001;

SELECT profile,count(*) FROM vb_profiles GROUP BY profile ORDER BY profile;

DROP PROFILE pro1, pro2, pro3, pro4, pro5;
DROP PROFILE aaaaa111111111122222222223333333333444444444455555555556666666666;

-- ================================ part 2 ================================
-- alter profile
CREATE PROFILE pro1;
CREATE PROFILE pro2 LIMIT failed_login_attempts 100;
CREATE PROFILE pro3 LIMIT password_lock_time 20;

-- succeed: can set setting
ALTER PROFILE pro1 LIMIT failed_login_attempts 1000;
-- succeed: can set more settings
ALTER PROFILE pro2 LIMIT
 failed_login_attempts 10 password_lock_time 20
 password_life_time 30 password_grace_time 40
 password_reuse_time 50 password_reuse_max 60
 idle_time 80;
-- succeed: setting value could be 'unlimited'
ALTER PROFILE pro3 LIMIT failed_login_attempts unlimited password_lock_time 10 password_life_time unlimited;
-- succeed: can alter default profile
ALTER PROFILE default LIMIT failed_login_attempts 80 password_reuse_time 70.3;
SELECT * FROM vb_profiles ORDER BY profile,setname;

-- error: profile name is invalid
ALTER PROFILE 1 LIMIT failed_login_attempts 10; -- int
ALTER PROFILE 1.1 LIMIT failed_login_attempts 10; -- numeric
ALTER PROFILE aaaaa111111111122222222223333333333444444444455555555556666666666 LIMIT failed_login_attempts 10; -- too long, max 64

-- error: repeated settings are not allowed
ALTER PROFILE pro3 LIMIT password_reuse_time 10 password_reuse_time 20.2;

-- error: profile doesn't exist
ALTER PROFILE epro1 LIMIT failed_login_attempts 10;
ALTER PROFILE epro2 LIMIT failed_login_attempts 10;

/*
error: setting is invalid
*/
ALTER PROFILE pro1 LIMIT data_directory anyvalue;
ALTER PROFILE pro1 LIMIT password_effect_time 10;
ALTER PROFILE pro1 LIMIT 10 failed_login_attempts;

-- error: setting lose value
ALTER PROFILE pro1 LIMIT failed_login_attempts;
ALTER PROFILE pro1 LIMIT failed_login_attempts 10 password_lock_time;

-- error: setting value type is invalud
ALTER PROFILE pro1 LIMIT failed_login_attempts 'iamstring';
ALTER PROFILE pro1 LIMIT failed_login_attempts 1.1;
ALTER PROFILE pro1 LIMIT failed_login_attempts noint;
ALTER PROFILE pro1 LIMIT failed_login_attempts default;

-- error: setting value is out of limit
ALTER PROFILE pro1 LIMIT failed_login_attempts 0;
ALTER PROFILE pro1 LIMIT failed_login_attempts 1 password_lock_time 0;
ALTER PROFILE pro1 LIMIT password_lock_time 24856;
ALTER PROFILE pro1 LIMIT password_lock_time 0.000001;

DROP PROFILE pro1, pro2, pro3;

-- ================================ part 3 ================================
-- drop profile
CREATE PROFILE pro1;
CREATE PROFILE pro2 LIMIT failed_login_attempts 100;
CREATE PROFILE pro3 LIMIT password_lock_time 20;
CREATE PROFILE pro4;
CREATE PROFILE pro5;

-- succeed: drop profile
DROP PROFILE pro1;
DROP PROFILE IF EXISTS pro1;
DROP PROFILE IF EXISTS pro1, pro2, pro3;

SELECT profile,count(*) FROM vb_profiles GROUP BY profile;

-- error: profile doesn't exist
DROP PROFILE pro0;
DROP PROFILE pro1, pro4, pro5;

-- error: default profile can't be dropped
DROP PROFILE default;
DROP PROFILE pro4, default;

DROP PROFILE IF EXISTS pro4, pro5;

2 CREATE/ALTER USER .. PROFILE

-- ================================ part 4 ================================
-- set profile for user
SELECT * FROM vb_user_profiles;

CREATE PROFILE pro1;
CREATE PROFILE pro2;

-- succeed: set profile for user
CREATE USER u1 PASSWORD 'u1.pass1' PROFILE pro1;
CREATE USER u2 PASSWORD 'u2.pass1' PROFILE pro1;
CREATE USER u3 PASSWORD 'u3.pass1' PROFILE default;
CREATE USER u4 PASSWORD 'u4.pass1';

-- error: profile doesn't exist
CREATE USER eu1 PASSWORD 'u4.pass1' PROFILE pro1000;

-- error: profile name invalid
CREATE USER eu2 PASSWORD 'u4.pass1' PROFILE 1;
CREATE USER eu3 PASSWORD 'u4.pass1' PROFILE;

SELECT * FROM vb_user_profiles;

DROP USER IF EXISTS u1, u2, u3, u4;
-- catalog also changed
SELECT * FROM vb_user_profiles;

DROP PROFILE IF EXISTS pro1, pro2;

-- ================================ part 5 ================================
-- alter user profile
CREATE PROFILE pro1;
CREATE PROFILE pro2;
CREATE USER u1 PASSWORD 'u1.pass1';
CREATE USER u2 PASSWORD 'u2.pass1' PROFILE pro2;
CREATE USER u3 PASSWORD 'u3.pass1' PROFILE default;

-- succeed: alter user set profile
ALTER USER u1 PROFILE pro1;
ALTER USER u2 PROFILE default;
ALTER USER u3 PROFILE pro1;

-- error: profile doesn't exist
ALTER USER u1 PROFILE pro1000;

-- error: profile name invalid
ALTER USER u1 PROFILE 1;
ALTER USER u1 PROFILE;

SELECT * FROM vb_user_profiles ORDER BY roloid;

DROP USER IF EXISTS u1, u2, u3;
DROP PROFILE IF EXISTS pro1, pro2;

-- ================================ part 6 ================================
-- drop user and profile
CREATE PROFILE pro1;
CREATE PROFILE pro2;
CREATE PROFILE pro3;
CREATE USER u1 PASSWORD 'u1.pass1' PROFILE pro1;
CREATE USER u2 PASSWORD 'u2.pass1' PROFILE pro2;

-- succeed: drop user
SELECT * FROM vb_user_profiles WHERE rolname = 'u1';
DROP USER u1;
SELECT * FROM vb_user_profiles WHERE rolname = 'u1';

-- error: can't drop profile if any user are using it
DROP PROFILE pro2;

-- error: default profile can't be dropped
DROP PROFILE default;
DROP PROFILE pro3, default;
DROP PROFILE default, pro3;

SELECT * FROM vb_user_profiles ORDER BY roloid;

DROP USER IF EXISTS u1, u2;
DROP PROFILE IF EXISTS pro1, pro2, pro3;

3 验证profile生效

验证 failed_login_attempts 与 password_lock_time

CREATE PROFILE pro1 LIMIT
 failed_login_attempts 3
 password_lock_time 0.0001;
CREATE USER u1 PASSWORD 'u1.pass1' PROFILE pro1; -- 运行登录失败3次，失败后锁定8秒
CREATE USER u2 PASSWORD 'u2.pass1'; -- 允许登录失败无数次

vsql -p 5432 -d postgres -U u1 -W "u1.error1" -c "SELECT 1;"
vsql -p 5432 -d postgres -U u1 -W "u1.error1" -c "SELECT 1;"
vsql -p 5432 -d postgres -U u1 -W "u1.error1" -c "SELECT 1;"
vsql -p 5432 -d postgres -U u1 -W "u1.pass1" -c "SELECT 1;"
-- sleep 8s
vsql -p 5432 -d postgres -U u1 -W "u1.pass1" -c "SELECT 1;"

-- u2
vsql -p 5432 -d postgres -U u2 -W "u2.error1" -c "SELECT 1;"
vsql -p 5432 -d postgres -U u2 -W "u2.error1" -c "SELECT 1;"
vsql -p 5432 -d postgres -U u2 -W "u2.error1" -c "SELECT 1;"
vsql -p 5432 -d postgres -U u2 -W "u2.pass1" -c "SELECT 1;"
-- sleep 8s
vsql -p 5432 -d postgres -U u2 -W "u2.pass1" -c "SELECT 1;"

vsql -p 5432 -d postgres -c "DROP USER u1,u2"

验证 password_life_time 与 password_grace_time

CREATE PROFILE pro2 LIMIT
 password_life_time 0.0001 -- 8s
 password_grace_time 0.0001;

CREATE USER u1 PASSWORD 'u1.pass1' PROFILE pro2; -- 密码有效期为8s，密码宽容期也为8s
CREATE USER u2 PASSWORD 'u2.pass1'; -- 密码有效期无限制
\q

vsql -p 5432 -d postgres -U u1 -W "u1.pass1" -c "SELECT 1;"
-- sleep 8s
vsql -p 5432 -d postgres -U u1 -W "u1.pass1" -c "SELECT 1;"
-- sleep 8s
vsql -p 5432 -d postgres -U u1 -W "u1.pass1" -c "SELECT 1;"

vsql -p 5432 -d postgres -U u2 -W "u2.pass1" -c "SELECT 1;"
-- sleep 8s
vsql -p 5432 -d postgres -U u2 -W "u2.pass1" -c "SELECT 1;"
-- sleep 8s
vsql -p 5432 -d postgres -U u2 -W "u2.pass1" -c "SELECT 1;"

验证 password_reuse_time 和 password_reuse_max

CREATE PROFILE pro3 LIMIT
 password_reuse_time 0.0001 -- 不能用过去8秒使用过的密码
 password_reuse_max 100; -- 不能用过去100次使用过的

DROP USER IF EXISTS u1,u2;
CREATE USER u1 PASSWORD 'u1.pass1' PROFILE pro3;
ALTER USER u1 PASSWORD 'u1.pass2';

ALTER USER u1 PASSWORD 'u1.pass1';
SELECT pg_sleep(3);
ALTER USER u1 PASSWORD 'u1.pass1';
SELECT pg_sleep(3);
ALTER USER u1 PASSWORD 'u1.pass1';
SELECT pg_sleep(3);
ALTER USER u1 PASSWORD 'u1.pass1';

CREATE USER u2 PASSWORD 'u2.pass1';
ALTER USER u2 PASSWORD 'u2.pass2';
ALTER USER u2 PASSWORD 'u2.pass1';
ALTER USER u2 PASSWORD 'u2.pass2';
ALTER USER u2 PASSWORD 'u2.pass1';

-- -----------------------------

CREATE PROFILE pro4 LIMIT
 password_reuse_max 2 -- 不能用过去2次使用过的
 password_reuse_time 20;

DROP USER IF EXISTS u1,u2;

CREATE USER u1 PASSWORD 'u1.pass1' PROFILE pro4;
ALTER USER u1 PASSWORD 'u1.pass2';
ALTER USER u1 PASSWORD 'u1.pass3';
ALTER USER u1 PASSWORD 'u1.pass4';

ALTER USER u1 PASSWORD 'u1.pass3'; -- error
ALTER USER u1 PASSWORD 'u1.pass2'; -- ok

验证 idle_time

CREATE PROFILE pro5 LIMIT
 idle_time 0.1; -- 6s

DROP USER IF EXISTS u1,u2;

CREATE USER u1 PASSWORD 'u1.pass1' PROFILE pro5;
CREATE USER u2 PASSWORD 'u2.pass1';
\q

vsql -p 5432 -d postgres -U u1 -W "u1.pass1" -r
SELECT 1;
-- 不用pg_sleep
\! sleep 7
SELECT 1;
\q

vsql -p 5432 -d postgres -U u2 -W "u2.pass1" -r
SELECT 1;
-- 不用pg_sleep
\! sleep 7
SELECT 1;

3 view

CREATE OR REPLACE VIEW SYS.DBA_PROFILES AS
 SELECT
 profile "PROFILE",
 setname "RESOURCE_NAME",
 setkind "RESOURCE_TYPE",
 setval "LIMIT"
 FROM vb_profiles;

升级
审计
oid

knl_u_misc_init
 AuthenticatedUserId = InvalidOid
ResetStreamStatus
 AuthenticatedUserId = InvalidOid
InitializeSessionUserId
 AuthenticatedUserId = SearchSysCache(rolname / useroid)
InitializeSessionUserIdStandalone
 AuthenticatedUserId = BOOTSTRAP_SUPERUSERID

SessionUserId
CurrentUserId

create_session_context
 # get_setting_from_guc_or_profile
 enable_session_sig_alarm
 # get_setting_from_guc_or_profile
ReadCommand
 # get_setting_from_guc_or_profile
 enable_session_sig_alarm
 # get_setting_from_guc_or_profile

disable_session_sig_alarm
TpoolSchedulerMain
 CheckSessionTimeout
 # get_setting_from_guc_or_profile
handle_sig_alarm
 CheckSessionTimeout
 # get_setting_from_guc_or_profile
WaitMission
 # get_setting_from_guc_or_profile
 enable_session_sig_alarm

海量 2 设计 profile

Thu, 06 Mar 2025 11:32:00 +0800

1 Oracle兼容性-支持profile功能

1.1 功能简述

本特性实现与oracle profile相同的功能，支持为不同用户设置7个不同的配置参数：

failed_login_attempts
password_lock_time
password_life_time
password_grace_time
password_reuse_time
password_reuse_max
idle_time

简单使用示例如下：

CREATE PROFILE pro1 LIMIT failed_login_attempts 10;
CREATE USER u1 PASSWORD 'u1.pass1';
ALTER USER u1 PROFILE u1;

1.2 实现方案

一、元数据

本特性的关键实现为：对用户提供DDL接口，在内核中存储配置数据。因此，在介绍代码流程前，先介绍接口与元数据。

新增GUC参数resource_limit (与oracle参数名一致)
控制是否启用oracle profile功能。
如果该参数为on，以下5个guc参数则不再生效：[failed_login_attempts, password_lock_time, password_effect_time, password_reuse_time, password_reuse_max]。另外，对于已经过身份认证的连接，session_timeout也不再生效，相关功能均由profile中的用户级参数控制。
对于新安装的集群、旧版本升级的集群，该参数的值存在差异：
- 新安装：新安装的数据库，即3.0.8版本及之后，该guc参数值默认为on（初始值为off，由initdb自动设置为on）
- 升级：从3.0.8之前版本，升级到3.0.8版本时，在升级的过程中，该参数的值仍然是off，即升级上来默认不可用profile功能
```
SELECT * FROM pg_settings WHERE name = 'resource_limit';

 -[ RECORD 1 ]-------------------------------------------
 name | resource_limit
 setting | on -- 默认为on （由initdb设置为on，从旧版本升级到新版本时，升级脚本会将该参数设置为off）
 unit |
 category | Ungrouped
 short_desc | Used to enable profile feature
 extra_desc | default on
 context | postmaster -- 需重启生效
 vartype | bool
 source | default
 min_val |
 max_val |
 enumvals |
 boot_val | off
 reset_val | off
 sourcefile |
 sourceline |
```
修改6个GUC参数的生效条件
当GUC参数resource_limit取值为on时，以下6个GUC参数不再生效：[failed_login_attempts, password_lock_time, password_effect_time, password_reuse_time, password_reuse_max, session_timeout]

海量 2 设计 oracle profile

Thu, 20 Feb 2025 19:24:00 +0800

2

代码
新增试图

SELECT * FROM pg_user_settings;
-- 新增视图 pg_user_settings

SELECT rolname,profile FROM pg_authid WHERE rolcanlogin = true
 LEFT JOIN vb_profile ON

rolname | setname | setting | settype | settype | setsource
--------+-----------------------+----------+---------+-------------+----------------
 u1 | password_effect_time | 90 | int | profile guc | pro1
 | cluster guc | postgresql.conf

参数1: failed_login_attempts

# opegauss使用1个内存中的hash表，存储密码失败次数
ClientAuthentication
 # 进行身份认证时，如果认证失败，则更新hash表中的失败次数值
 UpdateFailCountToHashTable
 InitAccountLockHashTable
 hash_search
 # 如果失败次数超过GUC限制，则锁定账户
 if failed_login_attempts：
 lockflag = True

参数2: password_lock_time

参数3: password_effect_time

# 通过内置函数，主动查看密码剩余天数
gs_password_deadline
 GetCurrentUserId # 1 获取当前用户
 GetUserCurrentPwdtime # 2 从系统表pg_auth_history中，获取密码创建时间passwordtime
 heap_open('pg_auth_history')
 systable_beginscan
 floor(u_sess->attr.attr_security.Password_effect_time) # 3 从guc参数password_effect_time中获取密码有效天数
 # 计算步骤2和3中的时间，返回剩余过期天数

参数4: password_reuse_max

AddAuthHistory
 systable_beginscan('pg_auth_history') # 1 从系统表pg_auth_history中，获取曾用过的密码rolpassword，获取生成密码的时间passwordtime
 systable_getnext_back # 倒着从系统表扫描，即先扫描不太古老的旧密码，再扫描更古老的旧密码

 pg_sha256_encrypt # 使用旧密码的salt，加密新密码
 if strncmp : # 比较新密码是否与旧密码相等
 hasSame = True

 # 如果新旧密码相等，计算新旧密码间隔天数，与GUC参数password_reuse_time比较，判断是否满足密码重用时间限制
 if now - pg_auth_history.passwordtime > 'password_reuse_time'：
 isTimeSafe = True

 # 计算这是倒数第几个密码
 changeTimes++
 if changeTimes > 'password_reuse_max':
 isMaxSafe

 # 满足 password_reuse_time 和 password_reuse_max 中任意一个条件，都可以修改密码
 # - 要么用好几次之前的密码（满足 password_reuse_max 条件）
 # - 要么用很旧之间使用的密码（满足 password_reuse_time 条件）
 if hasSame and not isTimeSafe and not isMaxSafe:
 # 报错

参数5: password_reuse_time

海量 2 需求 profile

Wed, 19 Feb 2025 17:43:00 +0800

1 简介

1.1 目的

vastbase与oracle都支持设置运行参数：

vastbase：支持设置集群级guc参数，例如，guc参数failed_login_attempts用于设置’用户密码错误多少次后锁定账户’，该参数对集群中所有用户（非初始用户）都有效。
oracle：也支持failed_login_attempts参数，但是oracle支持为不同用户设置不同的failed_login_attempts值。我们且将此类参数称为用户级参数。

与oracle相比，vastbase的guc参数功能存在2个差异：

作用范围：oracle支持设置用户级参数，vastbase大部分参数都是集群级guc参数
参数个数：23版本的oracle支持18个用户级参数，其中6个可在vastbase找到对应的guc参数
参数取值：vastbase中，6个guc参数的取值范围与oracle profile不同

本文主要介绍以下几点：

oracle用户级参数的个数、设置方法
vastbase中对应集群级guc参数的个数、设置方法
vastbase新需求：尽量实现与oracle一致的用户级guc参数

本文档可指导开发者、测试者熟悉vastbase用户级guc配置参数特性

本文档的内容已被上传至tapd，tapd上，排版更好看，测试用例更方便复制。建议直接从tapd上查看本文档原文: https://www.tapd.cn/60475194/markdown_wikis/show/#1160475194001007196

1.2 适用范围

vastbase 3.0.8及之后版本，vastbase用户级参数profile特性接口设计、使用指导等。

1.3 术语定义、首字母缩写词和缩略语

GUC：Grand Unifed Configuralion，postgresql和vastbase的配置参数

1.3 参考资料

原始需求： https://www.tapd.cn/60475194/prong/stories/view/1160475194001074627
tapd上本需求文档链接： https://www.tapd.cn/60475194/markdown_wikis/show/#1160475194001007196
tapd上6个与密码相关的guc参数的使用参考： https://www.tapd.cn/60475194/markdown_wikis/show/#1160475194001007200
oracle 23 profile语法以及相关参数： https://docs.oracle.com/en/database/oracle/oracle-database/23/sqlrf/CREATE-PROFILE.html
mysql 8.0 create user语法以及相关参数： https://mysql.net.cn/doc/refman/8.0/en/create-user.html
mysql 配置参数列表：https://mysql.net.cn/doc/refman/8.0/en/server-system-variable-reference.html
vastbase g100 create user语法以及相关参数： https://docs.vastdata.com.cn/zh_CN/VastbaseG100/V3.0.8/1/6a4766151e29496b9f88cd2d9dd3db2e

2 支持oracle用户级配置profile

2.1 功能简述

【需求来源】桂林银行

需求链接：https://www.tapd.cn/60475194/prong/stories/view/1160475194001074627
需求描述：桂林银行客户指出，目前对于数据库用户的管理方式不够便捷，无法像oracle profile方式为用户赋予一组安全策略。一些属性如密码有效期、密码过期天数、密码尝试次数等也只能全局设定，无法指定用户配置。- 需求范围：桂林银行使用的数据库兼容模式包括oracle和mysql两种兼容模式。

【需求背景】oracle 23的profile功能

通俗来讲，oracle的profle可理解为细粒度的配置参数。1个profile包含1组配置参数，不同用户可使用不同的profile。按上述例子，要单独控制某个用户的密码有效期，操作步骤如下：

创建用户

CREATE USER u1 IDENTIFIED BY "u1.1234";

创建profile，同时设置用户级参数
此处，以设置密码有效期参数为例：
```
CREATE PROFILE pro1 LIMIT FAILED_LOGIN_ATTEMPTS 10;
```
设置用户u1使用profile pro1

海量 3 需求 pg_hba.conf加密

Tue, 01 Apr 2025 15:42:00 +0800

1 需求背景

客户使用vb什么版本？ 2215
客户的要求：

2 需求分析

2.1 适配点

在使用vastbase的多个阶段，都可能涉及pg_hba.conf

编译安装
初始化
升级
配置
- gs_guc修改pg_hba
- 手动编辑pg_hba
启动
运维
- pg_backup
- pg_rewind
- vb_ctl restart

2.2 代码流程

编译

初始化

main # initdb.cpp
 canonicalize_path # PGDATA
 find_other_exec # 在gs_initdb bin目录下，查找gaussdb bin
 # 在$GAUSSHOME/share/postgrsql目录下，检查以下文件是否存在
 check_input('postgres.bki, postgres.description, pg_hba.conf.sample, postgresql.conf.sample, ..., system_views.sql, ...')
 check_locale_encoding
 init_log
 gs_getenv_r('GAUSSLOG')
 canonicalize_path('$PGDATA/PG_VERSION')
 fprintf(PG_MAJORVERSION = '9.2')
 setup_config
 readfile("postgresql.conf.sample")
 readfile("pg_hba.sample")
 writefile("pg_hba.conf")
 bootstrap_template1
 write_version_file
 setup_auth
 get_set_pwd
 setup_depend
 load_plpgsql
 setup_sysviews

升级
配置
启动
```
pg_ctl
```

运行

PostmasterMain # postmaster 线程
 InitializeGUCOptions
 getopt_r
 load_hba # 加载hba
 ServerLoop
 ConnCreate
 StreamConnection
 BackendStartup
 PostgresMain # postgres 线程
 InitBackendWorker
 InitSession
 CheckAuthentication
 PerformAuthentication
 port->protocol_config->fn_authenticate
 ClientAuthentication
 hba_getauthmethod
 check_hba
 g_instance.libpq_cxt_comm_parsed_hba_lines # 读取缓存的hba
 if init_user:
 get_default_auth_method
 else:
 check_hostname
 sendAuthRequest
 recv_and_check_password_packet # 接收客户端的password
 crypt_verify
 for (;;)
 ReadCommand
 exec_simple_query('SQL')

SIGHUB_handler
 load_hba

运维

海量 3 需求 oracle resource

Mon, 24 Mar 2025 10:42:00 +0800

| -| -| -| -| -| -| -|
| 1 | FAILED_LOGIN_ATTEMPTS | [1, max] unlimited | failed_login_attempts | [1,1000] | 认证类 | 登录数据库时，如果密码错误次数超过<本参数>，则账号会被锁定，短期内无法再登录 |
| 2 | PASSWORD_LOCK_TIME | [1, max] unlimited | password_lock_time | [1,525600]min | 认证类 | 如果因密码错误次数过多，导致账号被锁，将锁定<本参数>的时间 |
| 3 | PASSWORD_LIFE_TIME | [1, max] unlimited | password_effect_time | [30,36500]day | 认证类 | 设置或更新用户密码时，超过<本参数>的时间，密码会过期（oracle与vastase表现不同） |
| 4 | PASSWORD_GRACE_TIME | - | - | - | 认证类 | 如果密码过期，在<本参数>的时间内，密码仍可使用 |
| 5 | PASSWORD_REUSE_TIME | [1, max] unlimited | password_reuse_time | [30, 90]day | 认证类 | 用户设置密码时，如果密码在过去的<本参数>的时间内别用过，则密码不能复用，opengauss [0,3650] |
| 6 | PASSWORD_REUSE_MAX | - | password_reuse_max | [1,100] | 认证类 | 用户设置密码时，如果密码已被重复使用过<本参数>的次数，则密码不能复用 |
| 7 | INACTIVE_ACCONT_TIME | - | - | - | 认证类 | 如果一个账号在<本参数>的时间内，未登录过，则锁定账号 |
| 8 | PASSWORD_VERIFY_FUNCTION | - | - | - | 认证类 | 用户设置密码时，调用<本参数>指定的函数，检查密码是否符合要求 |
| 9 | PASSWORD_ROLLOVER_TIME | - | - | - | 认证类 | 新旧密码滚动更新天数 |
| 10 | SESSIONS_PER_USER | - | - | - | 资源类 | 1个用户可建立的最大连接数 |
| 11 | CPU_PER_SESSION | - | - | - | 资源类 | 1个连接可使用CPU时间数 |
| 12 | CPU_PER_CALL | - | - | - | 资源类 | 1个调用（比如1个SQL）可使用CPU时间数 |
| 13 | CONNECT_TIME | - | - | - | 资源类 | 1个连接可持续的时间 |
| 14 | IDLE_TIME | [1, max] unlimited | session_timeout | [0,86400] | 资源类 | 1个连接空闲时间限制 |
| 15 | LOGICAL_READS_PER_CALL | - | - | - | 资源类 | 1次调用（比如1个SQL）允许读写的page数量 |
| 16 | LOGICAL_READS_PER_SESSION | - | - | - | 资源类 | 1个连接允许读取的page数量 |
| 17 | PRIVATE_SGA | - | - | - | 资源类 | 1个连接可使用的共享内存空间大小 |
| 18 | CONPOSITE_LIMIT | - | - | - | 资源类 | 1个连接可可使用的总资源：按cpu时间、连接时间、page读写数等加权求和 |

海量 4 需求 scram-sha256

Thu, 03 Apr 2025 17:41:00 +0800

深信服支持pg scram-sha256需求

需求目标

本需求的根本目标时，当vastbase server要求使用sha256算法进行身份认证时，postgresql client能与vastbase server建立连接。
该需求目前仅合入深信服分支

需求分析

身份认证的详细流程有点复杂，此处简要概述为2个阶段：

标识：新建用户时，server计算并存储密码哈希值
鉴别：用户登录时，server向client发送计算密码哈希值的关键信息，client计算并向server发送密码哈希值，server校验其是否符合存储的值

vastbase和postgresql对比，server计算密码哈希值的算法不同，server向client发送关键信息也不同。为解决pg-client能够连接vb-server的问题，需解决问题如下：

vb-server计算并存储与pg-server一致的密码哈希值
vb-server向pg-client发送密码哈希值关键信息时，需要pg-server一致

postgreql的标识与鉴别机制，符合标准RFC-5802，涉及的算法与协议，本文统一称为scram-sha256。vastbase涉及的算法与协议，本文统一称为sha256。

需求实现

密码存储：新建用户时，修改存储用户密码的值

修改前：guc参数password_encrypt_type，取值1时，vb-server存储密码的[sha256, md5]值；取值为2时，存储密码的[sha256]值

SELECT rolpassword FORM pgauthid; -- 示例：长度为209
 rolpassword
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------
sha256af99537f242c661a88acea99ac626a2cf8fe196ac5671db6f02ed6818b420cf84e7ada61d66602c6eb5bf4ced40911d3f51865959784ebc3b0d385ca4c08f3398f05e16268fe9acc95a2d662bf5033b15d53abd1f835c1a3f1e96343a5cbf800ecdfecefade

修改后：guc参数password_encrypt_type，取值1时，vb-server存储密码的[sha256, md5, scram-sha256]值；取值为2时，存储密码的[sha256, scram-sha256]值

SELECT rolpassword FORM pgauthid; -- 示例：长度342 (新增长度：133)
 rolpassword
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------
sha256af99537f242c661a88acea99ac626a2cf8fe196ac5671db6f02ed6818b420cf84e7ada61d66602c6eb5bf4ced40911d3f51865959784ebc3b0d385ca4c08f3398f05e16268fe9acc95a2d662bf5033b15d53abd1f835c1a3f1e963SCRAM-SHA-256$4096:sp5V1hrLKzLsS4HtQgqTuA==$QO/UVdrXxIypzBEGqEuIWe96A80elghFQs25ZbdPsLg=:J4lPXmXPANtTMOkaHokMjmM19K1Di7fU6WRWuZ5VmS0=

认证协议：用户登录时，修改向客户端发送的密码哈希值关键信息

修改前：

# 身份认证协议
1. client <-> server : tcp connect
2. client --> server : send [消息类型:0, 协议版本:3.51，连接参数:user_name, databse, ...]
3. server --> client : send [消息类型:R, 哈希算法:10, 系统表存储的密码的算法:2, 计算密码哈希关键信息：salt,token,iteration]
4. client <-> server : # 省略3次交互

修改后：

海量 5 用例 G100审计重构

Thu, 16 Oct 2025 18:05:00 +0800

1 正常场景

CREATE USER u1 PASSWORD 'u1.password';
set role u1 password 'u1.password';

-- ddl
DROP TABLE t1;
DROP FUNCTION f1;

CREATE TABLE t1(c1 INT, c2 TEXT);
-- dml
INSERT INTO t1 VALUES (1, 'aaa'), (2, 'bbb');
UPDATE t1 SET c2 = 'aba' WHERE c1 = 1;
SELECT * FROM t1;
DELETE FROM t1 WHERE c1 = 2;
-- func
CREATE FUNCTION f1() RETURNS INT AS $$ SELECT count(*)::INT FROM t1 $$ LANGUAGE sql;
SELECT f1();
-- trans
BEGIN;
SELECT * FROM t1;
COMMIT;

DROP TABLE t1;
DROP FUNCTION f1;

reset role;
select * from pg_audit_log;

2 异常场景

CREATE USER u1 PASSWORD 'u1.password';
CREATE TABLE st1(c1 INT, c2 TEXT);

set role u1 password 'u1.password';
-- doest't exist
SELECT * FROM nt1;
-- permission deny
SELECT * FROM st1;

reset role;
select * from pg_audit_log;

海量 5 设计 G100审计

Mon, 01 Sep 2025 18:00:00 +0800

G100审计功能重构

1 功能简述

在需求文档中，已详细介绍需求背景，此处不在重复介绍。
G100 309之前版本，审计特性存在较多问题，因此，在本版本，将重新设计与实现审计特性，解决功能、性能、易用性、可维护性、可扩展性等问题，使审计特性达到大规模商用的标准。

2 实现方案

一、审计架构

审计特性，核心子功能如下：

配置审计：通过GUC参数，配置审计参数：日志目录、目录大小、日志文件淘汰策略等
设置范围：通过SQL语法，设置审计策略，控制哪些事件需审计。在策略中，可按用户、操作、对象、操作结果等过滤事件
收集事件：在代码关键节点，收集事件
过滤事件：根据审计策略，过滤无需审计的事件
生成日志：提取事件关键信息，生成日志
传输日志：工作线程，通过共享内存，传输日志给审计线程
存储日志：审计线程，组织日志，并将其存储至文件中。文件存放在单独的日志目录
查询日志：通过内置FUNCTION，在线查询日志，通过TOOL，离线查询日志

其中，设置范围、过滤事件子功能相对独立，可单独设计与实现，所以，拆分到另一个的设计文档中。

审计特性整体架构图如下：

二、工作流程

收集事件的主体、操作、客体等信息时，因为需收集操作结果，即操作成功或失败，所以，很多场景中，收集事件需分为2个阶段：

执行操作前：收集事件基本信息，包括操作类型等
执行操作后：收集事件的操作结果。对于出现ERROR的场景，则在异常处理函数中收集操作结果。

在所有事件中，DML语句的事件稍复杂一点，此处主要以该类语句为例，梳理整体执行流程：

三、详细流程

阶段1 配置审计（进程启动）

首先，用户通过GUC参数，配置审计文件管理等功能。然后，在系统启动阶段，审计模块将根据配置，初始化的各类关键资源，包括：

日志文件：日志存储目录，初始日志文件等
审计内存：日志缓存区，内存上下文等
审计线程：信号处理函数等
事件收集节点：hook函数注册等

详细启动过程如下：

main # 1. 启动vastbase进程
 knl_instance_init
 MemoryContextInit
 PostmasterMain # 2. 启动postmaster线程
 SelectConfigFiles # 3. 加载GUC参数
 checkDataDir
 'audit_dir_init' # 4. 创建审计日志文件目录
 'audit_hook_init' # 5. 注册审计回调函数：身份认证等
 load_hba
 reset_shared
 CreateSharedMemoryAndSemaphores # （日志缓冲区不是共享内存，后文阶段6详细介绍）
 GlobalSysDBCache::Init
 CreateLocalSysDBCache
 InitRoleIdHashTable
 'audit_comm_init' # 6. 初始化审计内存上下文、日志缓存区，创建审计日志文件
 'initialize_util_thread(AUDIT_WRITER)' # 7. 启动audit-writer 线程，持续读取日志缓冲区，等待接收与存储日志
 initialize_thread
 ..
 # ===== audit-writer 线程 ==============
 GaussDbThreadMain
 InitShmemAccess
 InitAuxiliaryProcess
 CreateSharedMemoryAndSemaphores
 GaussDBAuxiliaryThreadMain
 BaseInit
 'adt_writer_main'
 # ===== audit-writer 线程 ==============
 ServerLoop
 for (;;)
 comm_select
 ConnCreate # 9. 接收客户端连接
 BackendStartup
 initialize_util_thread(WORKER)
 initialize_thread
 ..
 # ===== postgres 线程 ==============
 GaussDbThreadMain
 knl_thread_init
 InitializeGUCOptions
 CreateLocalSysDBCache
 'audit_hook_init' # 10. 注册事件收集回调函数：计划执行、函数执行等回调点
 BackendInitialize
 BackendRun
 PostgresMain
 # ===== postgres 线程 ==============
 'initialize_util_thread(AUDIT_WRITER)' # 11. 检查audit-writer 线程状态与自动重启

阶段2 设置范围

向用户提供SQL接口，用于创建审计策略。（见另一个设计文档）

海量 5 需求 G100审计

Wed, 27 Aug 2025 15:13:00 +0800

1 简介

1.1 目的

审计特性：

功能：收集数据库内的关键事件，例如启动集群、创建对象、查询数据等，根据事件生成与存储审计日志，向用户提供审计日志查询接口。
必要：从客户角度，使用审计特性，主要目的包括：合法合规、安全监控、事故调查等。从内核角度，为满足信创要求，数据库需达到CC标准，在CC标准中，对审计功能提出多项要求。
问题：G100审计特性存在多处设计缺陷，导致功能问题多、性能低、易用性差、可维护性差、可扩展性差等。到目前为止，其中累计识别50+缺陷，仍具有30+未识别缺陷。
历史：openGauss早期版本，华为以色列团队开发审计特性，交付标准为基本功能可用，与商用标准差距大。G100早期版本，由openGauss引入审计特性。在之后版本，G100进行多轮迭代。

本需求的目标是重构审计特性，解决功能、性能、易用性、可维护性、可扩展性等问题，使审计特性达到大规模商用的标准。

1.2 适用范围

G100 3.0.8 psu5以及之后版本

1.3 术语定义、首字母缩写词和缩略语

暂无

1.3 参考资料

原始需求：https://www.tapd.cn/tapd_fe/60475194/story/detail/1160475194001083526
国标查询下载网站： https://openstd.samr.gov.cn/bzgk/gb/index
CC标准
- 《GB/T 20009-2019 信息安全技术数据库管理系统安全评估准则》
- 《GB/T 20273-2019 信息安全技术数据库管理系统安全技术要求》
信创标准
- 《SJ/T 11939-2024 安全可靠集中式事务型数据库技术要求》
- 《T/AIA 016—2023信创产品测评通用要求》
等保标准
- 《GB/T 25070-2019》信息安全技术网络安全等级保护安全设计技术要求》
数据库政府采购标准：https://jx.mof.gov.cn/xxgk/zhengcefagui/202401/t20240105_3925117.htm
标准原文：微盘：https://drive.weixin.qq.com/s?k=AHUAfwdSAA87Z01xB
G100审计特性：https://docs.vastdata.com.cn/zh_CN/VastbaseG100/V3.0.8/1/2f4fb0e4adcc49f8b19dd4710f2a6549
G100审计历史客户需求：https://www.tapd.cn/tapd_fe/60475194/story/list?sort_name=created&order=&useScene=storyList&groupType=&conf_id=1160475194001046742&queryToken=fe85cdfc29d23bba423905c15d72d127&page=1
Oracle审计特性：https://docs.oracle.com/en/database/oracle/oracle-database/23/dbseg/part_6.html
开源组件pgaudit：https://www.modb.pro/db/105894
需求分析与整理文档：语雀：https://www.yuque.com/u57264336/oav5h4/tkhcgdilcbpuqm09

2 G100审计功能重构

2.1 功能简述

一、需求背景：审计特性

审计目的：记录数据库内的各种事件，事件包括：
- 启动、恢复、切换、停止集群
- 登录、注销账号
- 创建、修改、删除数据库对象，包括：DATABASE、SCHEMA、TABLE等
- 插入、更新、删除、查询关系表
- …
描述事件：每个事件中，有3个关键要素：<主体><操作><客体>
- 主体：一般是数据库用户
- 客体：集群、账号、DATABASE、SCHEMA、TABLE、FUNCTION等
- 操作：不同的客体，涉及的操作不一样。比如，对于TABLE，操作有：CREATE, INSERT, SELECT等。
审计日志：针对每个事件，收集与主体、操作、客体有关的信息，封装为1条审计日志。通常，1条审计日志中，包括的信息如下：
- 主体相关：用户名、客户端IP、会话ID等
- 操作相关：操作的类型、操作的时间、触发操作的SQL语句等
- 客体相关：客体类型、客体名称、客体属于哪个database、客体属于哪个schema
审计特性：为实现审计功能，在数据库内核中，需实现以下功能：
- 配置范围：对用户提供接口，配置需审计的事件范围
- 收集事件：在内核关键代码节点，发现事件，例如：登录用户、创建对象、查询数据等，收集主体、操作、客体相关信息
- 生成日志：按统一格式组织事件信息，生成审计日志
- 存储日志：将审计日志存储至磁盘
- 查询日志：对用户提供接口，查询日志

二、需求背景：G100审计特性（旧版本）

G100早期版本，引入openGauss审计特性，但是，该特性存在较多问题，包括：

海量 5 方案 G100审计重构

Wed, 23 Apr 2025 18:00:00 +0800

1 审计特性介绍
2 使用审计特性
3 审计特性变更点
3 审计特性详细设计
4 审计后续重构计划

摘要

介绍审计特性，分析性能问题，提出优化方案，评审优化方案，规划其他计划

1 审计特性介绍

1.1 核心功能

审计特性：记录数据库内的各种事件，事件包括：

海量 6 设计 greenplum

Thu, 15 May 2025 16:36:00 +0800

1 需求分析

透明加密
- 主密钥
动态脱敏
- 和统一审计共用resource lable模块
全密态
- 密态等值
- 密态非等值
  - 范围查询：OPE保序加密
  - 模糊查询
  - 内置函数
  - 排序
  - ..
防篡改
- 分布式：有点麻烦，区块链记录在每个节点上
- 哈希函数：md5

1.1 透明加密

模块分析
- 密钥管理
  - 设置主密钥
- 定义加密属性
  - 表：普通表、临时表、分区表、toast表
  - 索引
  - xlog
- 加密数据
  - 加密算法：aes-256-ctr, sm4-ctr
  - 备机加密

-- 创建主密钥

-- 设置表加密
CREATE TABLE t1 (c1 INT, c2 TEXT) WITH (enable_tde=on);

-- 验证数据加密存储
INSERT INTO t1 VALUES (1, 'bbbcccddd');

1.2 动态脱敏

-- 开启脱敏功能
gs_guc reload -D $GAUSSHOME/data -c "enable_security_policy=on"

-- 创建表
CREATE TABLE t1 (c1 TEXT, c2 TEXT);
INSERT INTO t1 VALUES ('bbccdd', 'bbccdd');

-- 创建用户
CREATE USER u1 PASSWORD 'u1.password';
CREATE USER u2 PASSWORD 'u2.password';
GRANT SELECT ON t1 TO u1;
GRANT SELECT ON t1 TO u2;

-- 创建资源标签（只对u1脱敏）
CREATE RESOURCE LABEL l1 ADD COLUMN(t1.c1);
CREATE MASKING POLICY m1 randommasking ON LABEL(l1) FILTER ON ROLES(u1);

-- 验证脱敏：只有u1脱敏
SET ROLE u1 PASSWORD 'u1.password';
SELECT * FROM t1;
RESET ROLE;

SET ROLE u2 PASSWORD 'u2.password';
SELECT * FROM t1;
RESET ROLE;

-- 清理环境
DROP MASKING POLICY m1;
DROP RESOURCE LABEL l1;
DROP TABLE t1;
DROP USER u1,u2;

1.3 全密态

模块分析
- 客户端
  - 语法解析
  - 语义分析
  - 加密
- 服务端
  - ..

1.4 防篡改

hash算法：md5

2 greenplum

yum install zstd libzstd-devel krb5-devel krb5-libs cyrus-sasl-gssapi libevent-devel libyaml-devel libxml2 libxml2-devel curl libcurl-devel
yum install apr apr-devel apr-util apr-util-devel
yum install expat-devel openldap-devel bzip2 bzip2-devel xerces-c xerces-c-devel python36-devel

ln -s /usr/include/python2.7/Python.h /usr/include/Python.h

# 报错就降级
yum downgrade expat-2.1.0-12.el7

mkdir install
cd install
# echo ''使用单引号可防止变量$PATH等展开
echo '
export GPHOME=`pwd`/install

export BINARYLIBS=`pwd`/../third
export GCC_PATH=$BINARYLIBS/buildtools/gcc10.3
export CC=$GCC_PATH/gcc/bin/gcc
export CXX=$GCC_PATH/gcc/bin/g++
export LD_LIBRARY_PATH=$GCC_PATH/gcc/lib64:$GCC_PATH/isl/lib:$GCC_PATH/mpc/lib/:$GCC_PATH/mpfr/lib/:$GCC_PATH/gmp/lib/:$LD_LIBRARY_PATH
export PATH=$GCC_PATH/gcc/bin:$PATH
' > genv
# 建议把环境变量再在~/.bashrc中写一份，因为初始化集群时，需要ssh登录，以初始化segment节点

./configure --with-python --with-libxml --with-gssapi --without-zlib --with-gpcc --prefix=$GPHOME
make -sj 16
make install -sj 16

echo "
ARRAY_NAME="Greenplum Cluster"
SEG_PREFIX=gpseg #segment数据库前缀名
PORT_BASE=40000 #segment数据库起始端口号
declare -a DATA_DIRECTORY=(//home/shenkun/gp/install/segdata)
#segments数据目录，有几个DATA_DIRECTORY, 每个节点上便会启动几个segment，本例为2个segment
MASTER_HOSTNAME=master #master主机名
MASTER_DIRECTORY=/home/shenkun/gp/install/master #master数据目录
MASTER_PORT=5000 #master端口号，也是对外业务端口号
TRUSTED_SHELL=ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
DATABASE_NAME=gpdb
MACHINE_LIST_FILE=/home/shenkun/gp/install/hostfile #集群配置文件，hostfile对应7中创建的文件名
" > gpcfg

echo "master" > hostfile

gpinitsystem -c gpcfg -a

psql -p 5000 -d gpdb

PGOPTIONS='-c gp_session_role=utility' psql -p 40000 -d gpdb

# @ master
exec_simple_query
 pg_parse_query
 pg_analyze_and_rewrite
 pg_plan_queries
 pg_plan_querie
 planner
 standard_planner
 subquery_planner
 cdbllize_adjust_top_path
 create_plan
 cdbpathtoplan_create_flow
 makeFlow
 cdbllize_decorate_subplans_with_motions
 PortalStart
 ExecutorStart
 standard_ExecutorStart
 CdbDispatchPlan
 # @ segment
 exec_mpp_query
 deserializeNode
 PortalStart
 PortalRun
 PortalDrop
 PortalRun
 PortalRunMulti
 ProcessQuery
 ExecutorStart
 ExecutorRun
 standard_ExecutorRun
 ExecutePlan
 ExecutorFinish
 ExecutorEnd
 PortalDrop

海量 8 需求海康身份认证

Mon, 30 Jun 2025 18:32:00 +0800

本需求包含6个小需求：

身份认证：创建用户：CREATE/SET USER .. PASSWORD ..，密码可以只设置2类字符
身份认证：创建用户：CREATE/SET [角色] USER ..，角色支持指定SUPERUSER和NOSUPERUSER
身份认证：查看用户：SELECT .. FROM pg_user，普通用户可查询pg_user视图（仅pg兼容性）
身份认证：登录用户：SET ROLE new_user [PASSWORD ..]，new_user是会话用户时，可以不指定PASSWORD
访问控制：Database权限：普通用户可访问template1数据库（仅pg兼容性）
访问控制：Schema权限：普通用户可在public下执行CREATE操作（仅pg兼容性）

描述

身份认证：创建用户
变更：用户密码可以只包含2类字符

-- password_polcy取值不同，密码需包含的字符种类数不同，为1时需3类，需2时需4类，为3时需2类
ALTER SYSTEM SET password_policy OT 3; -- 修改取值范围[0,2]为[0,3]
CREATE USER u1 PASSWORD 'password1'; -- 此时，密码可以只含2类字符
ALTER USER old_user PASSWORd 'password1';

身份认证：创建用户
变更：可以指定SUPERUSER角色

CREATE USER u1 SUPERUSER PASSWORD ..; -- 支持设置 SUPERUSER 角色
ALTER USER u1 NOSUPERUSER ..; -- 支持取消 SUPERUSER 角色
ALTER USER old_user SUPERUSER ..;

身份认证：查看用户
变更：普通用户可查询pg_user视图（仅pg兼容性）

海量 9 用例 E100审计

Fri, 25 Jul 2025 15:33:00 +0800

1 adt_scope_ddl

/*
=============================
Operate
 create
 alter
 drop
 truncate

 prepare
 dealocate

 abort
 begin
 release savepoint

 analyze
 checkpoint
 commit
 commit prepared
 end
 rollback
 rollback prepare
 prepare
 prepare transcation
 rollback to savepoint
 savepoint
 start transaction

 call
 execute

 close

 explain
 cluster
 comment

 copy

 discard
 do
 declare

 move
 fetch

 grant
 revoke

 import

 listen
 notify
 unlisten

 load

 lock

 reassign
 refresh
 reindex

 reset
 set
 set constraints
 set role
 set session authorization
 set transcation
 show

 values
Object:
 system

 user
 role
 group

 database
 table space
 schema
 table
 temp table
 forgien table
 index
 view
 materialized view
 sequence

 function
 procedure
 trigger
 aggregate

 larger object

 domain
 type
 cast
 conversion
 collation
 language
 rule

 forgien data wrapper
 server
 user mapping

 publication
 subscription

 privileges
 policy

 statistics
 routine

 text search configuration
 text search dictionary
 text search parser
 text search template

 operator
 operator class
 operator family
 access method

 extension
-- =============================
*/

-- fdw
\c atlasdb
CREATE EXTENSION postgres_fdw;
CREATE USER u1 PASSWORD 'u1.password';
CREATE SERVER s1 FOREIGN DATA WRAPPER postgres_fdw OPTIONS (host '172.16.100.134', port '5432', dbname 'fdb1');
GRANT ALL ON FOREIGN SERVER s1 TO u1;
set role u1;
CREATE FOREIGN TABLE t1 (c1 INT) SERVER s1 OPTIONS (schema_name 'public', table_name 'ft1');
CREATE USER MAPPING FOR u1 SERVER s1 OPTIONS (user 'fu1', password 'fu1.password');

-- common
CREATE TABLE tbl(c1 INT, c2 TEXT);
INSERT INTO tbl VALUES(generate_series(1, 100), 'bbbbbbbbb');

-- cursor | declare,fetch,move,close | (must in transaction block)
BEGIN;
DECLARE cu1 CURSOR FOR SELECT * FROM tbl; -- consider it as a cache for select result
FETCH 3 FROM cu1;
FETCH 3 FROM cu1;
MOVE FORWARD 2 FROM cu1;
CLOSE cu1;
COMMIT;

-- channel | listen,unlisten,notify
-- session 1
LISTEN ch1;
-- session 2 --> session 1, session 1 receive and cache message
NOTIFY ch1, 'hello';
SELECT pg_notify('ch1', 'hello' || 'a');
UNLISTEN ch1;

-- table | create,alter(rename,move),drop,lock,insert,update,select,delete
CREATE TABLE tb1(c1 INT);
ALTER TABLE tb1 ADD COLUMN c3(INT);
ALTER TABLE tb1 RENAME COLUMN c3 TO c2;
BEGIN;
LOCK TABLE tb1 IN ACCESS EXCLUSIVE MODE;
COMMIT;
DROP TABLE tb1;

-- materialized view
CREATE MATERIALIZED VIEW mv1 AS SELECT * FROM tbl;

-- dictionary & configuration |
CREATE TEXT SEARCH DICTIONARY tsd1 (
 TEMPLATE = snowball,
 language = english
);
ALTER TEXT SEARCH DICTIONARY tsd1 (stopwords = english);
CREATE TEXT SEARCH CONFIGURATION tsc1 (copy = english);
ALTER TEXT SEARCH CONFIGURATION tsc1 ALTER MAPPING FOR asciiword, asciihword, hword_asciipart WITH tsd1, simple;
SELECT to_tsvector('tsc1', 'abc bb cc bb');
DROP TEXT SEARCH CONFIGURATION tsc1;
DROP TEXT SEARCH DICTIONARY tsd1;

-- domain | create,alter,drop
CREATE DOMAIN do1 AS TEXT CONSTRAINT c1 CHECK ( VALUE ~ '^[0-9]+$' ) DEFAULT '3'; -- consider a group of 'check / not null / default' for column
ALTER DOMAIN do1 ADD CONSTRAINT c2 CHECK (LEFT(VALUE, 1) < '5');
 CREATE TABLE t1(c1 do1);
 INSERT INTO t1 VALUES ('12');
 INSERT INTO t1 VALUES ('89');
 INSERT INTO t1 VALUES (default);
 DROP TABLE t1;
DROP DOMAIN do1;

-- conversion | create | (need define c code)
-- CREATE FUNCTION f1(integer, cstring, integer, cstring) RETURNS integer AS 'latin1_utf8', 'latin1_to_utf8' LANGUAGE C STRICT;
-- CREATE CONVERSION co1 FOR 'LATIN1' TO 'UTF8' FROM f1;
-- SELECT CONVERT('\xe4\xf6\xfc'::bytea, 'latin1_utf8_cnv');
-- DROP CONVERSION co1;
-- DROP FUNCTION f1;

-- user
CREATE USER u1 PASSWORD 'u1.password';
CREATE USER u2 PASSWORD 'u2.password';
CREATE USER u3 PASSWORD 'u2.password';
ALTER USER u1 PASSWORD 'u1.newpass';
DROP USER u1;
DROP USER IF EXISTS u1,u2,u3,u4;

-- type
CREATE TYPE int_2 AS (a INT, b INT);

-- synonym (only oracle)
CREATE TABLE t1 (c1 INT);
CREATE SYNONYM s1 FOR t1;
CREATE PUBLIC SYNONYM ps1 FOR t1;
SELECT * FROM s1;
SELECT * FROM ps1;
DROP SYNONYM s1;
DROP SYNONYM ps1;

-- aggregate
CREATE FUNCTION f_add_a_int(state bigint[], val int)
RETURNS bigint[] LANGUAGE sql AS
$$ SELECT ARRAY[state[1] + val, state[2] + 1] $$;

CREATE FUNCTION f_avg_final(state bigint[])
RETURNS numeric LANGUAGE sql AS
$$ SELECT state[1]::numeric / state[2] $$;

CREATE AGGREGATE a_int_avg(int) (
 SFUNC = f_add_a_int,
 STYPE = bigint[],
 FINALFUNC = f_avg_final,
 INITCOND = '{0,0}'
);

SELECT a_int_avg(v) FROM generate_series(1,6) v;

DROP AGGREGATE a_int_avg(int);
DROP FUNCTION f_add_a_int;
DROP FUNCTION f_avg_final;

2 adt_scope_dcl

3 adt_scope_dml

4 adt_scope_dql

5 adt_scope_tcl

6 adt_scope_func

7 adt_scope_mng

8 adt_scope_misc

海量 9 设计 E100审计

Tue, 22 Jul 2025 14:28:00 +0800

1 E100审计功能

1.1 功能简述

【审计功能】
审计是重要的安全特性，核心功能是收集数据库内的事件，例如：登录用户、创建对象、查询数据等，根据事件生成与审计日志，存储审计日志，向用户提供日志查询接口。使用方式请看需求文档。

【审计架构】
审计整体架构如下图所示：（“线程“替换为“进程”，原图不小心弄丢了，不好修改了，将就看）

【审计流程】

1.2 实现方案

一、启动审计进程

1. 启动postmaster进程 # PostmasterMain
 2. 加载GUC参数 # SelectConfigFiles
 2.1 '---加载审计GUC---'
 3. 创建共享内存和信号量 # reset_shared -> CreateSharedMemoryAndSemaphores
 3.1 计算共享内存总大小
 '计算审计共享内存大小：根据GUC配置'
 3.2 创建共享内存 # PGSharedMemoryCreate
 3.3 创建LwLock # CreateLWLocks
 3.4 初始化wal-buffer共享内存 # XLOGShmemInit
 3.5 初始化share-buffer共享内存 # InitBufferPool
 3.6 '如果开启审计：初始化审计共享内存：划分共享内存，包括audit-buffer'
 4. 启动sys-log进程 # SysLogger_Start
 5. '如果开启审计：初始化审计模块'
 5.1 '日志目录：检验与创建审计日志目录'
 5.2 '日志文件：每次重启，使用新的日志文件，方便用户单个删除日志文件'
 5.3 '内存上下文：创建审计全局内存上下文'
 5.4 '审计缓存区：初始化audit-buffer'
 5.5 '审计文件：初始化审计文件（并发write, read, delete日志）'
 5.6 '回调函数：在执行DDL、计划、函数等关键函数中，注册生成审计事件、日志的回调函数' # 后面详细介绍
 6. '如果开启审计：启动审计进程'
 6.1 '信号：注册信号处理函数：sighup, sigquit, sigusr1'
 6.2 '显示：设置ps命令显示的进程信息'
 6.3 主循环
 6.4 '等待事件：关键是timeout'
 6.5 '存储日志：读取audit-buffer中待落盘的日志，并存储' # 后面详细介绍
 6.6 '调整速率：按照每次落盘数据的长度，动态调整timeout'
 连续多次为0，timeout依次变为1ms, 100ms, 1s
 单次落盘长度大于16m，timeout=0
 7. '主循环' # ServerLoop
 7.1 接收客户端连接 # select
 7.2 创建postgres进程 # BackendStartup -> BackendRun -> PostgresMain
 7.3 检查与重启sys-log进程 # SysLogger_Start
 7.4 '检查与重启审计进程'
 7.5 检查与重启checkpointer进程 # StartCheckpointer
 7.6 检查与重启wal-writer进程 # StartWalWriter

二、收集审计事件

目前，只有以下2类进程，会生成审计事件：

海量 9 需求 E100审计

Fri, 18 Jul 2025 10:50:00 +0800

1 简介

1.1 目的

审计是重要的安全特性，功能是收集数据库内的事件，例如创建对象、查询数据等，根据事件生成与存储审计日志，并向用户提供查询审计日志的接口。

在303.7版本，E100首次引入审计特性，本文介绍E100审计特性的对外接口、功能约束、使用方式等信息。

1.2 适用范围

E100，303.7及之后的版本

1.3 术语定义、首字母缩写词和缩略语

无

1.3 参考资料

G100审计特性：https://docs.vastdata.com.cn/zh_CN/VastbaseG100/V3.0.8/1/2f4fb0e4adcc49f8b19dd4710f2a6549
Oracle审计特性：https://docs.oracle.com/en/database/oracle/oracle-database/23/dbseg/part_6.html
开源组件pgaudit：https://www.modb.pro/db/105894
G100审计重构方案：https://doc.weixin.qq.com/doc/w3_AdwAfAa7AFkCNFLkO0AXJSUK7CICd?scode=AHUAfwdSAA8DKRU1G1AdwAfAa7AFk&version=4.1.38.6011&platform=win
pg 14完整语法：https://www.postgresql.org/docs/14/sql-commands.html

2 E100审计特性

2.1 功能简述

【审计特性】
审计特性，主要功能是记录数据库内的各种事件，并向用户提供查询事件的接口。事件包括：

启动、恢复、切换、停止集群
登录、注销账号
创建、修改、删除数据库对象，包括：DATABASE、SCHEMA、TABLE等
插入、更新、删除、查询关系表
…

【审计事件】
数据库内发生的事件，都可描述为<主体><操作><客体>

主体：一般是数据库用户
客体：集群、账号、数据对象等
操作：针对不同客体，操作类型不一样。比如，对于TABLE，操作类型有：CREATE, INSERT, SELECT等。

【审计日志】
发生事件时，审计特性会收集事件中的信息，将事件封装审计日志，审计日志中的关键内容包括：

主体信息：用户名
操作信息：操作类型、操作时间、操作的SQL语句等
客体信息：客体类型、客体名称、客体属于哪个database、客体属于哪个schema

【审计流程】
使用审计特性时，主要包括以下几个流程：

配置审计功能：用户提前配置审计范围，即配置哪些事件需被审计。
生成审计日志：用户操作数据库时，产生审计事件，例如创建表、删除表等。内核收集事件信息，生成审计日志。
存储审计日志：内核存储审计日志至磁盘。
查询审计日志：用户查询审计日志，内核从磁盘读取审计日志。
删除审计日志

一个简单示例如下图所示：

-- 1. 配置审计功能：确定哪些事件需审计
-- 2. 生成审计日志：用户执行SQL，产生事件<用户><创建><表>，根据事件生成日志
CREATE TABLE t1 (c1 INT, c2 TEXT);
-- 3. 存储审计日志：内核自动存储日志
-- 4. 查询审计日志
SELECT * FROM pg_audit_log();
 -- 预期输出（横向输出）
 -[ RECORD 1 ]---------------------------------
 scope |
 subject | u1 -- 主体信息：用户名
 optype | create -- 操作信息：create操作
 optime | 2025-07-18 18:15:17.400009+08 -- 操作时间
 opresult |
 object | table -- 客体信息：客体类型
 objdb | postgres -- 客体信息：客体属于哪个database
 objnsp | public -- 客体信息：客体属于哪个schema
 objname | t1 -- 客体信息：客体名称
 opxid |
 optid |
 pid |
 sql | create table t1(c1 int); -- 触发操作的SQL
 extra |

【友商对比】
对比oracle、opengauss/g100、pgaudit

分享编写需求/设计文档的个人经验

Tue, 15 Jul 2025 10:54:00 +0800

1 简介

1.1 分享的主题

分享一些编写需求、设计文档经验

1.2 分享的背景

背景：我写的需求文档，（相对）还算详细，所以有此次分享
- 308.1，profile功能的需求文档：https://www.tapd.cn/60475194/markdown_wikis/show/#1160475194001007196
根因：前公司流程繁重，被迫养成这种习惯。
分享的内容：可分享的干货不多，我觉得，在写文档的过程中，大部分人想的很详细，只是没有编写到文档中，毕竟每个人都有自己的编写风格。所以，本文的重点，是介绍前公司流程与要求，并以我做过的需求为例，为大家提供一点参考。
分享人经历：交过10+个不算小的需求，完整写过10+次需求与设计文档，格式与海量的接近。
分享的局限：交付的需求，主要是安全方向，也涉及SQL、存储等多个模块，所以，本文主要以安全需求的角度写，其他模块的需求不一定适用。

1.3 前公司的流程

与海量相比，前公司的交付流程，几乎一样：

客户：提出需求
产品、项目、测试、架构等：审核需求
开发：撰写需求/设计文档
各角色：评审需求/设计文档
开发：编写代码
…

其中，在4.评审需求/设计文档环节，前公司区别较大：

一、评审人员多

编号	角色	评审人	目的
1	开发	安全组、SQL组、存储组、运维组、..	避免影响其他模块，协助发现风险
2	测试	测试人、测试组长	学习新需求，识别测试重点
3	架构	架构设计	避免影响其他模块，确保后向兼容
4	资料	资料优化、资料审核	学习新需求
5	用例	用例审核	确保各种check可看护功能
6	其他	流程提升	-

二、评审通过难
1. 组内评审
2. 线上评审：上述所有角色会上评审，不过，一般很多人会议冲突，关键靠线下评审
3. 线下评审（关键流程）：各类角色共10+必选评审人，通过在线需求文档、设计文档了解需求，提出疑问，提出意见。开发分析解决后，找提出人确认意见，才算闭环。最后，所有必选评审人评审通过，才算完成流程。

在这种流程中，需求与设计文档，要满足很多要求：

普适：考虑到其他组开发、测试、资料等角色，不熟悉本领域的基础知识，所以，需要详细介绍相关原理，很多原理需要从头介绍
完整：要充分例举所有可能涉及风险，否则，评审人会认为未考虑到

举例：做了1个需求，可以为表设置加密属性，需要考虑：系统表、用户表（atore表、ustore表、分区表、临时表、toast表、unlogged表、segment表、hashbuckent表、物化视图…）

2 需求文档写作思路

2.1 分析过程

首先，客户提出需求，很多需求不够清晰。

示例：

profile原始需求：

目前对于数据库用户的管理方式不够便捷，无法像Oracle为用户赋予一组安全策略。一些属性如密码有效期、密码过期天数、密码尝试次数等也只能全局设定，无法指定用户配置。

然后，以我的个人习惯，分析需求的流程如下：

海量 9 接口 E100审计

Tue, 17 Jun 2025 18:18:00 +0800

配置审计功能
通过GUC配置审计功能，新增GUC如下：

编号	参数名	默认值	取值范围	功能
1	enable_audit	off	on, off	控制是否开启审计功能
2	aduit_directory	空	任意绝对路径	审计日志存储目录，确保数据库用户有权访问。如果取值为空，则默认存储于”数据目录/vb_audit”下
3	audit_directory_size	64M	[64M, -]	审计日志目录最大空间，如果文件目录达到限制时，最旧的日志文件将被新文件覆盖
4	audit_scope	ddl	all, ddl, insert, update, select, delete, function	审计范围。可设置多个范围，示例：”ddl, update, delete”
5	audit_buffer_size	16M	[1M, 1G]	内存中，审计日志缓冲区大小
6	audit_detail	basic,event,sql	basic,event, sql	控制审计日志详细程度
7	audit_unclassfied	on

启动审计功能
设置审计参数后，重启数据库，内核关键变化如下：

申请共享内存：工作线程生成日志后，将日志写入共享内存，该内存为审计日志缓冲区，缓冲区大小由GUC参数audit_buffer_size控制
新增进程：新增1个线程，负责将审计缓存区中的日志，存储至文件

生成审计日志
执行SQL语句时，如果SQL语句在审计范围内，内核一般会生成1条审计日志，如果SQL语句较复杂，语句中多个子操作会生成多条审计日志。

审计日志中，记录的内容如下：

日志字段	示例	解释
主体类型	user	目前，主体类型只支持用户类型
主体名称	u1	执行操作的用户，即执行SQL前，与数据库建立连接的用户
操作类型	create	针对不同类型的对象，操作不同，例如，针对表有create, insert, select, ..等操作
操作时间	2025-05-01 12:00:01 678956	格式：年-月-日时-分-秒微秒
操作XID	20000	事务ID
操作LSN	0/170F5F0	该日志对应的SQL语句，最新生成的XLOG的写入位置
对象类型	table	数据库对象类型，包括database, schema, table, view, …
对象名称	t1	数据库对象名称
对象数据库	db1	对象属于哪个database
对象命名空间	sch1	对象属于哪个schema
SQL语句	CREATE TABLE t1(c1 INT, c2 TEXT)	执行操作的原始SQL语句

存储审计日志
在审计目录下，审计文件设计如下：

命名：格式为：adt_年_月日_时分_秒_微秒.alog，文件名中包含文件创建时间
示例：

海量 10 设计 SSL协议

Tue, 09 Sep 2025 18:48:00 +0800

1 TLS协议支持第三方流量审计

1.1 功能简述

【需求背景】
TLS协议，是保障通信安全的加密协议，可分为4个子功能：

密钥生成：通过密钥交换或密钥协商等协议，让双方生成相同的密钥
身份认证：在开始阶段，双方均向对方发送自己的证书。双方接收证书后，基于PKI体系，校验证书是否合法。
数据加密：发送方发生数据前，使用密钥加密数据，发送数据密文。接受方接受密文后，使用密钥解密，获取数据。
数据校验：在加密数据的同时，生成数据完整性校验码，与数据密文拼接在一起。（简单理解：生成数据的哈希值，并使用密钥加密哈希值）接收方解密数据后，同样生成数据完整性校验码，与接收的相比，判断是否一致。

开源软件libssl.so提供TLS功能，应用只需调用接口，即可实现TLS协议。同时，libssl.so提供100+算法套件，可让应用选择不同的参数组合，1个算法套件，包含4个关键参数：

密钥生成：密钥生成协议
身份认证：证书算法类型
数据加密：加密算法类型
数据校验：哈希算法类型

例如，libssl.so中，常用的算法套件为：ECDHE-RSA-AES128-SHA256，该套件中，参数的含义如下：

密钥生成协议：ECDHE协议。（常见协议类型:DHE、ECDHE、RSA等）
证书算法类型：RSA
加密算法类型：AES-128
哈希算法类型：SHA-256

【需求分析】
vastbase支持TLS协议，当vsql与vastbase通信时，双方可使用TLS模块，生成密钥，并使用密钥加密、解密通信数据，包括：SQL语句、SQL执行结果等。
客户可能采用第三方工具，截取网络流量，获取传输中的SQL等数据，进行流量审计。但是，在使用TLS协议的情况下，网络中的数据是密文形式，无法进行流量审计。

vastbase提供1个GUC参数ssl_ciphers，用于配置TLS协议采用的算法套件，旧版本，该参数的取值范围如下：

ECDHE-ECDSA-AES256-GCM-SHA384
ECDHE-RSA-AES256-GCM-SHA384
DHE-RSA-AES256-GCM-SHA384
ECDHE-ECDSA-AES128-GCM-SHA256
DHE-RSA-AES128-GCM-SHA256
ECDHE-RSA-AES128-SHA256
ECDHE-ECDSA-SM4-CBC-SM3
4个仅tassl支持的国密算法套件

上述7个套件中，密钥生成协议为：ECDHE、DHE，此类DH协议，无法让第三方工具获取密钥。

本版本，新增4个算法套件：

AES128-SHA256
AES256-SHA256
AES128-GCM-SHA256
AES256-GCM-SHA384

上述4个套件，密钥生成协议为：RSA，该协议可让第三方工具获取密钥，使其可解密网络流量，获取SQL语句、SQL执行结果等。

【需求实现】
之前，vastbase限制ssl_ciphers的取值范围，仅放开7个算法套件，本版本，将新增放开4个算法套件。

实现时，仅修改ssl_ciphers的取值范围，新增支持4个算法套件[AES128-SHA256、AES256-SHA256、AES128-GCM-SHA256、AES256-GCM-SHA384]，4个算法套件将直接传递给libssl.so，内核不做任何处理。

因此，本需求无复杂设计。本文主要介绍完整的TLS协议工作原理。

1.2 实现方案

一、ECDHE与RSA的区别

此处简化ECDHE与RSA的步骤与算法，提取最核心的原理，方便快速理解。

一、ECDHE密钥协商协议
第三方工具、攻击者完全无法获取密钥。

client server
+-------------------------------------------+-----------------------------------
| <---- 0. 双方随机约定一些公开参数 ------> |
| 1. 生成随机私钥 client_priv
| 2. 基于client_priv，计算公钥 client_pub
| 3. 发送公钥 client_pub ------------>
 | 4. 接收公钥 client_pub
 | 5. 生成随机私钥 server_priv
 | 6. 基于server_priv，计算公钥 server_pub
 <------------ | 7. 发送公钥 server_pub
| 8. 接收公钥 server_pub
| 9. 基于client_priv，server_pub，计算密钥
 | 10. 基于server_priv，client_pub，计算密钥
（第9步和第10步，可以计算出相同的密钥）

简单举个例子
client server
+-------------------------------------------+-----------------------------------
| <----- 0. generate and send (2,11) ----> |
| 1. generate 8
| 2. caculate (8 * 2) % 11 = 5
| 3. send 5 ---------->
 | 4. receive 5
 | 5. generate 10
 | 6. caculate (10 * 2) % 11 = 9
 <------------ | 7. send 9
| 8. receive 9
| 9. key = (8 * 9) % 11 = 6
 | 10. key = (10 * 5) % 11 = 6

攻击者：截获网络流量，获取2,11,5,9，无法计算出密钥为6

二、RSA密钥交换协议

海量 10 需求 SSL协议

Wed, 03 Sep 2025 11:07:00 +0800

1 简介

1.1 目的

在应用与数据库传输数据时，为避免攻击者对数据进行窃听、篡改、伪造、重放等攻击，Vastbase支持采用TLS协议保障数据机密性与完整性。
通过TLS协议，应用传输数据指至服务端路程如下：

建立连接：与数据建立TCP连接
生成密钥(TLS)：采用TLS协议协商生成密钥(连接级)
加密数据(TLS)：使用密钥加密数据(SQL等)
发送数据：通过TCP协议，发送数据密文至数据库

客户可能采用第三方工具，截取网络流量，获取传输中的SQL等数据，进行流量审计。但是，在使用TLS协议的情况下，网络中的数据是密文形式，无法进行流量审计。为解决该问题，本文介绍如何让第三方工具获取密钥，以解密网络中的数据密文。

1.2 适用范围

本文适用于3.0.8 psu4以之后版本。未来本需求将同步至2.2.15版本。

1.3 术语定义、首字母缩写词和缩略语

SSL: Secure Sockets Layer，于保障网络通信安全的加密协议，早期协议，存在设计缺陷，目前由TLS协议替代。但是，SSL也可不特指SSL协议，可泛指所有通信安全加密协议。同时，由于历史原因，以及前向兼容，数据库中的很多参数与接口采用SSL命令，实际使用的是TLS协议。无需纠结TLS与SSL差异，vastbase中SSL等于TLS。
TLS: Transport Layer Security，更安全的传输加密协议。早期版本1.0,1.1已不安全，主流版本为1.2,1.3。

1.3 参考资料

原始需求：https://www.tapd.cn/tapd_fe/60475194/story/detail/1160475194001084569
openssl支持的所有cipers： https://docs.openssl.org/3.0/man1/openssl-ciphers/
ssl与tls原理：博客写了一点点，没整理

2 TLS协议支持第三方流量审计

2.1 功能简述

【需求现状】
目前，大部分第三方流量审计工具，可在一些特定场景下，解密由TLS协议加密后的数据。以vastbase为例，使用TLS协议分为以下阶段：

生成证书、私钥文件
vastbase端配置证书、私钥文件
vsql端配置证书、私钥文件
vsql连接vastbase
4.1 建立tcp连接
4.2 使用证书校验对方身份
4.3 双发协商选择算法套件：包括密钥生成协议、加密算法等
4.4 双方协商生成密钥
vsql与vastbase传输数据
5.1 发送数据前，使用密钥加密数据
5.2 发送数据密文
在4.3步骤中，可配置不同的密钥生成协议，对于其中一部分协议，在步骤4.4中，第三方工具可获取密钥，第步骤5.2中，第三方工具截取数据密文后，即可解密数据。
但是，4.3步骤中，目前vastbase仅支持2种密钥生成协议，这2种协议都无法让第三方工具获取密钥。

【密钥生成协议】
此处介绍2类常见的密钥生成协议：

一、DHE密钥协商协议
Vastbase目前支持的2种协议，都属于此类协议

client server
+-------------------------------------------+-----------------------------------
| <-------- 0. 双方随机约定一些参数 ------> |
| 1. 生成随机私钥 client_priv
| 2. 基于client_priv，计算公钥 client_pub
| 3. 发送公钥 client_pub ------------>
 | 4. 接收公钥 client_pub
 | 5. 生成随机私钥 server_priv
 | 6. 基于server_priv，计算公钥 server_pub
 <------------ | 7. 发送公钥 server_pub
| 8. 接收公钥 server_pub
| 9. 基于client_priv，server_pub，计算密钥
 | 10. 基于server_priv，client_pub，计算密钥
（第9步和第10步，可以计算出相同的密钥）

简单举个例子
client server
+-------------------------------------------+-----------------------------------
| <----- 0. generate and send (2,11) ----> |
| 1. generate 8
| 2. caculate (8 * 2) % 11 = 5
| 3. send 5 ---------->
 | 4. receive 5
 | 5. generate 10
 | 6. caculate (10 * 2) % 11 = 9
 <------------ | 7. send 9
| 8. receive 9
| 9. key = (8 * 9) % 11 = 6
 | 10. key = (10 * 5) % 11 = 6

攻击者：截获网络流量，获取2,11,5,9，无法计算出密钥为6

二、RSA密钥交换协议
该协议支持第三方工具解密流量，客户选择的工具已适配该协议。TLS还支持其他PSK、SRP等协议，但是，由于这些协议比较少见，且客户选择的工具未适配，本次不适配其他协议。

海量 11 需求逻辑复制性能优化

Fri, 06 Feb 2026 14:30:00 +0800

1 简介

1.1 目的

逻辑复制是一种在多个数据库实例之间复制数据的功能，通常用于从一个数据库实例中，将针对指定表的insert、delete、update等写操作，复制到其他另一个数据库实例。在数据库术语中，统一称逻辑复制的发送方为发布端，称接收方为订阅端。Oracle、Postgresql、Vastbase等数据库产品，均提供逻辑复制功能。

当前版本，逻辑复制性能较低，以tpcc场景为例，发布端40w tmpc时，订阅端的复制速度约10m/s。在滚动升级等场景，通过逻辑复制在不同实例间同步大量数据，要求逻辑复制性能达到70-100m/s。

发布端、订阅端均存在性能瓶颈，均需要优化。但是，由于交付时间较短，以及订阅端方案仍有瑕疵等因素，本版本交付发布端性能优化，下版本交付订阅端性能优化。

1.2 适用范围

本文主要用于向开发、测试等角色，介绍G100 3.0.9 psu2及之后版本，逻辑复制的性能优化的设计方向与使用方法。

1.3 术语定义、首字母缩写词和缩略语

发布端：逻辑复制场景，发送数据方。
订阅端：逻辑复制场景，接收数据方。

1.3 参考资料

Vastbase G100产品文档中逻辑复制使用介绍：https://docs.vastdata.com.cn/zh_CN/VastbaseG100/V3.0.8/1/f5c2ae8eb9744d429ad39c02438addf6

2 G100审计功能重构

2.1 功能简述

需求背景：逻辑复制使用

使用逻辑复制的流程如下：

发布端：配置逻辑复制

# 设置wal日志详细级别，设计身份等参数，重启集群
gs_guc set -D $PGDATA -c 'wal_level=logical'
gs_guc set -D $PGDATA -h "host all all 0.0.0.0/0 md5"
gs_guc set -D $PGDATA -h "host replication all 0.0.0.0/0 md5"
vb_ctl restart -D $PGDATA

发布端：创建表

CREATE TABLE pt1(c1 INT,c2 TEXT);
CREATE TABLE pt2(c1 INT, c2 TEXT);

发布端：创建发布，即指定哪些表需复制
```
CREATE PUBLICATION pub1 FOR TABLE pt1,pt2;
```
发布端：创建逻辑复制槽，用于存储复制状态等信息

海量透明加密设计

Mon, 23 Mar 2026 20:52:00 +0800

1 透明加密

1.1 功能简述

关于透明加密的基本概念，请看需求文档。
用户使用透明加密的示例如下：

CREATE TABLE t1 (c1 TEXT, c2 TEXT);

CREATE ENCRYPTION KEY tde_key WITH (source=local, password='pass.123');
CREATE ENCRYPTION POLICY ep1 FRO t1 KEY tde_key;

INSERT INTO t1 VALUES ('data1', 'data2');
INSERT INTO t1 VALUES ('data1', 'data2');
SELECT * FROM t1;

1.2 实现方案

1.2.1 整体架构

透明加密的核心目标，是通过数据加密方案，解决攻击者绕过数据库安全机制，直接从磁盘窃取数据的问题。
在加密数据后，需要确保不影响内核在数据上进行计算。因此，需要在存储层底层，对数据进行加密。另外，为确保存储底层能够识别哪些数据加密，哪些数据不加密，以及使用什么算法加密等，上层需传递加密信息。透明加密逻辑架构如下：

1.2.2 工作流程

为适配存储底层设计，同时兼顾加密性能，以Page为粒度进行加密，并且，在Page中，存储加密信息。

1.2.3 详细流程

一、启动进程

在启动进程阶段，故障恢复时，如果回放到属于加密表的xlog，涉及到解密Page，因此，需在故障恢复前加载密钥。

main # 1. 启动数据库进程（基于pg-16代码）
 PostmasterMain # 2. 启动postmaster进程
 SelectConfigFiles # 3. 读取GUC文件
 'tde_load_encryption_key' # 4. 读取密钥文件（后文介绍密钥如何生成）
 SysLogger_Start
 StartupDataBase # 5. 开始故障恢复
 StartupProcessMain
 StartupXLOG
 ReadControlFile
 PerformWalRecovery
 for loop:
 ReadRecord # 6. 读取xlog
 ApplyWalRecord # 7. 重放xlog
 GetRmgr.rm_redo
 ...
 heap_xlog_insert
 XLogReadBufferForRedo
 XLogReadBufferForRedoExtended
 XLogReadBufferExtended
 ReadBufferWithoutRelcache
 ReadBuffer_common
 smgrread # 8. 读取数据文件
 # 需解密，后文统一介绍
 ServerLoop
 for loop:
 ConnCreate
 BackendStartup
 BackendRun
 PostgresMain # 9. 启动postgres进程
 StartCheckpointer
 StartBackgroundWriter
 StartChildProcess
 AuxiliaryProcessMain
 BackgroundWriterMain # 10. 启动bgwriter进程

二、生成密钥

当前版本，所有表，使用同一个数据密钥。因此，暂时无需新增系统表，存储密钥对象。

海量透明加密需求

Fri, 20 Mar 2026 10:47:00 +0800

1 简介

1.1 目的

透明加密特性提供数据加密功能，核心原理是在数据库将数据存储至磁盘时，先加密再存储。
本需求将从0设计透明加密特性，在保障功能、性能、易用性、可用性、可维护性、可扩展性等的前提下，让特性达到商用标准。

1.2 适用范围

Vastbase V5版本。

1.3 术语定义、首字母缩写词和缩略语

TDE：Transparent Data Encryption，透明数据加密，由数据库提供的数据加密特性

1.4 参考资料

oracle 透明加密特性：https://docs.oracle.com/en/database/oracle/oracle-database/26/dbtde/preface.html
sql server 透明加密特性：https://learn.microsoft.com/en-us/sql/relational-databases/security/encryption/transparent-data-encryption?view=sql-server-ver17
oceanbase 透明加密特性：https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000004475958
kingbase 透明加密特性：https://docs.kingbase.com.cn/cn/KES-V9R1C10/safe/transparent-data-Encyption
dm8 透明加密特性：https://eco.dameng.com/document/dm/zh-cn/pm/storage-encryption.html#7.1.1%20%E5%85%A8%E5%BA%93%E5%8A%A0%E5%AF%86
gaussdb 透明加密特性：https://support.huaweicloud.com/intl/zh-cn/fg-gaussdb-dist-v8/gaussdb-18-0019.html

2 透明加密

2.1 功能简述

一、基本原理

通常，用户将数据传输给数据库后，数据库将数据存储到磁盘。攻击者可能利用多种数据库内部或外部漏洞，例如操作系统漏洞等，绕过数据库安全机制，直接从磁盘读取数文件，窃取用户数据。

透明加密，是一种由数据库提供的加密特性，可有效解决攻击者从磁盘窃取数据的问题。开启透明加密后，数据库将数据存储到磁盘时，先加密数据，再存储数据密文；数据库从磁盘读取数据时，先解密数据密文，再进行其他计算。用户访问透明加密表时，包括存储、读取数据等，与访问普通表无任何区别，加密和解密过程由数据库自动完成，即对用户透明。

二、竞品分析

几乎所有商用关系数据库中，都支持透明加密特性，包括oracle, sql server, oceanbase, kingbase, dm8等，postgresql不支持透明加密特性。
使用透明加密时，通常包括3个阶段：

定义用于加密的密钥
使用SQL语法，定义哪些对象需加密，不同产品，定义加密对象的粒度不同
使用SQL语法，访问透明加密表，以及进行其他运维等操作

各产品中，定义加密对象的SQL语法如下：

-- 一、oracle
CREATE TABLE t1(c1 INT, c2 TEXT ENCRYPT);
CREATE TABLESPACE ts1 DATAFILE .. ENCRYPTION USING 'AES192' ENCRYPT;
-- 二、sql server
CREATE DATABASE ENCRYPTION KEY WITH ALGORITHM = AES_256 ..
ALTER DATABASE db1 SET ENCRYPTION ON;
-- 三、oceanbase
CREATE TABLESPACE ts1 encryption = 'y'; -- mysql cmpt
CREATE TABLESPACE ts1 ENCRYPTION USING 'aes-256'; -- oracle cmpt
-- 四、kingbase
CREATE TABLESPACE ts .. WITH (ENCRYPTION = TRUE);
CREATE TABLE ts .. ENCRYPTED BY 'this is a key';
-- 五、dm8
intdb .. ENCRYPT_NAME ..
CREATE TABLESPACE .. ENCRYPT WITH ..
CREATE TABLE t1 (c1 INT, c2 INT ENCRYPT WITH ..);
-- 六、gaussdb
CREATE TABLE t1 .. WITH (enable_tde=on);

各产品中，按定义加密对象的粒度，区别如下：

海量 mac 设计

Mon, 23 Mar 2026 21:41:00 +0800

1 强制访问控制

1.1 功能简述

从实现的角度看，当用户执行SQL时，强制访问控制主要实现以下功能：

CREATE ACCESS POLICY ..：在系统表中，记录ACCESS POLICY，以及其中的LABLE等信息
CREATE TABLE ..：创建表时，如果设置acess_policy字段，则自动为表新增1列隐藏列，列名为access_label
INSERT ..：向表插入数据时，根据当前用户的write_label，自动为数据生成access_label列的值。
SELECT ..：从表查询数据时，根据当前用户的read_label，自动为查询语句添加过滤条件has_mac_permission(access_label, read_label)

另外，如果为表设置访问策略，需在索引中同时设置访问策略：

CREATE INDEX ..：自动为索引新增1列，列名为access_label

对于一些其他语法，也许单独适配，包括：

COPY ..：自动修改旧数据的access_label值

1.2 实现方案

1.2.1 整体流程

本文重点从源码角度，介绍强制访问控制策略如何基于隐藏列，实现强制访问控制，包括：创建、填充、匹配隐藏列等流程。
核心功能的大致流程如下：

User Vastbase Disk
+---------------------------------------------------+---------------------------------------------------------+
# 管理员
| 1. CREATE ACCESS POLICY .. LEVEL .. LABEL .. --> |
 | 2. 存储access policy至系统表vb_access_policy -->
 | 3. 存储access level至系统表vb_access_level -->
 | 4. 存储access label至系统表vb_access_label -->
| 5. CREATE TABLE .. (access_policy=..) --> |
 | 6. 识别是否设置access_policy
 | 7. 自动添加隐藏列access_label
 | 8. 存储access_policy至系统表pg_class -->
 | 9. 存储accessl_label定义至系统表pg_attribute -->
| 10. CREATE USER ..
 ACCESS POLICY .. READ LABEL .. WRITE LABEL --> |
 | 11. 存储access_policy, read_label, write_label至系统表pg_authid -->
# 普通用户
| 12. vsql -U username -W password --> |
| 14. set read_label = .. / write_label = .. --> |
 | 15. 查询pg_authid，判断read_label/write_label是否合法 <--
 | 16. 设置临时的read_label/write_label
 | 17. 如何用户未自动设置read_label/write_label，自动根据pgauthid设置
| 18. INSERT .. --> |
 | 19. 查询pg_class，判断表是否有access_policy <--
 | 20. 自动为隐藏列赋值，取值为write_label
| 21. SELECT .. --> |
 | 22. 查询pg_class，判断表是否有access_policy <--
 | 23. 语义分析
 | 24. 查询重写：自动新增过滤条件：WHERE has_mac_permission(access_label, read_label)
 | 24. 计划执行：扫描Tuple，根据过滤条件，过滤不满足权限检查的Tuple

1.2.2 详细流程

一、创建策略

当用户创建策略时，例如：

海量 mac 需求

Mon, 23 Mar 2026 21:40:00 +0800

1 简介

1.1 目的

本文主要包括以下关键内容：

介绍访问控制的基本概念
调研其他厂商实现强制控制的方式
设计Vastbase强制访问控制特性，介绍如何使用强制访问特性

1.2 适用范围

Vastbase V5版本。

1.3 术语定义、首字母缩写词和缩略语

MAC：Mandatory Access Control，强制访问控制，主体访问客体时，基于主体、客体属性，强制控制访问权限。
DAC：Discretionary Access Control，自主访问控制，数据拥有者可自行设置访问权限。

1.4 参考资料

oracle 强制访问控制（标签访问控制 RLS）：https://docs.oracle.com/en/database/oracle/oracle-database/26/olsag/part1.html#GUID-C20C62AE-2A30-45F9-AEEA-52A0D3286FBA
oceanbase 强制访问控制（兼容oracle）：https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000004475944
kingbase 强制访问控制：https://bbs.kingbase.com.cn/kingbase-doc/v8.6.7.24/safety/safety-guide/label-and-mac.html
dm 强制访问控制：https://eco.dameng.com/document/dm/zh-cn/pm/mandatory-access-control.html
GB/T-20009-数据库管理系统安全评估准则：https://drive.weixin.qq.com/s?k=AHUAfwdSAA82aDcvvD
postgresql 行级访问控制 RLS：https://www.postgresql.org/docs/current/ddl-rowsecurity.html

2 强制访问控制

2.1 功能简述

一、基本概念

访问控制的定义：对主体访问客体的行为，系统按照安全策略进行限制与管理的安全机制。
按安全策略分类，可将访问控制分为很多类，其中，常见的策略有：

自主访问控制DAC：客体的拥有者，可自行向其他主体赋予访问权限。
强制访问控制MAC：系统为主体、客体分配安全标签，通过主体、客体的安全标签控制访问权限，很多情况下，即使客体的拥有者也无法向其他主体赋予访问权限。
角色访问控制RBAC：不在本文讨论范围。

在数据库领域，主体通常指数据库用户，客体通常指数据库对象，例如DATABASE、SCHEMA、TABLE、COLUMN、ROW、FUNCTION等。
自主访问控制比较成熟，几乎所有关系数据库，都提供自主访问控制特性，例如，TABLE（客体）的属主（主体），可通过GRANT .. TO ..等语法，为其他用户（主体）赋予权限。
强制访问控制理论比较成熟，但是，除oracle支持强制访问控制，以及oceanbase等几款产品兼容oracle强制访问控制之外，大部分关系数据库不支持强制访问控制。

实现强制访问控制时，通常将主体、客体的安全标签，简化为安全等级，当主体访问客体时，比较主体、客体等级高低，以判断访问权限。在机密性场景，遵循不上读、不下写原则。在完整性场景，遵循不下读、不上写原则。

本需求将从0设计强制访问控制特性，在保障功能、性能、易用性、可用性、可维护性、可扩展性等的前提下，让特性达到商用标准。

二、竞品分析

oracle支持强制访问控制，客体是ROW，即行级强制访问控制。oceanbase、kingbase、dm的访问控制，与oracle一致。sql server、postgresql等其他产品不支持强制访问控制。
oracle强制访问控制使用示例如下：

-- 1 定义策略
SA_SYSDBA.CREATE_POLICY(policy_name => 'p1', column_name => 'lab_col1')
-- 2 定义级别
SA_COMPONENTS.CREATE_LEVEL(policy_name => 'p1', level_num => 1, short_name => 'x1', long_name => 'x1');
SA_COMPONENTS.CREATE_LEVEL('p1', 20, 'x2', 'x2');
SA_COMPONENTS.CREATE_LEVEL('p1', 30, 'x3', 'x3');
-- 3 定义组件
SA_COMPONENTS.CREATE_LEVEL(policy_name =>'p1', comp_num => 100, short_name => 'sec', long_name => 'security');
SA_COMPONENTS.CREATE_LEVEL('p1', 200, 'stg', 'storage');
-- 4 创建标签
SA_SYSDBA.CREATE_LABEL(policy_name => 'p1', label_tag => 'sec_normal', label_value => 'x1:security', data_label => TRUE);
SA_SYSDBA.CREATE_LABEL('p1', 'sec_leader', 'x3:security', false);
-- 5 为主体设置属性
SA_USER_ADMIN.SET_LEVELS(policy_name => 'p1', user_name => 'user1', max_level => 'x2', min_level => 'x1', default_level => 'x1', row_level => 'x1');
SA_USER_ADMIN.SET_COMPARTMENTS(policy_name => 'p1', user_name => 'user1', read_comps => 'sec', write_comps => 'sec', default_comps => 'sec', row_comps => 'sec');
-- 6 为客体设置属性
CREATE TABLE t1(c1 INT);
SA_USER_ADMIN.APPLY_TABLE_POLICY(policy_name=> 'p1', shema_name => 's1', table_name => 't1', table_options => 'READ_CONTROL, WRITE_CONTROL, CHECK_CONTROL', label_function => 'f_create_t1_label(level, comp)');
-- 7 插入数据（主动定义标签）
INSERT INTO t1 (c1, lab_col1)
VALUES (1, CHAR_TO_LABEL('p1', 'x1:sec'));

三、实现思路

在数据库领域，除oracle外，没有其他可借鉴的方案。oracle的设计，太复杂，易用性太低。
本需求将参考oracle的思想，简化oracle设计。

海量 15 设计逻辑复制性能优化

Wed, 06 May 2026 17:48:00 +0800

1 逻辑复制性能优化

1.1 功能简述

原理：
假设，发布端执行INSERT INTO t1 VALUES(1,'data1')，更改1行数据，产生1条wal日志。逻辑复制功能将读取这条wal，解码并生成1条message，将message发送至订阅端。订阅端应用这条message，等价于重新执行INSERT INTO t1 VALUES(1,'data1')。
问题：
308.1 psu1以及之前版本，逻辑复制性能较低。以tpcc场景为例，40w tmpc时，发布端产生wal日志速度约100m/s，订阅端的复制速度约10+m/s。
客户：
滚动升级场景中，备机停机升级，主机持续执行业务，备机升级后使用逻辑复制追赶主机数据。长存客户场景，主机产生wal日志速度约40-50m/s，旧版本逻辑复制速度10+m/s，由于逻辑复制速度太慢，备机无法追赶主机，最终导致升级失败。
优化
本需求设计与实现并行逻辑复制机制，大幅提高逻辑复制速度，在上述场景中，订阅端速度可达到70-90m/s。并行逻辑复制分为3个关键子机制：
1. 发布端多线程并行解码
2. 发布端与订阅端流复制传输协议
3. 订阅端多线程并行应用

1.2 实现方案

本章分3个章节，分别介绍3个关键子机制。

1.2.1 发布端并行解码机制

在旧版本中，发布端采用串行解码机制，只有1个walsender线程，串行执行：1次读取1条wal日志，解码1条wal生成1条message，缓存或发送message。

旧版本代码中，发布端有实现并行解码的代码，但是，无法直接使用，订阅端只能是工具，不能是数据库实例，且存在大量问题。本需求基于旧版本并行解码，实现权限的并行解码机制。

并行解码机制，将启动多个线程，包括1个reader、多个decoder、1个walsender，它们的功能如下：

reader：1次读取1条wal日志，将wal发送给decoder
decoder：1次接收1条reader发送的wal，解码生成message，将message发送给walsender
walsender：1次接收1条decoder发送的message，将message发送给订阅端

线程架构图如下：

lsn 1-10
 d1 1 4 collect 阻塞 1
 d2 2 5 2
 d3 3 6 3

1.2.2 发布端与订阅端流复制协议

一、握手阶段

订阅端与发布端建立连接时，订阅端会根据CRETE SUBSCRIPTION语法设置的参数，生成连接命令，根据连接命令，发布端和订阅端决定采用哪种通信协议，究竟是采用事务复制协议（旧版本）还是流复制协议（新版本）。

事务复制协议（旧版本）

订阅端发送的连接命令如下：

START_REPLICATION SLOT "$slot_name" LOGICAL $start_lsn
 (proto_version '3', publication_names '"$publication_name"')

流复制协议（新版本）

如果CRETE SUBSCRIPTION时，指定worker_number>1，即启用并行逻辑复制机制，将使用新的连接命令，订阅端发送的连接命令如下：

START_REPLICATION SLOT "$slot_name" LOGICAL $start_lsn
 (proto_version '3', publication_names '"$publication_name"'， streaming 'extreme', parallel-decode-num '20', max-recordbuffer-in-memory '100', max-txn-in-memory '100')

上述命令中新增了多个参数：

海量 15 需求逻辑复制性能优化

Wed, 06 May 2026 10:05:00 +0800

1 简介

1.1 目的

当前版本，逻辑复制性能较低。以tpcc场景为例，发布端40w tmpc时，产生wal日志速度约100+m/s，订阅端的复制速度约10+m/s。在滚动升级场景，主机和备机可能是不同的产品版本，主备复制数据时，不能使用物理复制，只能使用逻辑复制。在长存客户场景中，主机产生wal日志速度在50+m/s左右，备机使用逻辑复制，复制速度约10+m/s，备机将追赶不上主机进度，导致滚动升级失败。

主a 备b 备c
+-----------------------+---------------------------+-----------------------------
|1 ==>执行业务
|2 开始滚动升级，暂停流复制 lag=400M
 |3 暂停流复制（物理复制）
|4 创建逻辑复制槽 lsn1=1G
 |5 恢复流复制
 |6 物理复制追赶，到逻辑复制槽
 |6 开始单节点升级
 |7 [升级] 停止进程
 |8 [升级] 替换二进制等
 |9 [升级] 启动进程
 |10 单节点升级成功
|11 持续执行业务 lsn2=2G
 |12 创建订阅，启动逻辑复制，lsn1=1G
 |13 逻辑复制开始追赶（初始差距：lsn2-lsn1)
|14 持续执行业务 lsn3=2.5G
 |15 逻辑复制持续追赶 lsn=1.6G
|16 (可重置lag)
 |17 差距持续缩小（从lsn2-lsn1降低到lag）
|18 发送停机命令
|19 停止业务
 |20 差距持续缩小，从lag缩小至0
|21 停止进程成功

因此，需大幅提高逻辑复制速度，在长存客户场景中，逻辑复制速度至少需达到70+m/s。目前，发布端、订阅端均存在性能瓶颈，均需要优化。

1.2 适用范围

G100 3.0.9 psu2及之后版本

1.3 术语定义、首字母缩写词和缩略语

发布端：逻辑复制场景，发送数据方。
订阅端：逻辑复制场景，接收数据方。

1.4 参考资料

Vastbase G100产品文档中逻辑复制使用介绍：https://docs.vastdata.com.cn/zh_CN/VastbaseG100/V3.0.8/1/f5c2ae8eb9744d429ad39c02438addf6
oracle goldengate并行复制：https://oracle.hydrogen.sagittarius.connect.product.adaptavist.com/en/database/goldengate/core/26/coredoc/replicat-parallel-replicat.html#GUID-F1CD8E03-8DA1-4A78-95D3-C0516F1DA09A