<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Database on Kernel Notes</title><link>https://my-blog.j8465383071.workers.dev/categories/database/</link><description>Recent content in Database on Kernel Notes</description><generator>Hugo -- 0.147.7</generator><language>zh-cn</language><lastBuildDate>Fri, 23 Oct 2026 15:49:45 +0800</lastBuildDate><atom:link href="https://my-blog.j8465383071.workers.dev/categories/database/index.xml" rel="self" type="application/rss+xml"/><item><title>V3-G100透明加密适配硬件密码机</title><link>https://my-blog.j8465383071.workers.dev/posts/database/v3-g100%E9%80%8F%E6%98%8E%E5%8A%A0%E5%AF%86%E9%80%82%E9%85%8D%E7%A1%AC%E4%BB%B6%E5%AF%86%E7%A0%81%E6%9C%BA/</link><pubDate>Fri, 23 Oct 2026 15:49:45 +0800</pubDate><guid>https://my-blog.j8465383071.workers.dev/posts/database/v3-g100%E9%80%8F%E6%98%8E%E5%8A%A0%E5%AF%86%E9%80%82%E9%85%8D%E7%A1%AC%E4%BB%B6%E5%AF%86%E7%A0%81%E6%9C%BA/</guid><description>&lt;h1 id="v3-g100透明加密适配硬件密码机">V3-G100透明加密适配硬件密码机&lt;/h1>
&lt;p>对硬件适配的代码做梳理性总结，同时自己仔细过一遍。&lt;/p>
&lt;blockquote>
&lt;p>软加密的详细设计请看另一篇文档&lt;/p>&lt;/blockquote>
&lt;h2 id="1-透明加密适配硬件密码机">1. 透明加密适配硬件密码机&lt;/h2>
&lt;p>依托PSU3实现的透明加密模块，在此基础上适配BJCA密码机，主要是使用BJCA的密码机加解密以及密钥管理能力实现更安全的透明加密。很多用户都会有这种诉求，通常不会只依赖数据库自带的透明加密特性。&lt;/p>
&lt;h3 id="11-功能简述">1.1 功能简述&lt;/h3>
&lt;p>语法上与软加密使用方式相同，只是在建立密钥的通过option进行区分：&lt;/p>
&lt;div class="highlight">&lt;pre tabindex="0" class="chroma">&lt;code class="language-python" data-lang="python">&lt;span class="line">&lt;span class="cl">&lt;span class="n">create&lt;/span> &lt;span class="n">encryption&lt;/span> &lt;span class="n">key&lt;/span> &lt;span class="n">k1&lt;/span> &lt;span class="k">with&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="n">source&lt;/span>&lt;span class="o">=&lt;/span>&lt;span class="n">hsm&lt;/span>&lt;span class="p">);&lt;/span> &lt;span class="c1">##hsm（Hardwire-Security-Module)表示使用硬件设备进行密钥创建，以后使用此密钥的策略都走硬件路径；软加密这里是local，意为本地加解密。&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">&lt;span class="n">create&lt;/span> &lt;span class="n">encryption&lt;/span> &lt;span class="n">policy&lt;/span> &lt;span class="n">p1&lt;/span> &lt;span class="n">key&lt;/span> &lt;span class="n">k1&lt;/span> &lt;span class="n">algorithm&lt;/span> &lt;span class="n">sm4_ctr&lt;/span> &lt;span class="n">mac_algorithm&lt;/span> &lt;span class="n">hmac_sm3&lt;/span>&lt;span class="p">;&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">&lt;span class="n">create&lt;/span> &lt;span class="n">table&lt;/span> &lt;span class="n">t1&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="n">a&lt;/span> &lt;span class="n">text&lt;/span>&lt;span class="p">)&lt;/span> &lt;span class="n">secured&lt;/span> &lt;span class="n">by&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="n">encrypt_policy&lt;/span>&lt;span class="o">=&lt;/span>&lt;span class="s1">&amp;#39;p1&amp;#39;&lt;/span>&lt;span class="p">);&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">&lt;span class="n">insert&lt;/span> &lt;span class="n">into&lt;/span> &lt;span class="n">t1&lt;/span> &lt;span class="n">values&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="s1">&amp;#39;tde_plain&amp;#39;&lt;/span>&lt;span class="p">);&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">&lt;span class="n">select&lt;/span> &lt;span class="n">a&lt;/span> &lt;span class="kn">from&lt;/span> &lt;span class="nn">t1&lt;/span>&lt;span class="p">;&lt;/span>
&lt;/span>&lt;/span>&lt;/code>&lt;/pre>&lt;/div>&lt;p>这里需要说明的是，一个集群中只能部署一种类型的密钥，如果key的source指定为local，就无法再创建hsm的硬件加密密钥，这样处理的原因是，如果混用不同来源的密钥，很容易造成一些未知的错误，导致加解密状态混乱，因此现在的设计时，严格限制密钥的单一来源；如上所述，就会带来一个存量迁移的路径，例如之前使用软加密，现在向前一到硬件加密去。这个诉求也很常见，后面会讲到具体的做法。&lt;/p>
&lt;p>如何限制单一密钥来源？后面的章节会结合代码树分析，主要是在实例启动的时候去做限制。&lt;/p>
&lt;p>友商关于这个模块的实现，在内核中大致的思路是类似的：&lt;/p>
&lt;ul>
&lt;li>达梦、金仓：内核通过调用统一的接口，来实现对硬件加密设备的连接，从而不必关心不同设备所带来的差异，具体的架构类似于：&lt;/li>
&lt;/ul>
&lt;div class="highlight">&lt;pre tabindex="0" class="chroma">&lt;code class="language-bash" data-lang="bash">&lt;span class="line">&lt;span class="cl">-------------- 可能有接口差异 ------------ 提供统一的API ------------
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">硬件加密机 --------&amp;gt; 封装库整合 --------------&amp;gt; 内核
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">-------------- ------------ ------------
&lt;/span>&lt;/span>&lt;/code>&lt;/pre>&lt;/div>&lt;p>但是对于封装库，达梦和金仓都选择了一个自定义的头文件类型，由用户去自行做三方硬件设备的适配工作，这样的好处是研发连适配具体的哪个硬件都不用关心了，而且也不需要关心未来第三方的更新等等，缺点就是把复杂度转移给了用户，从体验上感觉不好。&lt;/p>
&lt;p>本次硬件适配的方案时由内核以插件的形式自带三方封装库，这样的好处是用户只需要按照指定步骤进行配置即可，不用自己创建头文件，缺点就是未来一旦第三方厂商出现更新，或者随着越来越多种类的第三方适配，代码库可能会变的更多更杂，主要原因还是0018标准不够清晰和全面，导致各个厂家在实现的时候，仍然有一定的差异化。&lt;/p>
&lt;p>如前所述，使用可以概括为：&lt;/p>
&lt;ul>
&lt;li>密钥在密码机中生成，现阶段使用的是kek类型的密钥，密钥不出密码机，内核只持有加密后的密钥密文；&lt;/li>
&lt;li>软硬件路径互斥，集群中只能存在一种类型的加密密钥；&lt;/li>
&lt;li>算法集主要以国密算法为主，本次实现使用的是SM4算法，覆盖的模式有CTR/GCM/CBC，同时还支持完整性校验算法HMAC_SM3；&lt;/li>
&lt;li>封装库为common_cipher.so，封装库的实现请参考另外的章节；&lt;/li>
&lt;li>使用BJCA的密码机服务库libSDF.so；&lt;/li>
&lt;/ul>
&lt;h2 id="12-实现方案">1.2 实现方案&lt;/h2>
&lt;p>本节主要通过函数调用树的方式，来介绍具体的实现路径。&lt;/p>
&lt;h3 id="启动阶段">【启动阶段】&lt;/h3>
&lt;div class="highlight">&lt;pre tabindex="0" class="chroma">&lt;code class="language-c++" data-lang="c++">&lt;span class="line">&lt;span class="cl">&lt;span class="n">PostmasterMain&lt;/span>&lt;span class="p">.&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">校验&lt;/span>&lt;span class="n">enable_tde主特性开关&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="k">if&lt;/span> &lt;span class="p">(&lt;/span>&lt;span class="n">enable_tde&lt;/span>&lt;span class="p">)&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">tde_hw_register_exit_hook&lt;/span>&lt;span class="p">()&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">注册进程退出回调，因为在进程关闭时需要同步调用密码机的关闭接口，这里是无条件创建的；&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="k">if&lt;/span> &lt;span class="p">(&lt;/span>&lt;span class="n">tde_hw_conf_present&lt;/span>&lt;span class="p">()&lt;/span> &lt;span class="o">&amp;amp;&amp;amp;&lt;/span> &lt;span class="o">!&lt;/span>&lt;span class="n">tde_key_info_file_exists&lt;/span>&lt;span class="p">())&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">这里判断硬件配置文件的存在性，如果存在这个配置文件，就认为需要走硬件路径；&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="k">if&lt;/span> &lt;span class="p">(&lt;/span>&lt;span class="n">tde_hw_startup&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="n">FATAL&lt;/span>&lt;span class="p">))&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">这里就尝试打开密码机设备，&lt;/span>&lt;span class="n">FATAL参数说明如果这里执行失败&lt;/span>&lt;span class="err">，实例会&lt;/span>&lt;span class="n">FATAL掉&lt;/span>&lt;span class="err">，这样设计的目的是为了不在异常的前提下提供任何服务，避免出现更严重的问题；&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="k">if&lt;/span> &lt;span class="p">(&lt;/span>&lt;span class="n">tde_hw_is_active&lt;/span>&lt;span class="p">())&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">这里是有一个&lt;/span>&lt;span class="n">static进程级别的变量&lt;/span>&lt;span class="err">，标识密码机是否已经处于激活状态，因为密码机状态可能随时变化，采用原子读的方式读取这个变量，如果已经激活，就直接返回，算是一个快路径，除了刚启动，大多数；&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">pthread_mutex_lock&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="o">&amp;amp;&lt;/span>&lt;span class="n">tde_hw_startup_lock&lt;/span>&lt;span class="p">);&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">这里对激活状态加锁，避免多个进程同时做这个操作；&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">tde_hw_startup_locked&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="n">level&lt;/span>&lt;span class="p">)&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">在锁内去执行启动流程，这里的&lt;/span>&lt;span class="n">level是FATAL&lt;/span>&lt;span class="err">；&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">_atomic_load_n&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="o">&amp;amp;&lt;/span>&lt;span class="n">tde_hw_active_flag&lt;/span>&lt;span class="p">,&lt;/span> &lt;span class="n">__ATOMIC_ACQUIRE&lt;/span>&lt;span class="p">)&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">dlopen&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="n">lib_path&lt;/span>&lt;span class="p">)&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">tde_hw_api&lt;/span>&lt;span class="p">.&lt;/span>&lt;span class="n">module_init&lt;/span>&lt;span class="p">()&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">pthread_mutex_unlock&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="o">&amp;amp;&lt;/span>&lt;span class="n">tde_hw_startup_lock&lt;/span>&lt;span class="p">)&lt;/span>
&lt;/span>&lt;/span>&lt;/code>&lt;/pre>&lt;/div>&lt;h3 id="创建密钥">【创建密钥】&lt;/h3>
&lt;div class="highlight">&lt;pre tabindex="0" class="chroma">&lt;code class="language-c++" data-lang="c++">&lt;span class="line">&lt;span class="cl">&lt;span class="n">CreateEncryptionKey&lt;/span>&lt;span class="p">()&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">require_tde_enabled_and_superuser&lt;/span>&lt;span class="p">()&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">主特性开关以及权限控制&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="k">if&lt;/span> &lt;span class="p">(&lt;/span>&lt;span class="n">IsTranscactionBlock&lt;/span>&lt;span class="p">())&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">如果在事务块中则报错，原因在于创建密钥会写密钥文件并且写&lt;/span>&lt;span class="n">WAL日志&lt;/span>&lt;span class="err">，在主备条件下会向备机同步，这两个操作是无法撤销的，同时如果是硬件路径，也会在密码机上创建密钥，同样无法撤销&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">ERROR&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">check_catalog_if_has_key_or_hw_key&lt;/span>&lt;span class="p">()&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">这里对表进行一次扫描确认是否存在已有的&lt;/span>&lt;span class="n">key以及是否存在硬件key&lt;/span>&lt;span class="err">，注意这里是全表扫&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">tde_remove_orphan_keyfile&lt;/span>&lt;span class="p">()&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">清理孤儿密钥文件，当&lt;/span>&lt;span class="n">catalog为空&lt;/span>&lt;span class="err">，但是存在&lt;/span>&lt;span class="n">keyfile的时候&lt;/span>&lt;span class="err">，清理这个&lt;/span>&lt;span class="n">keyfile&lt;/span>&lt;span class="err">，只在软件路径下执行，这个会在后面单独说明一下&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="k">if&lt;/span> &lt;span class="p">(&lt;/span>&lt;span class="n">use_hw&lt;/span>&lt;span class="p">)&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="k">if&lt;/span> &lt;span class="p">(&lt;/span>&lt;span class="o">!&lt;/span>&lt;span class="n">tde_hw_startup&lt;/span>&lt;span class="p">(&lt;/span>&lt;span class="n">ERROR&lt;/span>&lt;span class="p">))&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">这里的错误级别是&lt;/span>&lt;span class="n">ERROR&lt;/span>&lt;span class="err">，原因在于创建&lt;/span>&lt;span class="n">key的时的错误只影响当前语句&lt;/span>&lt;span class="err">，而不是一种状态不可信，是可重试的&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">ERROR&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">hw_append_key_entry&lt;/span>&lt;span class="p">()&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">将新建的密钥加入缓存和密钥文件，关于密钥文件的格式会在后面说明&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">simple_heap_insert&lt;/span>&lt;span class="p">()&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="k">if&lt;/span> &lt;span class="p">(&lt;/span>&lt;span class="o">!&lt;/span>&lt;span class="n">TdeKeyInfoWriteWAL&lt;/span>&lt;span class="p">())&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">写创建密钥的&lt;/span>&lt;span class="n">WAL日志失败&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">hw_remove_key_entry&lt;/span>&lt;span class="p">()&lt;/span> &lt;span class="err">#&lt;/span> &lt;span class="err">把刚刚写入的密钥信息删除&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">ERROR&lt;/span>
&lt;/span>&lt;/span>&lt;/code>&lt;/pre>&lt;/div>&lt;h3 id="创建密钥-1">【创建密钥】&lt;/h3>
&lt;div class="highlight">&lt;pre tabindex="0" class="chroma">&lt;code class="language-c++" data-lang="c++">&lt;span class="line">&lt;span class="cl">&lt;span class="n">CreateEncryptionPolicy&lt;/span>&lt;span class="p">()&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">check_algo_for_policy&lt;/span>&lt;span class="p">()&lt;/span>
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> &lt;span class="n">simple_heap_insert&lt;/span>&lt;span class="p">()&lt;/span>
&lt;/span>&lt;/span>&lt;/code>&lt;/pre>&lt;/div>&lt;p>这里实际上只做catalog更新&lt;/p></description></item></channel></rss>