SGX Developer Guide - Reading Notes

Schenk
NotesSGX

更新于：2022年4月28日

字数：6.2k字

时长：22分钟
次浏览

专业名词

  • ECall：“Enclave Call”一个调用enclave内部接口函数的操作

  • OCall：“Out call”从enclave内部向外部的应用发起调用的操作

  • Trusted：任何在enclave内部 trusted 环境下执行的代码或者数据结构

  • Trusted Thread Context：线程的上下文存放在enclave中，主要包括以下几个部分组成：

    • Thread Control Structure（TCS）线程控制结构
    • Thread Data/Thread Local Storage 在enclave中的线程相关的数据
    • State Save Area(SSA) 线程异常处理机制
    • Stack 线程栈

  • Untrusted：指代任何运行在应用的 untrusted 环境下（等价于enclave外部）的代码或者数据结构。

Enclave 编程模型

Enclave开发原则

  • enclave是一个庞大而单一的软件实体，目标在于将对于一个应用而言的可信计算基降低至可信运行时系统，ISV代码和第三方可信库。在上述组件中的任一个bug将会导致enclave的安全问题。
  • 非可信域控制了enclave 接口函数什么时候被调用的顺序。
  • 当调用进入enclave中，是由不可信域来在enclave中选择可信线程上下文去执行。
  • 并不保证传递进去enclave（ecall）中的参数和从enclave向外部发送的参数（ocall）是正确的，因为这是由不可信域提供的。
  • enclave向外部发送的调用 OCall，不能保证不可信函数一定正确地被执行。
  • 任何人都可以加载一个enclave。更为严重的是，攻击者可能使用攻击性应用程序去加载一个enclave，利用该enclave存在的安全漏洞，窃取相关数据。

Enclave文件格式

  • 一个 enclave library 文件包括可信代码和数据部分，当enclave被创建时，这些将会被导入到受保护的 enclave 内存（即EPC）中
  • 在一个enclave文件中，还存在着Intel SGX特定的数据结构，enclave元数据：
    • 元数据没有导入EPC中，而是被不可信的加载器加载，并决定enclave如何导入到EPC中
    • 元数据中定义了可信线程上下文的数量，包括可信堆和可信栈的大小，在enclave初始化的时候，可信堆和可信栈被可信运行时系统初始化
    • 元数据同时包括enclave的签名，这对于enclave的认证和初始化时非常重要的

**注：**不管enclave中定义了多少个可信线程，在设计的过程中不能假设不可信应用将会以特定的顺序去调用 Enclave 中的接口函数。一旦enclave被初始化，一个攻击者可以调用 Enclave 接口函数，以任何可能的顺序去发起调用并且提供相应的输入参数。

Enclave可信计算基

image-20201118224903930

Enclave Interface 函数 (ECalls)

  • enclave无法控制哪个ECall被执行，或者ECall将会以怎样的顺序被调用
  • ISV接口函数仅仅只能在enclave初始化后被调用，这意味着：
    • 任何必要的地址基地址重置被正确地执行。
    • 可信全局数据，例如栈等被正确地初始化。
    • 可信线程的上下文，可信线程被正确地初始化。
    • 不直接说明的可信初始化函数执行完成。（例如ISV全局构造函数）

Enclave的输入

  • Enclave输入和输出可以被不可信的代码观察和修改
  • 为了防止针对输入函数的攻击，软件开发者应该采用加密的方式和完整性检测来保证enclave执行的可信性

当一个encalve函数被调用时：

  • 函数的参数和其他任何通过引用传递的序列化数据参数进入到可信环境中，并且对于攻击者无法访问的。
  • 在参数上进行读写操作，返回值和其他序列化的引用，根据enclave开发者的参数与特殊定义，将不会影响ISV代码和数据的保密和完整性。
    • 参数和返回值，序列化数据被可信运行时分配和管理，不对任何ISV代码和数据进行覆盖。
    • 参数，返回值和序列化引用的大小被ISV所指定。

通过引用传递的输入参数

当ISV接口函数被调用时，输入参数将被停留在enclave中。然而，当一个输入参数通过引用的形式传递，只有引用（或指针）将会放置到enclave中。引用所指向的值停留在外部，并且会不断地变化。例如，一个攻击者可能在enclave检查函数参数后改变所引用的值。

外部Enclave调用 (OCalls)

Enclave无法直接访问OS提供的服务。作为替代的是，encalve必须发起一个OCall将其传递到不可信应用中。

当一个enclave内的ISV函数发起OCall时：

  • OCall仅仅暴露其参数和返回值到不可信域中。
  • 当一个OCall发生时，返回值和任何序列化数据的引用将传递进入可信执行环境中，对攻击者不可以访问。另外enclave需要检查指针。
  • 当一个OCall发生时，可信线程上下文与OCall之前的相同，除了在栈上的数据和易变寄存器上的值。

Enclave签名

在软件中通过enclave建立信任的过程中主要有着以下三种行为：

  • Measurement（度量）：作为enclave在可信环境中初始化时用来验证文件准确性的身份。
  • Attestation（认证）：向其它实体证明当前的环境被正确的初始化。
  • Sealing（数据的密封）：通过某种方式保证可信环境上的数据可以正确地持久化和重新加载。

Enclave签名包含允许Intel SGX硬件检测enclave的完整性是否被篡改的信息，同时可以识别enclave持有人的身份。encalve 签名包含这几个如下的重要字段，对于外部实体的认证非常重要。

  • Enclave Measurement - 一个简单的256位哈希值用来标注代码和放入到enclave中的初始化数据，包括他们放入到EPC中期待的顺序和位置，以及这些页面的安全属性。当enclave代码/数据加载到EPC中，CPU开始计算enclave measurement并且将这个值存储在MRENCLAVE 寄存器中。接着CPU比较MRENCLAVE寄存器中的内容和存放在SIGSTRUCT中的enclave measurement值。当且仅当它们相等的时候，CPU允许enclave被初始化。
  • Enclave所有者的公钥 - 当一个enclave被正确地初始化，CPU将enclave所有者的公钥的hash存放在MRSIGNER寄存器中。MRSIGNER中的内容将会用作enclave所有者的身份证明。被同一个key认证的enclave在MRSIGNER寄存器中的值相同。
  • Enclave的安全版本号（ISVSVN）- enclave所有者对于enclave的每个版本号分配一个安全版本号。安全版本号反映了enclave的安全属性级别，并且需要单调递增，随着安全属性的不断上升。在一个enclave被正确初始化后，CPU记录SVN，并且在远程认证的过程中被使用。一个有着相同安全属性的enclave的不同版本应该分配相同的安全版本号。例如，一个没有解决安全相关bug的新版本enclave需要与旧版本的enclave持有相同的安全版本号。
  • Enclave的产品ID（ISVPRODID）- enclave所有者针对每一个enclave分配一个产品ID。产品ID允许enclave所有者使用相同的enclave所有者身份去分割enclave。当一个enclave被正确的初始化后，CPU记录Product ID，在远程认证的过程中可以被使用。

Enclave认证

本地认证

一个enclave可以请求硬件生成一个证书，即report，其中通过密码学证据证明着enclave存在这个平台上。这个report可以给其他的enclave，让其进行验证report是同一平台上生成。内部enclave之间认证机制使用的是对称密钥，只有验证report结构的enclave和创建enclave report的硬件可以访问到，并且嵌入到硬件平台中。

一个enclave report包含着以下的信息：

  • enclave中的code和初始化数据的measurement。
  • enclave初始化的时候记录ISV证书公钥的哈希值。
  • 用户后来添加的数据。
  • 其他安全相关的状态信息。
  • 上述所有数据的一个签名，可以被生成report的同一平台去进行验证。

本地认证过程

image-20201122114320790

  1. 在上图中，应用A持有enclave A，应用B持有enclave B。在不可信应用A和B为两个enclave建立通信后，enclave B向enclave A发送了MRENCLAVE的值。（应用A和B可以是同一应用）

    有两种方法对于应用而言可以提取enclave的MRENCLAVE measurement:

    • 应用B从enclave B的enclave证书中提取MRENCLAVE的值。
    • enclave B提供了一个接口来导出该值，通过创建一个report。

  2. Encalve A请求硬件生成一份report送至enclave B，并且其中包含着从enclave B获取到的数据。enclave A通过不可信应用将数据发送给enclave B。

  3. 当enclave B收到了来自enclave A的报告，enclave B要求硬件去验证report来确认enclave A和B在同一平台上运行。enclave B从enclave A中提取相应的MRENCLAVE，然后请求硬件生成自己的report，接着发送给enclave A。

  4. enclave A验证enclave B的report，并且验证enclave B和自己运行在同一平台上。

远程 (跨平台) 认证

一个持有enclave的应用可以要求enclave去生成一份report，接着将这份report传到平台服务去生成一种类型的证书，反映着enclave和平台的状态。这种类型的证书被称为quote。这个quote可以传递到平台外的实体，并且使用Intel Enhanced Privacy ID（Intel EPID）签名技术去进行验证。作为结果，CPU的密钥并没有直接从平台内部暴露出去。

一个quote包含这以下的数据：

  • enclave中代码和初始化数据的measurement。
  • enclave初始化的时候记录ISV证书公钥的哈希值。
  • enclave的产品ID和安全版本号。
  • enclave的属性，例如，encalve是否运行在debug mode。
  • enclave中添加的用户数据。提供了一种方式由enclave向外部实体提供数据。
  • 上述所有数据的一个签名，借助于Intel EPID组签名技术。 包含在quote中的enclave 数据（MRENCLAVE, MRSIGNER, ISVPRODID, ISVSVN, ATTRIBUTES等等）在远程认证过程的末尾提供给远程服务使用上。服务提供者将根据这些数据去进行判断是否可信。

EPID

Intel EPID是一种组签名技术，允许平台去匿名签名对象并且可以保护签名者的隐私（如果使用机器的CPUID签名，会导致隐私的泄露）。通过Intel EPID签名技术，组里面的每一个签名者都有他们各自的私钥，但是验证者使用相同的公钥去验证个人的签名。因此，用户无法识别出两个交易是否来自于同一个机构，因为用户无法检测中是组里面哪个成员做了签名。在Intel SGX中，这个组是所有支持Intel SGX平台的集合。

QE

Intel中内嵌了一种特殊的enclave，成为Quoting Enclave（QE），QE验证report正确地按照其MRENCLAVE mesurement值进行创建，然后将它用一个硬件特定的非对称密钥（Intel EPID key）进行签名，输出的内容就是quote。当enclave 系统正在运行的过程中，只有QE有权限访问Intel EPID key。因此quote可以看作直接来自于硬件本身，但是CPU key永远不会暴露到平台外部。

远程认证过程

image-20201122120414342

  1. 当应用需要在平台外部的服务，它首先和外部服务提供系统建立连接。服务提供者发起挑战(包含一个nonce)来证明应用确实运行在enclave中
  2. 应用从应用的enclave请求一份report，并将来自外部服务提供商的nonce传递进enclave中
  3. enclave生成一份report结构，并将其连同一个清单返回给应用，清单包含report中用户数据部分的值以及nonce和用于挑战应答交互的密钥
  4. report发送给QE去做签名
    • QE验证report
    • QE转换report的body转换为quote，并对其使用EPID进行签名
  5. QE返回quote structure
  6. 应用返回quote结构体和其他相关的信息到外部服务者
  7. 外部服务者使用EPID验证公钥去验证quote的签名信息。
  8. 外部服务者对比来自enclave的信息，并与其它可信配置的信息进行比较。判断enclave是否满足条件。其中包括检测enclave是否运行在debug模式，及其的measurement，产品ID和enclave所有人等等。

区分不同的Enclave运行实例

Intel SGX不直接提供一种机制（例如，通过自动生成的REPORT字段）来区分同一个enclave的两个不同的实例。

如果想要尝试的话，可以使用RDRAND函数生成随机数，并作为作为用户数据，嵌入到REPORT中。

Enclave密封

为了保护和持久化数据，提供了一种由enclave软件从特定的enclave中提取key的机制。这个Key只能在特定的平台上被某个enclave生成。enclave 软件使用那个key去在平台上加密数据或者从平台上解密已经存在的数据。我们把这种加密和解密的操作成为密封和解封。

软件密封技术

密封到当前的enclave（依照于enclave度量）

密封到当前enclave 使用enclave measurement的当前版本（MRENCLAVE），当enclave创建的时候，将这个值绑定到密封操作所需要使用的key上。这个绑定操作由硬件执行通过EGETKEY指令。

只有有着相同的MRENCLAVE度量的enclave才能够将密封的数据进行解密。如果enclave的DLL，Dynamic Library，或者Shared Object文件被篡改，那么enclave的measurement将会发生改变。作为影响，密封的key同样会发生变化，数据将不会被还原。

密封到enclave当前的所有者

将数据密封到enclave的当前的所有者需要使用enclave所有者的身份，这个值由CPU在enclave初始化的过程中存储在MRSIGNER寄存器中，并且这个值被绑定到密封数据函数所需要使用到的key中。这个绑定是由硬件通过EGETKEY指令完成。被密封数据函数使用的key同时也被绑定到enclave的产品ID上。产品ID在enclave初始化时存储在CPU中。

当MRSIGNER度量寄存器的值和产品ID相同时，enclave才能解密。 这种机制的好处是：

  • 它允许enclave的所有者对enclave进行升级，但是不需要进行复杂的升级过程来解密之前密封在之前版本的enclave（MRENCLAVE 度量值不同）中的数据，并且重新使用密封到新的版本
  • 它允许来自相同的所有者的enclave实现共享数据

Enclave所有者生产出enclave后，可以为之指定安全版本号。这个安全版本号同样在enclave初始化的时候存储在CPU中。一个enclave在从CPU中获取密封key的请求中必须提供一个相应的安全版本号。一个enclave不能指定一个比它当前安全版本号靠后的enclave，但是encalve可以指定一个在当前安全版本号之前的安全版本号。这个选项使enclave获得了解封之前版本的enclave中的数据，对于enclave软件更新，是有着巨大的好处的。

密封和解封过程

在enclave中密封数据的主要过程如下：

  1. 为加密数据和密封数据结构在enclave中分配内存。其中密封数据结构主要包括要加密的数据和额外认证数据(AAD, 额外的参与MAC计算但不进行加密的数据或文本)。额外认证数据中的信息可能包括应用enclave，版本号，数据等

  2. 调用加密数据的API来执行加密操作，一个加密操作算法如下：

    • 验证输入参数是有效的。例如，如果作为参数进行传递的是一个指向加密数据结构的指针，它指向的缓存必须存在于enclave中。
    • 初始化并向其中填充一个将要被EGETKEY指令来执行密钥请求的数据结构。过程如下：
      • 获取EREPORT去获得安全ISV和TCB安全版本号，将在key获取中使用
      • Key 名称：识别获取key的名字，在这种情况下即为Seal key
      • Key Policy：识别即将使用的软件密封策略。使用MRSIGNER来表示密封到enclave的所有者上，使用MRENCLAVE来表示密封到当前的enclave（enclave measurement）中。保留位必须被清除
      • Key ID：调用RDRAND来获取一个随机数
      • 属性字段：表明密封密钥应该与什么属性进行绑定
    • 使用上一步构造出的密钥请求结构调用EGETKEY获取Seal key
    • 使用加密算法来使用密封密钥来执行密封操作。推荐使用AES-GCM加解密函数，例如Rijndael128GCM
    • 从内存删除seal key以防泄露

  3. 将密封数据结构（包括密钥请求结构）从enclave中保存到外部内存中。密钥请求结构将用来在今后的enclave初始化后去获取密封密钥。

在enclave中对加密数据进行解密主要包括以下过程：

  1. 为待解密的数据分配内存。

  2. 调用解密api去执行解密操作。一个解密操作算法如下：

    • 验证输入参数的合法性。
    • 从密封数据结构中提取密钥请求结构
    • 借助密钥请求结构去通过EGETKEY指令获取密封密钥
    • 调用解密算法使用密封密钥解密
    • 从内存中删除密封密钥以防止泄露
    • 验证解密算法生成的hash与加密过程中生成的hash一致

区分不同的Enclave实例

即使同一个enclave的两个不同的实例可以在它们认证时区分，但是当两个enclave都使用EGETKEY指令时，目前Intel SGX不提供一种机制来阻止一个enclave实例去访问另一个enclave的密封数据，两个实例将会返回相同的密钥值。

如果要区分enclave实例的SEAL key，推荐：

Intel recommends that enclave writers use the KEYID field of the KEYREQUEST structure passed into the EGETKEY instruction to pass an enclave instance specific nonce. This will provide a different key even when the same enclave is in a different virtual machine.

处理器特征

在enclave中可以执行大部分Ring3软件能执行的指令

程序性能

Enclave创建

enclave的大小很大程度上影响了创建enclave的时间，主要是由于在enclave的度量（measurement）过程中，需要进行一系列操作以保证所有的代码加载到enclave中是可信的。

在enclave的创建过程中，一系列的EADD和EEXTEND指令将被运行，主要用于加载和度量enclave的页面。

  • EADD每次加载4k字节的数据。
  • EEXTEND每次度量256字节的数据。这意味着对于EADD添加的4KB的数据，需要发起16次的EEXTEND调用。

相关的性能优化建议：

  • 减小enclave的大小。仔细检查在enclave中每段代码和数据元素，如有必要，将其移除。（使用工具：Intel VTune Amplifier）。例如，将即将静态链接的.o 文件先转换为诶.a文件。
  • Intel SGX 允许enclave通过 Enclave Dynamic Memory Management（EDMM）的方式去进行扩展。当你的OS支持EDMM，那么可以先创建一个比较小的enclave，然后扩展它。
  • 通过在application中添加加载条的方式来获取用户的注意力，借此隐藏应用的加载时间。
  • 避免频繁的enclave创建和重新加载，进而最小化重复的加载性能损耗。

Enclave切换

在enclave之间的频繁转变需要在上下文之间切换非常多次。当一个EENTER指令触发进入enclave时，为了保证enclave可以正常运行，属于不可信运行时的注册状态（register state）和其它信息被存储，enclave中的线程状态和其它属于可信状态的信息被加载，这部分工作主要是由SDK生成的代码执行。一个相反的过程发生在从enclave中退出（被EEXIT指令触发）：可信线程状态信息被保存，不可信的注册状态和其它信息被还原，在这个过程中同样执行着安全检查，这部分工作也主要由SDK生成的代码自动执行。这些行为构成了在应用和enclave之间控制权切换所带来的固定负载。

然而，这个转变中有一些可变变量影响着损耗，即传递参数的大小。参数在从不可信应用部分到可信enclave传递的过程中被序列化，并且返回值被反序列化。在可信enclave中，来自不可信应用的参数被反序列化，并且将返回值序列化。如果应用传递大量的参数，将会有显著的性能损耗。

如果在enclave和应用之间的控制权的转变很大程度地冲击着性能，考虑通过通过以下的方式降低影响：

  • 减小传递参数的总大小。（使用工具：Intel VTunte Amplifier）
  • 当确实有大量数据需要进行传递的时候，考虑使用指针的方式。需要说明的是，使用指针会带来一部分安全风险，为此你必须自己去实现指针检查器，如果使用这种方式的话。

过多缓存未命中

encalve所存储的内存内容在处理器cache之外的部分都是加密受保护的。这种类型的保护在从内存中获取cache lines带来了相应的负载。这种负载和Intel SGX实现方式有直接关系。

Intel SGX架构中在缓存未命中的情况下，相对于其他传统的负载，新增了两种类型的负载：

  • 对于不在处理器cache中的每一条cache line所执行的完成check/anti-replay 检查，以及在系统内存中更新相应的数据结构（如果必要的话）。这种类型的负载依赖于内存访问模式。
  • 在cache和内存中加载和移除数据所带来的加解密。

如果你的系统受到大量的缓存未命中而相关的性能损耗的冲击，可以考虑下面的步骤：

  • 减小enclave中的数据的大小。观察数据，以保证只有必要的数据才能装载进入enclave中。更少的数据意味着更少的加减密和更少的数据结构检查，在Intel SGX内存控制/保护机制下。可以使用Intel VTune Amplifier来观察应用中的cache行为。
  • 可以查看下面的文档去创建一个更加“缓存友好”的应用：PDF地址

过多的页写入

需要考虑Intel SGX应用频繁大量的页面切换对性能的影响，并且如何最小化这方面的后果：

Intel SGX使用安全存储 EPC 来存储enclave中的内容。Enclave页面大小为4KB。当enclave比EPC总可用的内存要大的话，enclave分页机制可能会被某些特权软件来使用。当OS尝试交换enclave页面时，CPU使用EWB指令执行以下的步骤：

  • 读取要替换出去的Intel SGX页面（移出）
  • 加密页面中的内容
  • 将加密的页面写到未收到保护的系统内存中

由于这个过程有着固定的负载，因此越多的页面被替换出去，越多的性能损耗发生。为了阻止应用频繁经历这种页面的交换，尽可能确保enclave的大小小于EPC。尽可能只将秘密数据和在这之上的操作放入enclave中，从而最小化页面交换的可能性。可以使用Intel VTune Amplifier工具来观察应用中页面替换的行为，来保证做出正确的决定

多线程下的性能

如果应用是多线程的，从数据同步，锁，线程模型和内存分配算法上去寻找改善性能的方法。

  • Intel SGX SDK 的一些关于同步和锁的原语已经被优化。
  • 对于较重的多线程应用，推荐选择更好的内存分配算法。Intel SGX SDK针对linux提供了TCMalloc内存分配算法，相对于默认的dlmalloc内存分配算法，有着更好的性能表现。

发布于：2020年11月25日

sgx