编者按

数字化转型发展背景下，IT/CT/OT新技术浪潮加速，系统连接性复杂性激增，复合风险因素增多，网络攻击成本降低，网络安全形势空前复杂，工业网络已成为网络空间攻防对抗的主战场。对关键信息基础设施网络攻击的严重后果，对现实世界来说可能是灾难性或前所未有的。当前迫切需要一种成本效益高和可复制的方法来提高网络防御团队的安全意识，增加OT网络防御团队的专业知识和技能，检验网络防御技术、产品、方案的可行性和效能，等等。试验床或工业网络靶场正是完成这一使命的战略选择，即建立具有模拟工业流程的具有成本效益、可配置和可扩展的，仿真工业控制系统的网络靶场平台。安帝科技在工业网络泛在化、数字化、智能化的背景下，持续探索工业网络安全跨域、复杂、融合、动态、协同的本质特征，倾力打造虚实结合的工业网络靶场平台，以期满足当前工业网络安全能力建设中利益相关方（运营方、监管方、防御方）科研、教学、培训、演练、对抗、比赛、测试、评估、演示等全方位需求。安帝科技工业网络安全研究院结合近年来的实践探索和前瞻技术跟踪研究，推出《工业网络靶场漫谈》系列，期待与业界同行探讨工业网络靶场能力建设之道，共同推进工业网络安全技术、能力、生态、产业高质量发展。

工业网络靶场可以由物理基础设施，完全虚拟化的设施单独构成，或者是两者的混合，也就是说靶场的形态，无论是虚拟的、实体的、或混合的、数字孪生的，甚至将来成为SaaS模式的靶场云，实质上每一种选择的适用性取决于构建网络靶场的更广泛的应用背景、成本考量、便捷便利、安全可靠等等因素。因此其架构设计也必须遵循一系列的规范和原则，以期可交付的靶场具备功能可复制、场景多样化、系统可扩展、实验可再现、连接灵活性、整体安全性等等各方面的要求。本期重点讨论工业网络靶场的架构设计。

一、网络靶场设计的基本原则

一个网络靶场要充分发挥作用和效用，需要具备6个方面的特征，即监视功能、学习、管理、团队、环境和场景。监控能力观察并评估参与者是否进行有效的学习，网络靶场的性能是否符合可接受的标准。这涉及使用方法、工具和执行监视的各个层的指定观察员。学习包括对用户打分，这意味着可以确定网络靶场是否是一种有效的学习工具。管理包括“为个人和团队分配角色和职责”，包括角色管理、资源管理和靶场管理。团队方面是指参与创建和参与网络靶场场景的团体和个人。这包括红队(进攻)，蓝队(防守)，白队(设计场景)，绿队(监控和维护场景基础设施)等等。环境包含用于支持场景的服务。它们可以是虚拟化的、物理的，也可以是两者的混合。场景定义了用于测试个体的练习背后的执行环境、上下文以及附加的背景信息。这些综合要素反应了目前网络靶场的开发、应用的特征。因此，靶场的设计当然需求遵循一定的规范和原则，满足最基本的设计需求、功能需求和应用需求。以教育实训类靶场为例，设计开发这这类靶场需要持续如下四个基本原则[1]。

1.着力改善用户认知；尽可能提供工具和能力来减轻实验者的认知负担。即利用工具使人们之间的知识有效传递/转移，减少实验者的认知负担，使他们能够专注于手头的任务。

2.明确目标和限制条件；允许实验者对他们的目标和限制进行编码，并利用这些信息来帮助指导实验构建。实验的设计要求应包括限制条件、预期结果、教学目标，以帮助集中建设以满足这些要求。

3.保持灵活的体系架构；在设计上提供灵活性。一个好的体系结构会随着它的用户和技术以及新开发功能的丰富而扩展。这要求体系结构随着用户的发展而发展，在设计新开发的功能时应该留有余地，提供灵活性以满足这些不断变化的需求。

4.全方位指导高质量效果；提供多方面的指导，帮助实验者进行高质量的实验。原则4指出，应该从各个角度提供指导，以帮助流线设计和实施高质量的实验和方案。这包括自动或人工驱动的指导。这些原则指导新手转变为经验丰富的有必要技能和知识的实验人员来创建高质量的实验。

此外，NIST(国家标准和技术研究所)建议，为了保证网络靶场是一个高标准设计的设施，网络靶场应该有其特定的属性。这包括技术组件(学习管理系统、目标基础设施、虚拟化层等)、可访问性和可用性(即，一个网络靶场应该对目标受众既可用又可访问)、可伸缩性等。可伸缩性允许潜在的增长，以支持新的场景，并为不断上升的威胁和新场景提供额外的灵活性和敏捷性，等等。

二、网络靶场的通用架构设计

2.1 通用架构

网络靶场通常按照四层的结构来设计，分别是靶场核心技术层、靶场基础设施技术层、网络靶场功能层、靶场前端技术层。核心技术层：支撑特定应用程序的某些基础设施的建模，需要使用多种方法的组合，实际上是混合实现，其中介绍了虚拟化与物理硬件技术的传感器组合。这些组合增强了靶场的能力，使OT技术和IT技术成为靶场和测试床场景体现特性的一部分。具体实现形式包括模拟、仿真、虚拟化、容器化。

图1 通用的靶场架构图[2]

基础设施技术层：建立、管理和控制网络靶场的技术位于核心层和前端层之间。根据CR开发人员的偏好和CR的目标应用，他们的选择有很大的不同。这类技术很容易获得，例如虚拟化管理解决方案，如vSphere和Wisper。

许多CRs实现结合了物理服务器和虚拟解决方案。在这些情况下，物理服务器对物理硬件具有直接和独占的访问，虚拟化具有由管理程序模拟的虚拟硬件，进而控制对底层物理硬件的所有访问。虚拟化作为硬件和主机操作系统之间的一个层。通常使用两种类型的hypervisor，称为类型1和类型2。类型1管理程序直接运行在主机的物理硬件上，而类型2(通常称为托管管理程序)安装在现有操作系统之上。一个hypervisor使用四种主要的虚拟资源;vCPU、vMemory、vNetwork(vSwitch)、vDisk。

网络靶场功能层：这一层根据靶场的定位相应提供Internet服务模拟、用户行为模拟、攻击模拟、场景生成、配置、平台、数据收集机制、游戏化、可视化、报告生成、培训方法、课件集合等等功能。

前端技术层：终端用户和CRs的核心技术和基础设施技术之间的桥梁是前端;核心、基础设施和用户类型决定了前端的特性。web服务器的基本要素所代表的硬件和软件组件,前者是使用的物理服务器托管提供商,后者包括一个操作系统和超文本传输协议(HTTP)服务器数据库和web服务器的脚本语言。Web服务器(如Apache或Nginx)被部署在后端，并与内容管理系统(CMS)一起编译来自脚本语言、数据库和HTML文件的结果，以便为用户生成内容。Web技术提供前端接口，例如基于html5的控制台模拟器。

2.2 攻防对抗型网络靶场的通用架构

图2 攻防对抗靶场的通用框架图[3]

网络演习场地的通用网络靶场模型由以下组成部分

:编排层——使用来自RLMS的输入数据的层。它旨在协调网络安全工具。同时，它集成了网络靶场的技术和服务组件。

基础设施——基础设施的水平，它决定了网络靶场的真实性和准确性。此外，还使用了生成流量和建模攻击的方法。

虚拟化层——定义为目标和底层基础设施之间的防火墙。而目标基础设施是相对于攻击的可行性考虑的。

目标基础设施——一个模拟的环境，网络演习参与者在其中训练。根据其组织的目的，将生成场景以在编制级别创建目标基础设施。场景可能包含特定于配置的信息，包括IP地址范围、路由信息、服务器堆栈和软件。

三、工业网络靶场的架构

工业网络靶场的真正目的是帮助用户提高对ICS/OT网络的信心，获得更高水平的内部专业知识，检验网络防御措施是不是可用，缩短关键故障的修复时间等等。在真正的攻击情况下做出更快和更有效的反应，并帮助防止或至少最小化此类事件造成的损害。用真实世界的系统和场景来实施科研、教学、培训、演练、测试等等活动。因此，选择软件、协议和操作系统以及相应的网络结构图和体系结构作为目标系统/网络的或虚拟、或实体、或混合的表示。在构建工业网络靶场时，以下参考或因素必须系统化考量:

沙箱环境：底层基础设施和物理环境将为用户提供一个安全的沙箱环境。由于模拟环境的性质，其中部署了多个脆弱的系统，攻击者被指示使用真实的技术和有效的漏洞利用来滥用它们，保持底层基础设施和物理网络的安全是必须的。

易于访问：使用工业网络靶场不需要特殊的硬件或软件。虽然提供专用硬件(例如，物理工作站)或软件(例如，VPN客户端)访问环境是一种常见的选择，但这样做不仅不能提供用户友好的体验，还会带来其他挑战。例如，允许用户使用自己的笔记本电脑通过隧道连接到模拟环境不仅会给他们的系统带来安全风险，而且会使监控过程更加困难。

独立部署：平台应该允许部署多个环境，确保它们之间的完全隔离。

网络镜像：平台应该有能力定义虚拟SPAN端口来镜像虚拟流量。镜像(SPAN)端口是网络交换机的一个常见特征，用于将选定端口上传输的流量复制到一个被动端口，主要用于供应网络分析系统(如IDS)。这个功能对于部署真实的虚拟网络探针至关重要。

3.1 通用的工业网络靶场架构

虽然主要的公有云服务商提供了不同的解决方案来满足构建的需求，但仍然可用KVM管理程序集群(即ProxmoxVirtual Environment)使用本地安装。图3显示了ICS网络靶场（CR-ICS）的高级体系结构，整体上将系统划分为负责管理平台和提供用户访问的服务(控制平面)和负责执行模拟环境的服务(执行平面)。

图3 工业网络靶场架构图[4]

图4[5]显示了一个精简工业网络靶场的结构，模拟了分区的企业网络和基于SCADA的工业控制系统(ICS)。企业网络由以下几个部分构成，1)一个防火墙网关，2)一个web服务器-安装在非军事区-管理员工的档案和照片，3)一个堡垒登录节点控制从企业网络到工业控制系统的访问，4)工业控制系统网络，包括一个SCADA、MTU和一个PLC，它们从传感器、执行器和阀门收集数据。这是一个典型的按照普渡模型架构的最小化的工业网络靶场。

图4 工业网络靶场架构图[5]

3.2 专业性工业网络靶场的架构

图5 IOT靶场的通用架构[1]

图5描述了一种IoT靶场的通用架构。在最底端存在用户界面层，它由用户API和图形模板组成，允许在测试台与其用户之间进行交互。这两个接口由处理客户请求和身份验证的前端引擎维护。资源API位于前端引擎的下端，以便在更新节点状态或发送日志时能够与物联网测试床层进行通信。在这条通信线路的另一端存在物联网测试平台API，它允许接收作业参数资源的APII。这个API提供了一个额外的抽象层，从物联网测试床层的物理和虚拟测试床资源中提取。在较低的层，该设施包括物理和虚拟物联网资源。特别是，物理组件由20个远程物联网设备组成。这些设备通过IEEE802.15.4形成一个无线点对点网状网络，并通过usb树电缆拓扑连接到IoT-CR服务器进行管理。虚拟组件由Cooja提供支持;一个使用continuki-NG嵌入式操作系统的网络模拟器。

图6 CP-SG工业网络靶场的通用物理架构[6]

一个典型CP-SG试验床的通用物理架构如图6所示。试验床基本上分为三层;物理层、网络层和控制层。物理层由变电站的物理组件组成，如rtu (Remote Terminal unit)、RTDS (Real-TimeDigital Simulator)、IEDs (Intelligent electronicdevices)等。网络层使电网变得智能。它为变电站各部件与控制中心之间的实时通信提供了条件。它还提高了智能电网中各种过程的自动化。控制层本质上是控制中心，在这里分析所有的测量数据，并将控制动作传达给变电站，以便执行器执行。

3.3 安帝科技工业网络靶场架构

安帝科技通过学习、理解、分析传统网络靶场的通用架构，借鉴目前已有的工业网络靶场（测试床）的通用架构，以及工业网络靶场的设计基本原则，提出了经基础设施层、数据层、基础服务层、业务服务层、接口层、接入层为主的工业网络靶场架构。如下图7所示。

图7 安帝科技工业网络靶场架构

接入层：靶场环境统一接入口，采用Web方式接入，通过不同身份区分靶场业务功能；

API接口层：接入层和业务层连接的桥梁作用，实现后端业务层的统一调度接口；

业务服务层：靶场环境的业务功能层，主要完成各个模块对应业务的逻辑。包括工控场景仿真、CTF实战教学等功能；

基础服务层：靶场环境的核心层，主要提供云计算服务，负责对虚拟设备的控制，包含虚拟机建立，迁移，快照，网络分配，存储分配、审计日志、容器管理，工业控制设备虚拟化等等功能；

数据层：靶场环境的数据存储层，主要包括靶场虚拟化的实例、镜像、快照及整个系统的结构化数据等；

基础设施层：提供靶场的部署环境，其中可以独立服务器方式部署，也可以云端部署；四小结

工业网络靶场，无论其形态上是虚拟的、实体的、或混合的、数字孪生的，甚至将来成为SaaS模式的靶场云，因其不同行业应用、不同应用目的的较大差异性，需要从整体上把控其通用的特征，提炼出其架构相对通用的原则。通过前面的通用网络靶场的架构、工业网络靶场的架构调研，我们认为靶场架构设计的原则主要是考虑功能性、易用性、保真度、安全性、扩展性、费效比、连接性等需求。安帝科技综合考量工业网络靶场自身的结构、需求、目标特性，结合近年来在用户业务场景下的探索实践，设计以基础设施、数据处理、工业基础服务、业务服务、接口层、接入层为核心的靶场架构，可以较好在满足当前“关基”行业构建不同目标靶场的多样化需求，为工业网络安全能力的体系化建设提供关口前移、前置部署的基础设施。

参考文献

[1]Oliver Nock, Jonathan Starkey and Constantinos MariosAngelopoulos,Addressing the Security Gap in IoT: Towards an IoT Cyber Range,22September 2020[2] Elochukwu Ukwandu，A Review of Cyber-Ranges and Test-Beds: Current and Future Trends，13 December 2020[3] Volodymyr Mokhor,Analysis of cyber exercises approaches,[4] Shaharyar Khan， Alberto Volpatto，Cyber Range for Industrial Control Systems (CR‐ICS)for Simulating Attack Scenarios， April 07–09, 2021[5] Vincenzo Giuliano,Valerio Formicola,ICSrange: A Simulation-based Cyber RangePlatform for Industrial Control Systems,Departmentof Engineering University of NaplesParthenopeNaples,Italy[6] Abdallah A. Smadi , Babatunde Tobi Ajao ,A Comprehensive Survey on Cyber-Physical SmartGrid TestbedArchitectures:Requirements and Challenges,MDPI, Basel, Switzerland,2021.04.28