网络安全本身已经十分复杂，如果将AI或机器学习融入安全软件，有时可能只会带来更多的麻烦。因此，在面对众多主打结合人工智能技术的安全产品时，如何专业地向销售人员提出疑问就是挑选到好厂家的关键了。

大多数CISO可能都相信AI和ML会在未来的三到五年内成为安全技术的主要变革力量。但这并不意味着他们对这两个名词依然抱有新鲜感，纯粹的概念灌输早已经不再奏效。而且很多安全厂商只是借势宣传，鼓吹概念，实际上并不具备相关技能。

是否有安全厂商作出不切实际的承诺，最终未实现实施AI或ML后预期收益的情况出现？“这是普遍情况，”Gartner著名分析师Anton Chuvakin博士说，“有把牛皮吹上天，号称自己拥有军用级AI技术的；也有保守型宣传自己具备AI技术，实际采用的只是老掉牙的基础统计方法。”

Grant Thornton的技术总监JT Kostman博士表示：“我曾经评估过很多声称拥有AI / ML情报功能的公司，其中大部分最后都承认他们的说法仅仅是为了营销宣传。”

德尔福集团董事长兼创始人ThomasKoulopoulos认为，很多人都犯了同样的错误，认为AI技术最大的难点在于算法，实则不然。AI与机器学习技术的关键是用于机器训练的海量数据。

Domo的高级副总裁及首席信息安全官Niall Browne建议甲方在目前阶段以“做功课”为主，不急于下手，“真正聪明的安全负责人仍然处于AI/ML技术的学习阶段，”Browne说，“他们现在正在通过各种途径努力了解人工智能技术，熟悉各款AI驱动型安全工具的功能与局限性。当技术成熟、AI 时代真正来临时，再作出明智的安全风控采购决策。”

本文通过采访多名资深安全专家，总结了与声称融合AI技术的安全供应商交谈时应深入沟通的11个问题。

1. “参与机器训练的数据是否具有代表性？”

我们首先要了解的是该厂商采用的是什么样的数据来训练某项功能的模型，并且确定这些数据和行为是否具有代表性（Booz Allen Hamilton高级首席数据科学家AaronSant-Miller）。

2. “训练数据的更新频率与可学习程度如何？”

第二，我们需要了解的是训练数据集的更新频率。它是如何随着时间的推移学习并“进化”自身检测能力的？充分训练AI / ML引擎需要多少数据？总之，我们需要弄明白该AI系统的学习程度与反复学习所需的数据量。

3. “我是否能够获得详细的AI性能数据？”

这是大多数受访人员普遍建议向厂商提出的问题。Kostman说：“这些厂商应向客户共享检测顶级黑客入侵系统的双盲对照实验的结果。”

“确定一个厂商是否真实具备机器学习能力，而非仅仅一个算法，可以通过了解衡量供应商ML模型性能的数据来实现，”SignalFX的CSO Marzena Fuller解释道。这些数据还能够体现模型的准确程度。

对于监督模型，Fuller建议询问他们的“混淆矩阵（也称误差矩阵）”。接近1的值表示高精度。

“评估无监督模型的性能难度更大，”Fuller说，“簇内距离的相对较小的值和簇间距离的相对较大的值表明该模型在对具有离散特征的项目进行分组时是有效的。”

4. “是否能进行实操演示？”

如果该厂商拿不出可靠的性能数据，我们就可以直接pass了。但如果你还想给他一次机会，Gartner著名分析师AntonChuvakin博士认为可以要求厂商进行实操演示，证明它的AI解决方案的确能够作出比SOC分析师更好的决策。

5.  “一个专有模型是否就意味着我无法进行自定义？”

如果你所面对的厂商对你说“这个专有的AI/ML模型能够解决所有问题”，Omernik建议CISO们建议询问是否能够进行自定义。如可行，我们的工程师需要进行哪种级别的培训才能实现自定义？相同的数据可以采用不同的模型处理，还是只能通过与安全产品捆绑在一起的模型来处理？

6. “AI / ML实施的灵活程度如何？”

该厂商的AI / ML是否可以处理不同类型的数据，例如日志、音频、视频、交易数据等？如是，这些数据集可以共同工作还是必须独立开来？

7. “ AI / ML解决方案的更新情况如何？”

我们需要了解清楚一旦该安全应用发生更新，是否需要持续支付额外费用获取更新或购买新的版本？该厂商如何将更新内容交付给客户以及集成难度如何？

8. “这个解决方案是否会成为我们安全团队中的‘黑盒子’？

所谓“黑盒子”，是指从用户的观点来看一个器件或产品时，并不关心其内部构造和原理，而只关心它的功能及如何使用这些功能。成为“黑盒子”有利有弊。但最重要的是明确我们的安全团队是否支持最新AI/ML工具包的应用以及工作契合度。“该工具是否可以帮助安全人员了解数据的工作原理并扩展他们对数据工程和数据科学的理解程度？” Omernik说道。

“对于许多客户来说，黑盒子比开放式工具包要好得多，”Chuvakin说，“开放式工具包往往需要经过长年累月的咨询工作才能看到一点点的产品价值。而‘黑盒子’却能让客户看到即时价值。”

9. “AI如何与我已有的产品集成？”

“它是从外部获取、内置还是软件的一部分？”Koulopoulos说，“这里主要是对‘bolt-on’人工智能技术持怀疑态度，仅仅搭载谷歌TensorFlow等等类似的操作并不合格。”

10. “该系统如何检测新型的攻击方式？”

就像鱼离不开水一样，机器学习算法也离不开大量数据。但是现成的数据都是“过去式”，可能对于新型攻击的检测灵敏度并不高。该厂商基于AI的系统如何识别与以往完全不同的威胁？

11. “这些数据的归属人是谁？”

处理我们的数据时务必小心谨慎。“很多AI厂商在当前技术发展阶段的主要目标并不是卖产品，而是为了尽可能多地获取客户数据，用于其产品的测试和算法优化，”Browne说，“明确该厂商对数据和系统的访问权限级别以及谁拥有最终的AI元数据非常重要。”

Koulopoulos表示赞同，并提出了类似的观点：“AI技术发展至今的最大争议点之一就是训练数据的所有权归属问题，这些数据会随着时间的推移不断累积。”

总结

Koulopoulos认为，AI 必定是未来3-5年内打击网络犯罪的主流技术，也是目前CISO/CSO们务必拓宽的重要知识面之一。希望本文能够让甲方安全团队在评估安全产品方面有所收获，同时也警醒乙方团队只有实在的技术才能真正赢得市场。

参考链接：

https://www.csoonline.com/article/3378201/11-questions-to-ask-before-buying-ai-enabled-security-software.html