SARIF：DevSecOps工具与平台交互的桥梁

zoukankan html css js c++ java

SARIF：DevSecOps工具与平台交互的桥梁
摘要：静态扫描工具融入在DevSecOps的开发过程中，对提高产品的整体的安全水平发挥着重要的作用。为了获取安全检查能力覆盖的最大化，开发团队通常会引入多个安全扫描工具。为了降低各种分析工具的结果汇总到通用工作流程中的成本和复杂性, 业界开始采用静态分析结果交换格式(SARIF)。

1. 引言

从2012年Gartner的研究报告“DevOpsSec: Creating the Agile Triangle”提出了DevSecOps的概念, 到目前DevSecOps已经成为构建企业级研发安全的重要模式。 DevSecOps模式中有些重要的原则：安全左移、默认安全、运行时安全、安全服务自动化/自助化、基础设施即代码（IaC）、持续集成和交付，以及需要组织和文化建设。

在DevSecOps的过程中，最重要的一环就是安全工具能够快速集成到自动化平台，保证平台的持续集成和交付，从而提高产品的整体的安全水平。在整个研发过程中静态安全检查工具是保证代码安全的重要手段，每个安全检查工具因为技术实现上的差异，对不同的安全缺陷有着不同的检查能力，所以稍微大型一些的开发团队, 在开发的时候会引入多个安全扫描工具，以获取安全检查能力覆盖的最大化。但多工具的集成, 就会对程序员或平台的集成会带来以下问题:
- 对于开发人员
- 对于集成平台
为了解决这些的问题，最初由微软、Micro focus等几家静态分析软件公司提出了：静态分析结果交换格式(Static Analysis Results Interchange Format (SARIF))。

2. 结构化信息标准促进组织(OASIS)

结构化信息标准促进组织(Organization for the Advancement of Structured Information Standards (OASIS))是一个非营利性的国际财团，推动全球信息社会制定、融合和采用开放标准。OASIS 促进行业共识，并制定网络安全、隐私、云计算、物网、智能电网和其他领域的全球标准。OASIS 开放标准具有降低成本、刺激创新、开拓全球市场和保护自由选择技术的权利的潜力。

OASIS 成员广泛代表公共和私营部门技术领导者、用户和影响者的市场。自1993年成立开始，OASIS已经发展成为了由来自100多个国家的600多家组织、企业，参与人数超过5000人的国际化组织。相比其他组织，OASIS形成了更多的Web服务标准的同时也提出了面向安全、电子商务的标准，同时在针对公众领域和特定应用市场的标准化方面也付出很多的努力。

OASIS以其管理透明化及工作流程化而著称。OASIS成员自己设置技术议程，并通过简单的工作流程促进产业达成一致以及统一不同观点。OASIS的全部工作将是通过公开投票的方式认可，管理层具有责任心并且不受其他因素制约。OASIS理事会和技术顾问委员会的成员都由民主选举产生，任期2年。OASIS的领导层是由于个人能力而非资金资助、企业背景或特别任命而产生的。

OASIS现在拥有最受人们广泛接受的XML以及Web服务标准2个信息入口，Cover Pages和http://XML.org。OASIS的成员分会包括CGM Open、DCML、LegalXML、PKI和UDDI。

OASIS于1993年最初以SGML开放组织名义成立。它最初是代表用户和产品提供商致力于推动产品互操作性架构的开发以及支持标准广义标记语言（Standard Generalized Markup Language）。1998年，组织的名称正式更换为OASIS开放组织，以表示其在技术领域的工作已经扩展到可扩展标记语言 (XML)及相关标准以外的范围。
- OASIS 主要技术成员
- OASIS成立SARIF技术委员会
  因为静态分析工具在安全保障中的重要地位，越来越多的静态分析工具的主要厂商CA Technologies, Cryptsoft, FireEye, GrammaTech, Hewlett Packard Enterprise (HPE), Micro Focus, Microsoft, New Context, Phantom, RIPS, SWAMP, Synopsys, U.S. DHS, U.S. NIST等等都在推进静态分析工具的通用数据格式的标准。 2017年10月12日, OASIS成立了SARIF技术委员会为静态分析制定国际互操作性标准。SARIF技术委员会汇集了主要软件公司、网络安全提供商、政府、安全协调专家、程序员和顾问，就一种数据格式达成一致，该格式将由整个行业的工具解析。目标是通过聚合来自多个工具的数据，使软件开发人员更容易评估其程序的质量和安全性。
在接下来的2018年，SARIF就获得了OASIS的年度Open Standards Cup的杰出新计划(Outstanding New Initiative)。

3. SARIF规范简介
- SARIF的目标：
- 规范描述的范围：
- 不包含在规范范围
目前这个版本有200多页。按照由浅入深的方式，介绍将分为基础和进阶两个部分。此篇为基础部分，将完成规范中的基本概念和初步使用的介绍。后续的进阶部分，将完成深层次用户的需求实现。

4. SARIF基础

SARIF文件是以一种以面向对象(Object Model)的方式构成json文件。这样的设计便于工具通过对象的方式对应到json的各个组成部分。 SARIF 的json文件格式通过格式文件sarif-2.1.0-rtm.4.json定义，当前版本是2.1.0。

我们先来看一个ESLint扫描结果的一个SARIF的例子。

代码(simple-example.js)：
var x = 42

ESLint 检查命令：
eslint --format sarif simple-example.js --output-file simple-example.sarif

SARIF格式输出的检查结果
{ "version": "2.1.0", "$schema": "http://json.schemastore.org/sarif-2.1.0-rtm.4", "runs": [ { "tool": { "driver": { "name": "ESLint", "informationUri": "https://eslint.org", "rules": [ { "id": "no-unused-vars", "shortDescription": { "text": "disallow unused variables" }, "helpUri": "https://eslint.org/docs/rules/no-unused-vars", "properties": { "category": "Variables" } } ] } }, "artifacts": [ { "location": { "uri": "file:///C:/dev/sarif/sarif-tutorials/samples/Introduction/simple-example.js" } } ], "results": [ { "level": "error", "message": { "text": "'x' is assigned a value but never used." }, "locations": [ { "physicalLocation": { "artifactLocation": { "uri": "file:///C:/dev/sarif/sarif-tutorials/samples/Introduction/simple-example.js", "index": 0 }, "region": { "startLine": 1, "startColumn": 5 } } } ], "ruleId": "no-unused-vars", "ruleIndex": 0 } ] } ] }
直接看这个报告，还是很容易直接读懂的。

4.1. SARIF schema的基本组成

下图为SARIF的schema定义文件的视图：

从SARIF的schema的结构。我们可以看到：
- 第7行(“type”: “object”,), 定义了一个节点名为类型的对象;
- 第8-45行，定义了这个对象的属性包(“properties”)中有的5个子节点：$schema，version，runs，inlineExternalProperties，properties;
- 第47行， "required"节点，定义了这个对象的属性节点中必须有的节点：version, runs;
- 第16-19行，给出了节点version的定义，其中17行节点description给出了这个节点version的描述；18行告诉了version的取值是个枚举值，并且只有一个可能的取值：2.1.0；
- 第21-29行，给出了节点runs的定义：
- 第41-44行，定义了这个对象的扩展属性通过key，value的方式定义，具体的定义参考定义组节点definitions下的propertyBag的定义；
- 第49-3369（到结束）行，通过定义组节点definitions定义了52个基础对象：address， artifact， artifactChange等，包括前面提到的run和propertyBag；
- SARIF就是通过这52个基础对象，以及这些基础对象的组合，并通过属性包的key，value方式完成各种扩展信息的定义，从而形成了了一个适应各种静态扫描分析工具报告的规范化；
4.2. SARIF对象定义（definitions）的基本规则
- 通过定义组节点definitions定义了52个基础对象，完成对象的定义的描述；
- 通过基本类型（type）定义每个属性的类型；类型有：object, string，number, integer, boolean, array；对于array类型，后面需要跟items，来说明数组元素的信息；
- 通过enum来枚举属性的值；例如： “enum”: [ “none”, “note”, “warning”, “error” ]
- 通过参考引用的方式完成相似类型的定义描述，避免了反复定义和定义的统一性，归一性；例如："$ref": “#/definitions/propertyBag”，表明该对象是参考定义组definitions下的propertyBag；
- 通过anyOf,required属性定义对象中必须存在的属性, 默认情况下，属性不是必须的；
- 每一个对象都有一个properties属性，通过属性包的方式中key，value的方式完成对象扩展信息定义的需要；
4.3. 定义举例：消息（message）
- message在definitions中的定义：
"message": { "description": "Encapsulates a message intended to be read by the end user.", "type": "object", "additionalProperties": false, "properties": { "text": { "description": "A plain text message string.", "type": "string" }, "markdown": { "description": "A Markdown message string.", "type": "string" }, "id": { "description": "The identifier for this message.", "type": "string" }, "arguments": { "description": "An array of strings to substitute into the message string.", "type": "array", "minItems": 0, "uniqueItems": false, "default": [], "items": { "type": "string" } }, "properties": { "description": "Key/value pairs that provide additional information about the message.", "$ref": "#/definitions/propertyBag" } }, "anyOf": [ { "required": [ "text" ] }, { "required": [ "id" ] } ] },
- description：对象的描述，用于封装提供给用户读取的信息；
- type：对象；
- additionalProperties：没有辅助属性信息；
- properties：属性集
- anyOf: 至少text 或 id 必须；其他属性可选；
- 例子：
{ "message": { "text": "'x' is assigned a value but never used." } }
5. SARIF报告的基本结构

5.1. 工具的定义（runs.tool.driver)

在扫描结果(runs)的定义中，tool节点是必须的，tool中driver是必须的，而driver中也只有name是必须的，也就是说除了工具的名字是必须的，其他的属性都是可选的。这也可以看出来，这个报告也可以做的非常的简单，只强制定义了一些非常必要的信息。
- 运行结果组runs下的数组元素是参考定义组节点definitions下的run的定义；
- run属性中的必须节点tool的定义是参考定义组节点definitions下的tool的定义；
- tool属性中的必须节点driver的定义是参考定义组节点definitions下的toolComponent的定义；工具可以通过tool.driver 完成工具的各种基本信息的定义；
- 对与工具的其他扩展组件(例如各种插件)，可以通过tool.extensions完成定义，extensions是个数组类型，每个数组元素也是参考定义组节点definitions下的toolComponent的定义；
- 通过toolComponent，可以定义：
- 举例：
"tool": { "driver": { "name": "ESLint", "informationUri": "https://eslint.org", } },
5.2. 规则的定义(run.tool.driver.rules)

定义组节点definitions下的toolComponent中定义了rules节点。规则(rules)的定义是一个数组类型，每个规则的定义参考定义组节点definitions下的reportingDescriptor的定义，reportingDescriptor定义中：
- id 是必须的；
- 名字(name),guid(guid),长、短描述(shortDescription,fullDescription);
- 以前版本的相关信息(deprecatedIds,deprecatedGuids,deprecatedNames);
- 规则的信息(messageStrings)，通过参考定义组节点definitions下的multiformatMessageString实现多语言支持；
- 规则的默认配置(defaultConfiguration);
- 规则的帮助信息(helpUri,help), help通过参考定义组节点definitions下的multiformatMessageString实现多语言支持；
- 规则的扩展信息通过属性包(properties)实现；
- 举例：
"rules": [ { "id": "no-unused-vars", "shortDescription": { "text": "disallow unused variables" }, "helpUri": "https://eslint.org/docs/rules/no-unused-vars", "properties": { "category": "Variables" } } ]
5.3. 扫描内容的定义(run.artifacts)

定义组节点definitions下的run的下面有一个artifacts节点，artifacts是一个数组节点类型，每个数组元素参考定义组节点definitions下的artifact的定义。artifact包括：
- 描述(description);
- 位置信息(location，parentIndex，offset);
- 内容信息(contents,encoding,sourceLanguage,length);
- 改动信息(hashes,lastModifiedTimeUtc);
- 扩展信息(properties);
5.4. 扫描结果的定义(run.results)

定义组节点definitions下的run的下面有一个results节点，results是一个数组节点类型，每个数组元素参考定义组节点definitions下的result的定义。result包括：
- result节点下面只有message是必选项，以确保结果有信息输出；
- 规则信息：
- 缺陷类型:
- 缺陷位置：
- 举例：
"results": [ { "level": "error", "message": { "text": "'x' is assigned a value but never used." }, "locations": [ { "physicalLocation": { "artifactLocation": { "uri": "file:///C:/dev/sarif/sarif-tutorials/samples/Introduction/simple-example.js", "index": 0 }, "region": { "startLine": 1, "startColumn": 5 } } } ], "ruleId": "no-unused-vars", "ruleIndex": 0 } ]
5.5. 小结

SARIF通过下面的结构，构成了一个扫描工具扫描结果的基本框架。
{ "version": "2.1.0", "runs": [ { // 运行结果 "tool": { // 工具信息 "rules": [ // 规则的信息 ] } }, "artifacts": [ //扫描文件的信息 ], "results": [ // 扫描结果 { // 缺陷信息 "locations": [ // 缺陷位置信息 ], // 缺陷规则信息 } ] } ] }
6. 总结
- 本篇的前半部分介绍了SARIF的需求的提出，以及成为结构化信息标准促进组织(OASIS)的SARIF技术委员会的一个标准；
- 后半部分介绍了SARIF的基本概念，以及扫描结果的基本框架；
- 下篇将介绍对于复杂的静态分析工具报告需求的实现。
7. 参考
本文分享自华为云社区《DevSecOps工具与平台交互的桥梁 -- SARIF入门》，原文作者：Uncle_Tom 。

点击关注，第一时间了解华为云新鲜技术~
查看全文

相关阅读:
VirtualXposed查看手机端网页及调试
 vue小toast插件报错runtine-only
vuex的一个坑
 安卓4.4.4以下手机的兼容性问题
 WebForm（一）——IIS服务器、开发方式和简单基础
 winform窗体（六）——DataGridView控件及通过此控件中实现增删改查
 winform窗体（五）——布局方式
 winform（四）——简单计算器制作
 winform（三）——更换主窗体例子
 winform窗体（二）——控件

原文地址：https://www.cnblogs.com/huaweiyun/p/14467846.html

SARIF：DevSecOps工具与平台交互的桥梁

1. 引言

2. 结构化信息标准促进组织(OASIS)

3. SARIF规范简介

SARIF的目标：

规范描述的范围：

不包含在规范范围

4. SARIF基础

4.1. SARIF schema的基本组成

4.2. SARIF对象定义（definitions）的基本规则

4.3. 定义举例：消息（message）

5. SARIF报告的基本结构

5.1. 工具的定义（runs.tool.driver)

5.2. 规则的定义(run.tool.driver.rules)

5.3. 扫描内容的定义(run.artifacts)

5.4. 扫描结果的定义(run.results)

5.5. 小结

6. 总结

7. 参考