• 节点管控分系统主要由资源配置、节点管理组成。

01

• 软件代码与漏洞收集分系统由源代码、二进制代码爬虫、安全漏洞信息爬虫、许可协议网络爬虫组成。

02

• 安全知识库分系统由许可协议管理、安全漏洞管理、开源代码管理、代码特征管理、第三方库文件管理、增量数据维护管理组成。

03

• 软件源代码漏洞模块由软件源代码漏洞检测、二进制代码漏洞检测、许可证冲突检测、漏洞识别功能组成。

04

• 软件漏洞扫描分系统由信息收集、操作系统漏洞扫描模块、数据库漏洞扫描模块、安全漏洞验证功能组成。

05

海量开源项目数据信息并行处理技术

针对海量的开源项目对数据进行并行处理，首先采用基于微服务架构进行主控节点服务与分析节点服务拆分，多个分析服务注册到同一注册中心，主控节点采用轮询的负载均衡策略对任务进行分发处理，各个分析服务节点根据任务队列对数据信息进行任务处理。其次将分析节点服务进行容器化，封装到docker镜像发布到harbor（docker私有仓库）。再次使用kubernetes拉取分析节点docker镜像部署，启动多分析服务完成数据并行处理。

针对海量开源项目进行数据处理形成更大规模的文本信息数据量，针对文本信息的大规模、不规则化、非结构化文本数据，为后续提供快速定位，采用MongoDB对特征数据进行文本文件特征数据信息存储，采用基于企业级搜索服务Solr的集群模式提供非结构化数据检索服务，完成特征数据快速定位。

海量开源项目数据文件特征检索技术

代码安全检测技术基于安全风险知识库实现源代码的安全漏洞检测。主要是通过从开源社区等网站获取漏洞代码和修复方法/意见，使用多级特征提取技术提取漏洞代码特征，并将漏洞代码特征、修复方法/意见与安全风险知识库中的漏洞数据进行关联，形成安全信息知识库，然后通过对源代码进行多级特征提取，将特征与安全信息知识库进行匹配，获取源代码的安全漏洞信息和修复意见/方法。

代码安全检测技术

多级特征提取技术

混源代码检测就是判断一个程序的源代码是否抄袭或复制于另外一个或多个程序，复制抄袭不仅仅包括原封不动地拷贝复制，还包括对源代码的简单修改，如改变开源代码的书写风格，添加一些无用元素，改变变量名等。为更好的分析代码组成成分，提出多级特征提取技术，完成复制抄袭代码的定位检测。