百度OpenRasp实现原理

zoukankan html css js c++ java

百度OpenRasp实现原理
1、基础知识

1.1、java插桩技术：javaagent
- 允许在jvm启动时优先执行agent代码，通常agent代码用来添加Transformer，提供了对class在加载时进行字节码修改的机会。
- java启动时增加参数java -javaagent:/Users/didi/Downloads/openrasp-javaagent/boot/target/rasp.jar -jar myapplication.jar
- jar包构建时设置入口 <Premain-Class>com.baidu.openrasp.Agent</Premain-Class> ，启动时会进入此类的premain方法执行
  
  public static void premain(String agentArg, Instrumentation inst) {
  
  inst.addTransformer(new CustomClassTransformer());
  
  }
1.2、java字节码修改：javaassist
- 其他类似的库：
  
  javaassist：openrasp用的这个，学习门槛低，源码级别，不需要掌握字节码相关技术。
  
  asm：字节码级别，学习门槛高，需要掌握字节码技术。性能好
  
  cglib：spring aop用的这个进行字节码增强
  
  bcel：apache
2、OpenRasp原理

2.1、openrasp介绍
- 百度开源rasp，提供了完整的rasp + iast的功能，包括以下模块：
  
  java + php 的探针，对应用插桩，收集应用运行时数据；（java）
  
  v8引擎 + rasp检测插件，根据hook信息判断是否为攻击；（javascript）
  
  管理控制台，用于接收及查看rasp攻击事件、iast漏洞信息、配置下发、应用管理等功能；（golang）
  
  iast fuzz功能，用户对探针采集的流量增加poc并进行重放（python）；
- rasp支持的攻击类型：
  
  https://rasp.baidu.com/doc/usage/web.html
- iast支持的漏洞类型：
  
  命令注入
  
  目录遍历
  
  PHP eval代码执行
  
  文件上传
  
  文件包含
  
  任意文件读取
  
  任意文件写入
  
  SQL注入
  
  SSRF
  
  Java XXE
2.2、启动过程
- a、通过插桩技术，进入openrasp入口com.baidu.openrasp.Agent.premain方法
- b、premain方法执行初始化，并加载引擎模块，引擎模块执行后续动作
- c、加载配置：本地yml文件 + 云端定期拉取，配置比如：每个攻击类型是否拦截还是只记录、agent身份认证、邮件&钉钉报警、控制台密码
  
  loadConfigFromFile(new File(configFilePath), true);
- e、CheckerManager初始化，为不同的攻击类型，设置不同的检测checker，大部分攻击使用V8AttackChecker检测
  
  public synchronized static void init() throws Exception {
  
  for (Type type : Type.values()) {
  
  checkers.put(type, type.checker);
  
  }
  
  }
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
- f、构造CustomClassTransformer，设置到Instrumentation：关键动作如下：
  
  transformer = new CustomClassTransformer(inst);
  
  public CustomClassTransformer(Instrumentation inst) {
  
  this.inst = inst;
  
  inst.addTransformer(this, true);
  
  addAnnotationHook();
  
  }
  
  ServerDetectorManager构造，并创建所有服务器检测类，比如tomcat、springboot、webloigc、jboss、jetty、resin、dubbo、bes、ubdertow等
  
  private ServerDetectorManager serverDetector = ServerDetectorManager.getInstance();
  
  对所有com.baidu.openrasp.hook包里的class进行扫描，判断每个class是否设置了注解HookAnnotation，如果设置了则加入CustomClassTransformer的hooks集合
  
  Set<Class> classesSet = AnnotationScanner.getClassWithAnnotation(SCAN_ANNOTATION_PACKAGE, HookAnnotation.class);
- g、对已经加载和后续加载的class进行transform，transform包括以下处理：
  
  判断class所在的文件路径是否为jar包，如果是则加入 loadedJarPaths ，这样可以获取所有加载的jar包，可用于三方组件检测
  
  调用hooks集合每个hook的isClassMatched与每个class进行匹配，判断是否需要hook，如果需要则进行hook处理
  
  主要是利用字节码技术 javaassist 对相应的字节码进行修改，插入hook逻辑
  
  // 这个类hook发送网络请求的类，用于检测ssrf；这个hook点类似于白盒的sink点
  
  @HookAnnotation
  
  public class URLConnectionHook extends AbstractSSRFHook {
  
  @Override
  
  public boolean isClassMatched(String className) { //这个方法判断当前class是否需要hook
  
  return "sun/net/www/protocol/http/HttpURLConnection".equals(className) ||
  
  "weblogic/net/http/HttpURLConnection".equals(className);
  
  }
  
  @Override //这个方法执行真正的hook逻辑，完成对class的修改
  
  protected void hookMethod(CtClass ctClass) throws IOException, CannotCompileException, NotFoundException {
  
  String src = getInvokeStaticSrc(URLConnectionHook.class, "checkHttpConnection",
  
  "$0", URLConnection.class);
  
  // 通过javaassit修改class，插入一段源码src
  
  insertBefore(ctClass, "getInputStream", "()Ljava/io/InputStream;", src);
  
  src = getInvokeStaticSrc(URLConnectionHook.class, "onExit", "$0", Object.class);
  
  insertAfter(ctClass, "getInputStream", "()Ljava/io/InputStream;", src, true);
  
  }
  
  public static void onExit(Object urlConnection) {
  
  try {
  
  if (isChecking.get() && !isExit.get() && URLConnectionRedirectHook.urlCache.get() != null) {
  
  // 以下会继续调用 getinpustream isExit 避免死循环
  
  isExit.set(true);
  
  HashMap<String, Object> cache = originCache.get();
  
  HashMap<String, Object> redirectCache = getSsrfParamWithURL(URLConnectionRedirectHook.urlCache.get());
  
  if (cache != null && redirectCache != null) {
  
  AbstractRedirectHook.checkRedirect(cache, redirectCache,
  
  ((HttpURLConnection) urlConnection).getResponseMessage(), ((HttpURLConnection) urlConnection).getResponseCode());
  
  }
  
  }
  
  } catch (Exception e) {
  
  // ignore
  
  } finally {
  
  isChecking.set(false);
  
  originCache.set(null);
  
  isExit.set(false);
  
  URLConnectionRedirectHook.urlCache.set(null);
  
  }
  
  }
  
  private static HashMap<String, Object> getSsrfParamWithURL(URL url) {
  
  try {
  
  String host = null;
  
  String port = "";
  
  if (url != null) {
  
  host = url.getHost();
  
  int temp = url.getPort();
  
  if (temp > 0) {
  
  port = temp + "";
  
  }
  
  }
  
  if (url != null && host != null) {
  
  return getSsrfParam(url.toString(), host, port, "url_open_connection");
  
  }
  
  } catch (Exception e) {
  
  // ignore
  
  }
  
  return null;
  
  }
  
  public static void checkHttpConnection(URLConnection urlConnection) {
  
  if (!isChecking.get()) {
  
  isChecking.set(true);
  
  if (urlConnection != null) {
  
  URL url = urlConnection.getURL();
  
  HashMap<String, Object> param = getSsrfParamWithURL(url);
  
  checkHttpUrl(param);
  
  originCache.set(param);
  
  }
  
  }
  
  }
  
  }
  
  调用serverDetector.detectServer,检测服务器类型，比如是否为springboot、tomcat、weblogic
  
  // springboot 判断，class是否为 org/apache/catalina/startup/Bootstrap
  
  public boolean isClassMatched(String className) {
  
  return "org/apache/catalina/startup/Bootstrap".equals(className);
  
  }
- h、注册应用，向控制台注册应用，并且定期发送心跳、上报漏洞、异常、组件依赖信息等。
2.3、攻击检测：
- hook点拿到对应的参数信息后，交给hook指定攻击类型的checker处理（在启动时为每个攻击类型设置过对应的checker），大部分攻击使用V8AttackChecker检测
- V8AttackChecker调用v8引擎，通过js插件来进行判断是否为攻击、是否进行拦截
  
  V8AttackChecker -> jni方式调用chrome v8 -> js plugin
  
  function check_ssrf(params, context, is_redirect) {
  
  var hostname = params.hostname
  
  var url = params.url
  
  var ip = params.ip
  
  var reason = false
  
  // 算法1 - 当参数来自用户输入，且为内网IP，判定为SSRF攻击
  
  if (algorithmConfig.ssrf_userinput.action != 'ignore')
  
  {
  
  var ret
  
  ret = check_internal(params, context, is_redirect)
  
  // 过滤非HTTP请求（dubbo)
  
  var header = context.header || {}
  
  if (ret && Object.keys(header).length != 0) {
  
  return ret
  
  }
  
  }
  
  // 算法2 - 检查常见探测域名
  
  if (algorithmConfig.ssrf_common.action != 'ignore')
  
  {
  
  if (is_hostname_dnslog(hostname))
  
  {
  
  return {
  
  action: algorithmConfig.ssrf_common.action,
  
  message: _("SSRF - Requesting known DNSLOG address: %1%", [hostname]),
  
  confidence: 100,
  
  algorithm: 'ssrf_common'
  
  }
  
  }
  
  }
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  // 算法3 - 检测 AWS/Aliyun/GoogleCloud 私有地址: 拦截IP访问、绑定域名访问两种方式
  
  if (algorithmConfig.ssrf_aws.action != 'ignore')
  
  {
  
  if (ip == '169.254.169.254' || ip == '100.100.100.200'
  
  || hostname == '169.254.169.254' || hostname == '100.100.100.200' || hostname == 'metadata.google.internal')
  
  {
  
  return {
  
  action: algorithmConfig.ssrf_aws.action,
  
  message: _("SSRF - Requesting AWS metadata address"),
  
  confidence: 100,
  
  algorithm: 'ssrf_aws'
  
  }
  
  }
  
  }
  
  // 算法4 - ssrf_obfuscate
  
  //
  
  // 检查混淆:
  
  // http://2130706433
  
  // http://0x7f001
  
  //
  
  // 以下混淆方式没有检测，容易误报
  
  // http://0x7f.0x0.0x0.0x1
  
  // http://0x7f.0.0.0
  
  if (algorithmConfig.ssrf_obfuscate.action != 'ignore')
  
  {
  
  var reason = false
  
  if (!isNaN(hostname) && hostname.length != 0)
  
  {
  
  reason = _("SSRF - Requesting numeric IP address: %1%", [hostname])
  
  }
  
  // else if (hostname.startsWith('0x') && hostname.indexOf('.') === -1)
  
  // {
  
  // reason = _("SSRF - Requesting hexadecimal IP address: %1%", [hostname])
  
  // }
  
  if (reason)
  
  {
  
  return {
  
  action: algorithmConfig.ssrf_obfuscate.action,
  
  message: reason,
  
  confidence: 100,
  
  algorithm: 'ssrf_obfuscate'
  
  }
  
  }
  
  }
  
  // 算法5 - 特殊协议检查
  
  if (algorithmConfig.ssrf_protocol.action != 'ignore')
  
  {
  
  // 获取协议
  
  var proto = url.split(':')[0].toLowerCase()
  
  if (algorithmConfig.ssrf_protocol.protocols.indexOf(proto) != -1)
  
  {
  
  return {
  
  action: algorithmConfig.ssrf_protocol.action,
  
  message: _("SSRF - Using dangerous protocol: %1%://", [proto]),
  
  confidence: 100,
  
  algorithm: 'ssrf_protocol'
  
  }
  
  }
  
  }
  
  return false
  
  }
2.4、iast漏洞检测：
- 非重放
  
  对rasp的攻击事件数据按照stack合并去重后作为漏洞
- 重放
  
  利用javaagent抓取请求信息，然后参数加上poc后重放（fuzz）
- 业界情况
  
  大部分公司已经在开发
  
  京东、阿里、华为、携程、58、美团、百度、腾讯、华泰、快手、字节
  
  优点：
  
  java开源的比较成熟，可以快速拿来用，其他语言较少；
  
  检测准确率高、覆盖率也不错（如果是测试环境取决于QA的测试覆盖度）；
  
  可以拿到完整的调用链，类似白盒的数据流但也不太一样；
  
  可以很方便的支持dubbo之类的框架；
  
  可以比较方便的拿到所有三方组件依赖信息；
  
  不存在白盒那种路径爆炸、spring依赖注入之类的问题；
  
  完整的获取API接口信息、请求和响应数据，检测敏感数据的流向、收集、输出很方便；
  
  可以更精准的检测日志打印敏感数据、数据库存储敏感数据等目前黑白盒检测不了的风险。
  
  可以检测web弱口令；中间件配置类安全问题；
  
  缺点：
  
  部署成本较高，生产环境对稳定性、性能要求较高
  
  每种语言的实现方式不一样，需要适配多种开发语言，目前开源的方案java相对来说比较成熟，其他语言实践较少。
  
  对业务应用有侵入性、如果存在bug可能导致应用出问题，比如crash；
  
  跨线程促发的漏洞检测调用链不完整；
3、参考
- https://rasp.baidu.com/doc/
- https://rasp.baidu.com/
查看全文

相关阅读:
Kibana详细入门教程
 Python爬取食品商务网蔬菜价格数据，看看蔬菜最近的价格情况
 用Python爬取某蔬菜网的行情，分析底哪个地区的蔬菜便宜
 ES启动失败;java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.c
ELK 5.0 组件后台启动
 linux中/etc/security/limits.conf配置文件说明
 redis面试常见问题
 单线程的Redis为什么能支持10w+的QPS?
Redis大Key优化
 redis中查找大key方法汇总

原文地址：https://www.cnblogs.com/fsqsec/p/15160586.html

百度OpenRasp实现原理

1、基础知识

1.1、java插桩技术 ：javaagent

1.2、java字节码修改：javaassist

2、OpenRasp原理

2.1、openrasp介绍

2.2、启动过程

2.3、攻击检测：

2.4、iast漏洞检测：

3、参考

1.1、java插桩技术：javaagent