zoukankan      html  css  js  c++  java
  • 数据在千万级别上进行全文检索有哪些技术?强大的大数据全文索引解决方案-ClouderaSearch

    数据在千万级别上进行全文检索有哪些技术?强大的大数据全文索引解决方案-ClouderaSearch
    1.lucene (solr, elasticsearch 都是基于它)
    2.sphinx
    3.elasticsearch 简单易用。天生分布式。
    4.HBasene(注意HBase后面加了ne就是 HBase+lucene)。

    solr的请求基本都封装为了http,如果是http服务效率不好呢绕过它,直接透过lucene的API进行查询。
    但是solr云的方式部署进行了负载均衡,效率不会太差。
    应用查询条件最多20个左右,10个solr节点,每个节点的数据1亿左右。
    但是索引不是写在本地磁盘,是写在hdfs上的。

    ================================
    强大的大数据全文索引解决方案-ClouderaSearch
    ClouderaSearch带来了全文索引,实时查询和针对CDH和你的企业级数据中心的扩展、灵活性的索引服务。
    由Apache Hadoop和Apache Solr提供,是企业级的开源搜索。
    Cloudera Search带来了扩展性和可靠性的新一代集成,多个工作任务的搜索。
    通过它与CDH独特的整合,Cloudera Search获得了同样的容错性,扩展性,可见性,安全性,以及灵活性的提供其他企业级数据中心的工作。

    关键特征:
    1.全文索引和小面(faceted,与solr一样)导航,基于Hadoop和HBase中的内容
    2.可以基于MapReduce实现批量索引。
    3.通过GO-LIVE对动态索(Dynamic index)引进行更新
    4.针对实时查询,集成了Flume和Lily HBase indexer。
    5.无模式(Schema-less)和动态字段的支持,使schema管理更简单
    6.针对hadoop优化的字段格式做了“开箱即可用”(Out-of-the-box)字段的提取
    7.多文件(Multi-file)格式的支持和集成能力
    8.通过HDFS,实现扩展性和容错性索引存储和访问
    9.与Apache Sentry的集成,实现了基于角色,细粒度的权限控制
    10.通过使用Morphlines重用了数据配置通过工作量
    11.与其他hadoop服务共用了基础设施,资源和数据
    12.通过使用Index Aliasing 和 Oozie workflows,使用数据迁移和服务更简单
    13.在Hue中有简单,可配置的,基于面(faceted)和全文搜索的UI可以使用
    14.所有标准的搜索特征在Solr和SolrCloud中有的
    15.跨平台的监控,可见性,资源控制,通过ClouderaManager实现

    Cloudera Search是一个整合了Lily,solr(solr cloud),HBase,Hadoop,Flume等,以及使用ClouderaManager来进行管理的全文索引解决方案。
    任何人使用这个框架都可以轻松搭建一个与google和百度类似的搜索服务。由此可以看出这个框架的强大之处。

    参考官网: http://www.cloudera.com/content/cloudera/en/products-and-services/cdh/search.html

  • 相关阅读:
    java lambda
    ssh配置基础
    信息安全课程笔记1
    字体标记与文字布局
    字符串:格式化
    字符串
    标签详细描述
    HTML中的标签列表
    html(1)
    python列表命令
  • 原文地址:https://www.cnblogs.com/zdz8207/p/hadoop-lucene-solr-ClouderaSearch.html
Copyright © 2011-2022 走看看