这是个信息“泛滥”的时代,大数据量司空见惯,企业处理大数据的需求也越来越大。本文梳理一下“大数据”的解决方案。
首先,关系型数据库和桌面分析或者虚拟化包不能处理大数据,相反,运行在数千台服务器上的大量并行软件需要做这个工作。
许多机构转向开源工具,比如Apache的 Hadoop来处理大数据。比如Twitter发送登陆信息到Hadoop,并直接写入HDFS,Hadoop文件系统。
Hadoop支持数据密集的应用部署在数千节点和数个PB, David Hill, Mesabi Group 主席表示。
但是,大数据在针对不同类型的应用时,确不能一概而论。比如Hadoop并不一定适合所有的案例,Hill警告说。
大数据的捕捉、存储、分析,依靠特殊的应用的特性,Hill强调。举例scale-out网络连接的存储EMC Isilon或IBM的SONAS,可能对于使用非结构化的数据比如图片、视频,会更好。
大数据处理的类型
大数据的处理,可以归为3个基本类型,Revolution Analytics的执行副总Mike Minelli表示,信息管理、商业智能,以及智能分析。
信息管理捕捉和存储信息,BI分析数据,看过去发生的情况,智能分析则是对于数据的预测。Minelli说。
Revolution analytics提供开源R语言和 Revolution R Enterprise,提供TB量级数据的高级分析。Revolution Analytics正在开发Hadoop连接器和R语言在Google的Map/Reduce框架上的能力。
处理大数据的工具
提供了处理大数据分析能力的专有软件包括 AsterData;IBM的专有软件Netezza ; Datameer, 建立在Apache的Hadoop上的专有软件,以及Paraccel。
IBM的Netezza,在它的InfoSphere产品中。Oracle 的Exadata,,以及EMC的Greenplum也是处理大数据量的专有工具。
EMC引入了Greenplum数据库的免费社区版本,该社区版本只是软件。Greenplum社区报表包括3个协作模块Greenplum DB, MADlib, 和Alpine Miner。
处理大数据量的开源工具包括Hadoop、Map/Reduce,以及Jaspersoft 的BI工具。
Jaspersoft提供的BI工具,提供了报告、分析、ETLETL (解压、转换、加载) ,针对大量的并行分析数据库,包括EMC Greenplum和HP Vertica。Jaspersoft也提供本地报告,通过Hadoop和各种类型的NoSQL数据库包括MongoDB, Riak, CouchDB and Infinispan的开源连接。
开源工具VS专有工具
开源工具可以查看代码,这样开发者可以找到他们整合时里面是什么。在几乎所有的案例中,开源分析都更具性价比和灵活性。Revolution Analytics的Minelli表示。
数据量在持续的增长,公司将被迫增加基础设施的部署。专利费用将一直增加,而开源技术,则省了这笔一直持续的专利费。Twitter选择Hadoop,其中重要的原因是专有工具的费用太高。
更长远的来看,开源工具使企业创建新的分析技术,更好的处理非结构化的语言,比如图片等。而不能寄托于传统厂商发展新的分析技术。开源工具给了企业创新的机会。
另外一个领域就是开源与专有工具的混合使用。
短期来讲,开源分析将越来越广泛的使用,并且增长迅速。长期来看,混合技术的应用将在高度竞争的市场上出现,两者将同样有巨大的需求。