随着计算机技术的革新，互联网新媒体的快速发展，人们的生活已经进入高速信息时代。我们每天的生活都要产生大量数据，因此我们获取数据的速度和规模不断增长，大量数据不断的被存入存储介质中形成海量数据。海量数据的存储、应用及挖掘已成为人们急需解决的难题。
数据挖掘是一门新兴的学科，它诞生于20世纪80年代，主要面向商业应用的人工只能研究领域。大数据是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据包括海量的数据信息与高强度的数据处理能力，对于传统的数据处理系统来说，大数据处理有着相当多的优势，可以对于大型复杂的数据模块进行高效地分析，包括数据的收集、分析、共享与传输等。大数据可以采用预测的方式进行分析，在用户分析后进行数据提取，将其价值体现出来。
大量数据的生成和累积是信息化的必然结果。现代企业在采购、仓储、运输、产品设计、生产、销售和客户服务等诸多环节都采集并积累了大量的供应商、服务提供商和客户的交易数据，生产和经营数据，产品研发数据，财务及人力资源管理数据等，因此可以说现代企业是运营在数据之上，诸多生产和经营的决策问题必须通过数据分析才能解决。
随着消费者、企业和各经济部门充分发挥大数据的潜力，由大数据驱动的创新、生产力提高、经济增长、以及新的竞争模式和价值取向变革的巨大浪潮将达到巅峰。与过去不同的是，随着一系列新技术趋势发展的加速和凝聚，大数据所带来的变化规模和范围己经达到新的拐点，将会迅速膨胀。
大数据带来的潜在经济价值和社会价值巨大，但这些价值必须通过数据的有效整合、分析和挖掘才能释放出来。数据的整合是建立数据仓库的必要工作，对于结构化数据的整合有很多解决方案和软件工具。目前的挑战是非结构化数据的融合和整合，如:文本数据、图像数据、信号数据、音频数据、视频数据等。
北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。
其中KGB(Knowledge Graph Builder)知识图谱引擎是我们自主研发的知识图谱构建与推理引擎，基于汉语词法分析的基础上，采用KGB语法实现了实时高效的知识生成，可以从非结构化文本中抽取各类知识，并实现了从表格中抽取指定的内容等。KGB同时可以定义不同的动作，如抽取动作，并能自定义各类后处理程序。利用KGB知识图谱引擎可以抽取到产品的详细报价信息，方便进行下一步的数据挖掘与图谱构建。
数据挖掘技术及其应用是目前国际上的一个研究热点，并在许多行业中得到了很好的应用，尤其是在市场营销中获得了成功，初步体现了其优越性和发展潜力。在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。