大数据

随着“大时代”的来临，企业越来越重视的作用，给企业带来的价值也越来越多。本文档将介绍大给企业带来的机遇与挑战以及企业的大解决方案。

第一步先搞清楚什么是大？他不是简单的大量或海量，而是有着4V特征的金矿。他给我们的企业会带来机遇与挑战。

第二步我们根据大的特征，分析企业大平台要迎接大的挑战，应该具备什么样的能力。

第三部分，基于大平台要求，我们提出一个企业大的技术解决方案，介绍解决方案是如何解决大难题。

最后我看一看大应用当前存在的问题，未来将会怎样发展。

什么是大？

从角度看，大不是简单的大和多，大致电一把柒叁耳零一泗贰五领，而是有着4V的特征。简单说就是体量大、样式多、速度快、价值低。

体量大：最新研究报告，到2020年，全球使用量预计增44倍，达到35.2ZB。我们说大时，一般企业量要达到PB级才能称为大。

样式多：除了量大，大还包括了结构化和非结构化，邮件，Word,图片，音频信息，信息等各种类型，已经不是以往的关系型库可以解决的了。

速度快：这里说的是采集的速度，随着商务、移动办公、穿戴设备、物联网、智能小区等等的发展，产生的速度已经演进到秒级。企业要求能够实时获取，实时进行决策。

价值低：指的是价值密度，整个的价值是越来越高，但是因为量的壮大，价值密度也相应降低，无价值要占据大部分，企业需要从海量的业务中寻找价值。

从开发人员角度看，大和以往的库技术、仓库技术是不同的，他代表以Hadoop、Spark为首的一系列新技术。

这类技术的显著特点是：分布式、内存计算。

分布式：简单的说，分布式就是将复杂的、费时的任务拆分为多个细小的任务，并行处理。这里的任务就包含了采集、存储、处理。

内存计算：实质上就是CPU直接从内存而非硬盘上读取，并对进行计算、分析。内存计算非常适合处理海量的，以及需要实时获得结果的。比如可以将一个企业近十年几乎所有的财务、营销、市场等各方面的一次性地保存在内存里，并在此基础上进行的分析。

挖掘：大的核心实际上还应该包括挖掘技术，这是一个和统计系紧密的技术，粗略的划分为分类、聚类、预测、关联四大类，可从大量的、不完全的、模糊的中利用数学方法，提取出潜在的规律或知识。

大平台要求

大的能力分为采集、存储、计算或处理、挖掘、展现五个方面。

采集：需要对于海量、实时的采集能力，这是利用的第一步。

存储：对应大特点，需要大容量、高容错、高效率的存储能力，这是利用的基础。

计算：需要强大、廉价、快速的处理货计算能力，强大对应大的量大、类型多，廉价对应大的价值密度低，快速对应大的速度快，这是大能够发展的关键。

挖掘：要能够全角度、多方位的立体分析挖掘价值，应用好挖掘才能将转化为价值，这是利用的核心。

展现：多途径、直观、丰富的展现形式是的外在形象，这是应用的亮点，是能够得到用户认可的窗口。

以上是对于大平台需要解决的问题，必须具备的能力，提出的要求。

技术解决方案

企业大解决方案从处理流程上分为采集层、存储层、计算层、挖掘层、展现层，每一层解决大所需的关键难题。其中标黄的部分是传统处理技术。

采集层：

采集技术分为实时采集和采集，实时采集采用Oracle GoldenGate等工具，实时增量采集，保证的及时性；采集采用SAP Data Services等工具相结合的方式，抽取，主要用于大批量、非实时性。加入kettle、sqoop等分布式ETL工具，丰富多样化抽取服务，同时加入整合实时的kafka服务，处理大量实时。

存储层：

存储区在传统oracle的基础上，加入分布式文件系统、分布式列式库、内存文件系统、内存库、全文搜索等模块。其中，分布式文件系统ceph由于拥有分布均衡，并行化度高等特性，所以用于存储非结构化；分布式文件系统Hdfs由于拥有极佳的扩展性和兼容性，用于存储其他结构化；列式存储库hbase主要用于存储特定需求的海量，以供运算查询等服务。

计算层：

计算层采用标准SQL查询、全文搜索、交互分析Spark、实时处理Streaming、离线批处理、图计算Graph X等技术，对结构化、非结构化、实时、大批量进行计算处理。

核心计算方式spark内存计算引擎的优势：

轻量级快速处理。

易于使用，Spark支持多语言。

支持复杂查询。

实时的流处理。

可以与Hadoop和已存Hadoop整合。

可以与Hive整合

挖掘层：采用Spark_Mllib、R、Mhout等分析工具，依据模型分析引擎创建模型、算法库。由模型算法库对模型进行训练，生成模型实例，最后依据模型实例进行实时决策及离线决策。

展现层：门户展现、图表、邮件、办公软件等多种分析方式，在展现途径上可支持大屏幕、电脑桌面、移动终端等。

结束语

随着高性能计算机、海量的存储和管理的流程的不断优化，技术能够解决的问题终将不会成为问题。真正会制约或者成为大发展和应用瓶颈的有三个环节：

第一、收集和提取的合法性，隐私的保护和隐私应用之间的权衡。

任何企业或机构从人中提取私人，用户都有知情权，将用户的隐私用于商业行为时，都需要得到用户的认可。然而，目前，中国乃至全世界对于用户隐私应当如何保护、商业规则应当如何制定、触犯用户的隐私权应当如何惩治、法律规范应当如何制定等等一系列管理问题都**滞后于大的发展速度。未来很多大业务在最初发展阶段将会游走在灰色地带，当商业运作初具规模并开始对大批消费者和公司都产生影响之后，相关的法律法规以及市场规范才会加速制定出来。可以预计的是，尽管大技术层面的应用可以无限广阔，但是由于受到采集的，能够用于商业应用、服务于人们的要远远小于理论上大能够采集和处理的。源头的采集受限将**大的商业应用。

第二、大发挥协同效应需要产业链各个环节的企业达成竞争与合作的平衡。

大对基于其生态圈中的企业提出了更多的合作要求。如果没有对整体产业链的宏观把握，单个企业仅仅基于自己掌握的，无法了解产业链各个环节之间的关系，对消费者做出的判断和影响也十分有限。在一些信息不对称比较明显的行业，例如银行业以及保险业，企业之间共享的需求更为迫切。例如，银行业和保险业通常都需要建立一个行业共享的库，让其成员能够了解到单个用户的信用记录，消除担保方和消费者之间的信息不对称，让交易进行的更为顺利。然而，在很多情况下，这些需要共享信息的企业之间竞争和合作的关系同时存在，企业在共享之前，需要权衡利弊、避免在共享的同时丧失了其竞争优势。此外，当很多商家合作起来，很容易形成卖家同盟而导致消费者利益受到损失，影响到竞争的公平性。大最具有想象力的发展方向是将不同的行业的整合起来，全方位立体的绘图，力图从系统的角度了解并重塑用户需求。然而，交叉行业共享需要平衡太多企业的利益关系，如果没有中立的第三方机构出面，协调所有参与企业之间的关系、制定共性及应用的规则，将**大的用武之地。权威第三方中立机构的缺乏将制约大发挥出其最大的潜力。

第三、大结论的解读和应用。

大可以从分析的层面上揭示各个变量之间可能的关联，但是层面上的关联如何具象到行业实践中？如何制定可执行方案应用大的结论？这些问题要求执行者不但能够解读大，同时还需深谙行业发展各个要素之间的关联。这一环节基于大技术的发展但又涉及到管理和执行等各方面因素。在这一环节中，人的因素成为制胜关键。从技术角度，执行人需要理解大技术，能够解读大分析的结论；从行业角度，执行人要非常了解行业各个生产环节的流程的关系、各要素之间的可能关联，并且将大得到的结论和行业的具体执行环节一一对应起来；从管理的角度，执行人需要制定出可执行的解决问题的方案，并且确保这一方案和管理流程没有，在解决问题的同时，没有出新的问题。这些需求，不但要求执行人深谙技术，同时应当是一个卓越的管理者，有系统论的思维，能够从复杂系统的角度关联地看待大与行业的关系。此类人才的稀缺性将制约大的发展。

大解决方案公司主要是管理、挖掘、采集、以及大可视化方面的服务，更多可参考达-普-信服务方案。

全国31个省大公司列表，推荐给你：网页链接