大数据

随着大时代的到来，大早已被逐步的运用在我们生活中的方方面面，那么除了之前众所周知的大熟，对于大你还了解多少呢？科用案例你又知道多少?今天就跟随千锋小编一起来看看。
洛杉矶局和加利福尼亚合作利用大预测犯罪的发生。
google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。
统计学家内特.西尔弗(Nate Silver)利用大预测2012美国选举结果。
麻省理工学院利用手机和交通建立城市规划。
梅西百货的实时定价机制，根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。
……
种种的案例实在是太多，或许我们永远说不完一样，所以我们就来看一看大被科用的一个经典案例：

“啤酒与布”的产生于20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理人员分析销时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销现象引起了管理人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上。
如果这个年轻的父亲在卖场只能买到两件商品之一，则他很有可能会放弃购物而到另一家商店，直到可以一次同时买到啤酒与布为止。沃尔玛发现了这一独特的现象，开始在卖场尝试将啤酒与布摆放在相同的区域，让年轻的父亲可以同时找到这两件商品，并很快地完成购物;而沃尔玛超市也可以让这些客户一次两件商品、而不是一件，从而获得了很好的商品销收入，这就是“啤酒与布” 的由来。
当然“啤酒与布”的必须具有技术方面的支持。1993年美国学者Agrawal提出通过分析购物篮中的商品集合，从而找出商品之间关联关系的关联算法，并根据商品之间的关系，找出客户的行为。艾格拉沃从数学及计算机算法角度提 出了商品关联关系的计算方法——Aprior算法。沃尔玛从上个世纪 90 年代尝试将 Aprior 算法引入到 POS机分析中，并获得了成功，于是产生了“啤酒与布”的。
其实大，其影响除了以上列举的方面外，它同时也能在经济、政治、文化等方面产生深远的影响，大可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分，得者得天下。

"大"是一个体量特别大，类别特别大的集，并且这样的集无法用传统库工具对其内容进行抓取、管理和处理。 "大"首先是指体量(volumes)?大，指代大型集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个集放在一起，已经形成了PB级的量；其次是指类别(variety)大，来自多种源，种类和格式日渐丰富，已冲破了以前所限定的结构化范畴，囊括了半结构化和非结构化。接着是处理速度（Velocity）快，在量非常庞大的情况下，也能够做到的实时处理。最后一个特点是指真实性（Veracity）高，随着社交、企业内容、交易与应用等新源的兴趣，传统源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。
采集：ETL工具负责将分布的、异构源中的如关系、平面文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到仓库或集市中，成为联机分析处理、挖掘的基础。
存取：关系库、NOSQL、SQL等。
基础架构：云存储、分布式文件存储等。
处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂类型挖掘(Text, Web ,图形图像，，音频等)
模型预测：预测模型、机器学习、建模。
结果呈现：云计算、标签云、关系图等。
要理解大这一概念，首先要从"大"入手，"大"是指规模，大一般指在10TB(1TB=1024GB)规模以上的量。大同过去的海量有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。

第一，体量巨大。从TB级别，跃升到PB级别。
第二，类型繁多，如前文提到的网络日志、、图片、地理位置信息，等等。
第三，价值密度低。以为例，连续不间断监控过程中，可能有用的仅仅有一两秒。
第四，处理速度快。1秒定律。最后这一点也是和传统的挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是来源或者承载的方式。

大技术是指从各种各样类型的巨量中，快速获得有价值信息的技术。解决大问题的核心是大技术。目前所说的"大"不仅指本身的规模，也包括采集的工具、平台和分析系统。大研发目的是发展大技术并将其应用到相关领域，通过解决巨量处理问题促进其突破性发展。因此，大时代带来的挑战不仅体现在如何处理巨量

大是一种规模大到在获取、存储、管理、分析方面大大超出了传统库软件工具能力范围的集合，具有海量的规模、快速的流转、多样的类型和价值密度低四大特征。

大分析行业是最近这几年比较火，比较的行业了，很多人都想分一杯羹，经常同学问我什么是大分析?什么是python?这些能学到什么技能?以后能学到什么知识?有太多的疑问，小编今天就简单写出来出来，分享给大家!

很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大时代又来了。

大分析是指对规模巨大的进行分析。大可以概括为4个V， 量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)。大作为时下最火热的IT行业的词汇，随之而来的仓库、安全、分析、挖掘等等围绕大的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大时代的来临，大分析也应运而生。大分析是什么

大分析师有两种岗位：

1、大科学家，Data Scientist，DS

2、大工程师，Data Engineer，DE

从这两个单词里，你就能看出端倪了，后面小编会详细的讲解，这两者的区别，以及工作内容划分。今天我们先初步认识一下大分析是什么?

在不同行业中，那些专门从事行业的搜集、对收集的进行整理、对整理的进行深度分析，并依据分析结果做出行业研究、评估和预测的工作被称为分析。如果是熟悉行业知识、公司业务及流程，对自己的工作内容有一定的了解，比如熟悉行业认知和公司业务背景，该工作人员分析结果就会有很大的使用价值。

首先我们要列出搭建分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识;另一方面是针对分析结论提出有指导意义的分析建议。能够掌握分析基本原理与一些有效的分析方法，并能灵活运用到实践工作中，对于开展分析起着至关重要的作用。大分析方法是理论，而分析工具就是实现分析方法理论的工具，面对越来越庞大的，必须依靠强大的分析工具帮我们完成分析工作。

1、大分析可以让人们对产生更加优质的诠释，而具有预知意义的分析可以让分析员根据可视化分析和大分析后的结果做出一些预测性的推断。

2、大的分析与存储和的管理是一些分析层面的最佳实践。通过按部就班的流程和工具对进行分析可以保证一个预先定义好的高质量的分析结果。

3、不管使用者是分析领域中的，还是普通的用户，可作为分析工具的始终只能是可视化。可视化可以直观的展示，让自己表达，让客户得到理想的结果。

4、大分析已经不像前些年给人一种虚无缥缈的感觉，而当下最重要的是对大进行分析，只有经过分析的，才能对用户产生最重要的价值，越来越多人开始对什么是大分析产生联想，所以大的分析方式在整个IT领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。大分析12大就业方向

传统的分析就是在中寻找有价值的规律，这和现在的大在方向上是一致的。大具有“高维、海量、实时”的特点，就是说量大，源和的维度高，并且更新迅速的特点。