如何利用hadhoop构建物联网平台

头像
优氧V美   2021-09-19   3807浏览
已有149条回答
头像
屁界的战斗猪
2023-04-30

常见的大术语表(中英对照简版):

A

聚合(Aggregation) – 搜索、合并、显示的过程

算法(Algorithms) – 可以完成某种分析的数学公式

分析法(Analytics) – 用于发现的内在涵义

异常检测(Anomaly detection) –
在集中搜索与预期模式或行为不匹配的项。除了“Anomalies”,用来表示异常的词有以下几种:outliers, exceptions,
surprises, contaminants.他们通常可关键的可执行信息

匿名化(Anonymization) – 使匿名,即移除所有与个人隐私相关的

应用(Application) – 实现某种特定功能的计算机软件

人工智能(Artificial Intelligence) –
研发智能机器和智能软件,这些智能设备能够感知周遭的环境,并根据要求作出相应的反应,甚至能自我学习

B

行为分析法(Behavioural Analytics) –
这种分析法是根据用户的行为如“怎么做”,“为什么这么做”,以及“做了什么”来得出结论,而不是仅仅针对人物和时间的一门分析学科,它着眼于中的人性化模式

大科学家(Big Data Scientist) – 能够设计大算法使得大变得有用的人

大创业公司(Big data startup) – 指研发最新大技术的新兴公司

生物测定术(Biometrics) – 根据个人的特征进行身份识别

B字节 (BB: Brontobytes) – 约等于1000 YB(Yottabytes),相当于未来数字化宇宙的大小。1
B字节包含了27个0!

商业智能(Business Intelligence) – 是一系列理论、方法学和过程,使得更容易被理解

C

分类分析(Classification analysis) – 从中获得重要的相关性信息的系统化过程; 这类也被称为元(meta
data),是描述的

云计算(Cloud computing) – 构建在网络上的分布式计算系统,是存储于机房外的(即云端)

聚类分析(Clustering analysis) –
它是将相似的对象聚合在一起,每类相似的对象组一个聚类(也叫作簇)的过程。这种分析方法的目的在于分析间的差异和相似性

冷存储(Cold data storage) – 在低功耗服务器上存储那些几乎不被使用的旧。但这些检索起来将会很耗时

对比分析(Comparative analysis) – 在非常大的集中进行模式匹配时,进行一步步的对比和计算过程得到分析结果

复杂结构的(Complex structured data) –
由两个或多个复杂而相互关联部分组成的,这类不能简单地由结构化查询语言或工具(SQL)解析

计算机产生的(Computer generated data) – 如日志文件这类由计算机生成的

并发(Concurrency) – 同时执行多个任务或运行多个进程

相关性分析(Correlation analysis) – 是一种分析方法,用于分析变量之间是否存在正相关,或者负相关

客户关系管理(CRM: Customer Relationship Management) –
用于管理销、业务过程的一种技术,大将影响公司的客户关系管理的策略

D

仪表板(Dashboard) – 使用算法分析,并将结果用图表方式显示于仪表板中

聚合工具(Data aggregation tools) – 将分散于众多源的转化成一个全新源的过程

分析师(Data analyst) – 从事分析、建模、清理、处理的专业人员

库(Database) – 一个以某种特定的技术来存储集合的仓库

库即服务(Database-as-a-Service) – 部署在云端的库,即用即付,例如亚马逊云服务(AWS: Amazon Web
Services)

库管理系统(DBMS: Database Management System) – 收集、存储,并的访问

中心(Data centre) – 一个实体地点,放置了用来存储的服务器

清洗(Data cleansing) – 对进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并一致性

管理员(Data custodian) – 负责维护存储所需技术环境的专业技术人员

道德准则(Data ethical guidelines) – 这些准则有助于组织机构使其透明化,保证的简洁、安全及隐私

订阅(Data feed) – 一种流,例如Twitter订阅和RSS

集市(Data marketplace) – 进行集的在线交易场所

挖掘(Data mining) – 从集中发掘特定模式或信息的过程

建模(Data modelling) – 使用建模技术来分析对象,以此洞悉的内在涵义

集(Data set) – 大量的集合

虚拟化(Data virtualization) –
整合的过程,以此获得更多的信息,这个过程通常会引入其他技术,例如库,应用程序,文件系统,网页技术,大技术等等

去身份识别(De-identification) – 也称为匿名化(anonymization),确保个人不会通过被识别

判别分析(Discriminant analysis) –
将分类;按不同的分类方式,可将分配到不同的组,类别或者目录。是一种统计分析法,可以对中某些组或集的已知信息进行分析,并从中获取分类规则。

分布式文件系统(Distributed File System) – 简化的,高可用的方式来存储、分析、处理的系统

文件存贮库(Document Store Databases) – 又称为文档库(document-oriented database),
为存储、管理、恢复文档而专门设计的库,这类文档也称为半结构化

E

探索性分析(Exploratory analysis) –
在没有标准的流程或方法的情况下从中发掘模式。是一种发掘和集主要特性的一种方法

E字节(EB: Exabytes) – 约等于1000 PB(petabytes), 约等于1百万 GB。如今全球每天所的新信息量大约为1
EB

提取-转换-加载(ETL: Extract, Transform and Load) –
是一种用于库或者仓库的处理过程。即从各种不同的源提取(E),并转换(T)成能满足业务需要的,最后将其加载(L)到库

F

故障切换(Failover) – 当系统中某个服务器发生故障时,能自动地将运行任务切换到另一个可用服务器或节点上

容错设计(Fault-tolerant design) – 一个支持容错设计的系统应该能够做到当某一部分出现故障也能继续运行

G

化(Gamification) –
在其他非领域中运用的思维和机制,这种方法可以以一种十分友好的方式进行的创建和侦测,非常有效。

图形库(Graph Databases) –
运用图形结构(例如,一组有限的有序对,或者某种实体)来存储,这种图形存储结构包括边缘、属性和节点。它了相邻节点间的自由索引功能,也就是说,库中每个元素间都与其他相邻元素直接关联。

网格计算(Grid computing) – 将许多分布在不同地点的计算机连接在一起,用以处理某个特定问题,通常是通过云将计算机相连在一起。

H

Hadoop – 一个开源的分布式系统基础框架,可用于开发分布式程序,进行大的运算与存储。

Hadoop库(HBase) – 一个开源的、非关系型、分布式库,与Hadoop框架共同使用

HDFS – Hadoop分布式文件系统(Hadoop Distributed File
System);是一个被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统

高性能计算(HPC: High-Performance-Computing) – 使用超级计算机来解决极其复杂的计算问题

I

内存库(IMDB: In-memory) –
一种库管理系统,与普通库管理系统不同之处在于,它用主存来存储,而非硬盘。其特点在于能高速地进行的处理和存取。

物联网(Internet of Things) – 在普通的设备中装上传感器,使这些设备能够在任何时间任何地点与网络相连。

J

法律上的一致性(Juridical data compliance) –
当你使用的云计算解决方案,将你的存储于不同的或不同的时,就会与这个概念扯上关系了。你需要留意这些存储在不同的是否符合当地的法律。

K

键值库(KeyValue Databases) –
的存储方式是使用一个特定的键,指向一个特定的记录,这种方式使得的查找更加方便快捷。键值库中所存的通常为编程语言中基本类型的。

L

延迟(Latency) – 表示系统时间的延迟

遗留系统(Legacy system) – 是一种旧的应用程序,或是旧的技术,或是旧的计算系统,现在已经不再支持了。

负载均衡(Load balancing) – 将工作量分配到多台电脑或服务器上,以获得最优结果和最大的系统利用率。

位置信息(Location data) – GPS信息,即地理位置信息。

日志文件(Log file) – 由计算机系统自动生成的文件,记录系统的运行过程。

M

M2M(Machine2Machine data) – 两台或多台机器间交流与传输的内容

机器(Machine data) – 由传感器或算法在机器上产生的

机器学习(Machine learning) –
人工智能的一部分,指的是机器能够从它们所完成的任务中进行自我学习,通过长期的累积实现自我改进。

MapReduce – 是处理大规模的一种软件框架(Map: 映射,Reduce: 归纳)。

大规模并行处理(MPP: Massively Parallel Processing) –
同时使用多个处理器(或多台计算机)处理同一个计算任务。

元(Metadata) – 被称为描述的,即描述属性(是什么)的信息。

MongoDB – 一种开源的非关系型库(NoSQL database)

库(Multi-Dimensional Databases) – 用于优化联机分析处理(OLAP)程序,优化仓库的一种库。

多值库(MultiValue Databases) – 是一种非关系型库(NoSQL),
一种特殊的库:能处理3个维度的。主要针对非常长的字符串,能够完美地处理HTML和XML中的字串。

N

自然语言处理(Natural Language Processing) –
是计算机科学的一个分支领域,它研究如何实现计算机与人类语言之间的交互。

网络分析(Network analysis) – 分析网络或图论中节点间的关系,即分析网络中节点间的连接和强度关系。

NewSQL – 一个优雅的、定义良好的库系统,比SQL更易学习和使用,比NoSQL更晚提出的新型库

NoSQL –
顾名思义,就是“不使用SQL”的库。这类库泛指传统关系型库以外的其他类型的库。这类库有更强的一致性,能处理超大规模和高并发的。

O

对象库(Object Databases) –
(也称为面象对象库)以对象的形式存储,用于面向对象编程。它不同于关系型库和图形库,大部分对象库都一种查询语言,允许使用声明式编程(declarative
programming)访问对象.

基于对象图像分析(Object-based Image Analysis) –
数字图像分析方法是对每一个像素的进行分析,而基于对象的图像分析方法则只分析相关像素的,这些相关像素被称为对象或图像对象。

作型库(Operational Databases) –
这类库可以完成一个组织机构的常规作,对商业运营非常重要,一般使用在线事务处理,允许用户访问 、收集、检索公司内部的具体信息。

优化分析(Optimization analysis) –
在产品设计周期依靠算法来实现的优化过程,在这一过程中,公司可以设计各种各样的产品并测试这些产品是否满足预设值。

本体论(Ontology) – 表示知识本体,用于定义一个领域中的概念集及概念之间的关系的一种哲学思想。(译者注:
被提高到哲学的高度,被赋予了世界本体的意义,成为一个的客观世界)

异常值检测(Outlier detection) –
异常值是指严重偏离一个集或一个组合总平均值的对象,该对象与集中的其他它相去甚远,因此,异常值的出现意味着系统发生问题,需要对此另加分析。

P

模式识别(Pattern Recognition) – 通过算法来识别中的模式,并对同一源中的新作出预测

P字节(PB: Petabytes) – 约等于1000 TB(terabytes), 约等于1百万 GB
(gigabytes)。欧洲核子研究中心(CERN)大型强子对撞机每秒产生的粒子个数就约为1 PB

平台即服务(PaaS: Platform-as-a-Service) – 为云计算解决方案所有必需的基础平台的一种服务

预测分析(Predictive analysis) –
大分析方法中最有价值的一种分析方法,这种方法有助于预测个人未来(近期)的行为,例如某人很可能会买某些商品,可能会访问某些网站,做某些事情或者产生某种行为。通过使用各种不同的集,例如历史,事务,社交,或者客户的个人信息,来识别风险和机遇

隐私(Privacy) – 把具有可识别出个人信息的与其他分离开,以确保用户隐私。

公共(Public data) – 由公共基金创建的公共信息或公共集。

Q

数字化自我(Quantified Self) – 使用应用程序用户一天的一举一动,从而更好地理解其相关的行为

查询(Query) – 查找某个问题的相关信息

R

再识别(Re-identification) – 将多个集合并在一起,从匿名化的中识别出个人信息

回归分析(Regression analysis) –
确定两个变量间的依赖关系。这种方法假设两个变量之间存在单向的因果关系(译者注:自变量,因变量,二者不可互换)

RFID – 射频识别; 这种识别技术使用一种无线非接触式射频电磁场传感器来传输

实时(Real-time data) – 指在几毫秒内被创建、处理、存储、分析并显示的

推荐引擎(Recommendation engine) – 推荐引擎算法根据用户之前的行为或其他行为向用户推荐某种产品

路径分析(Routing analysis) –
针对某种运输方法通过使用多种不同的变量分析从而找到一条最优路径,以达到降低费用,提高效率的目的

S

半结构化(Semi-structured data) –
半结构化并不具有结构化严格的存储结构,但它可以使用标签或其他形式的标记方式以保证的层次结构

情感分析(Sentiment Analysis) – 通过算法分析出人们是如何看待某些话题

信号分析(Signal analysis) – 指通过度量随时间或空间变化的物理量来分析产品的性能。特别是使用传感器。

相似性搜索(Similarity searches) – 在库中查询最相似的对象,这里所说的对象可以是任意类型的

分析(Simulation analysis) –
是指模拟真实环境中进程或系统的作。分析可以在时考虑多种不同的变量,确保产品性能达到最优

智能网格(Smart grid) – 是指在能源网中使用传感器实时监控其运行状态,有助于提高效率

软件即服务(SaaS: Software-as-a-Service) – 基于Web的通过浏览器使用的一种应用软件

空间分析(Spatial analysis) – 空间分析法分析地理信息或拓扑信息这类空间,从中得出分布在地理空间中的的模式和规律

SQL – 在关系型库中,用于检索的一种编程语言

结构化(Structured data)
-可以组织成行列结构,可识别的。这类通常是一条记录,或者一个文件,或者是被正确标记过的中的某一个字段,并且可以被精确地到。

T

T字节(TB: Terabytes) – 约等于1000 GB(gigabytes)。1 TB容量可以存储约300小时的高清。

时序分析(Time series analysis) –
分析在重复测量时间里获得的定义良好的。分析的必须是良好定义的,并且要取自相同时间间隔的连续时间点。

拓扑分析(Topological Data Analysis) –
拓扑分析主要关注三点:复合模型、集的识别、以及的统计学意义。

交易(Transactional data) – 随时间变化的动态

透明性(Transparency) – 消费者想要知道他们的有什么作用、被作何处理,而组织机构则把这些信息都透明化了。

U

非结构化(Un-structured data) – 非结构化一般被认为是大量纯文本,其中还可能包含日期,数字和实例。

V

价值(Value) – (译者注:大4V特点之一)
所有可用的,能为组织机构、社会、消费者创造出巨大的价值。这意味着各大企业及整个产业都将从大中获益。

可变性(Variability) – 也就是说,的含义总是在(快速)变化的。例如,一个词在相同的推文中可以有完全不同的意思。

多样(Variety) – (译者注:大4V特点之一)
总是以各种不同的形式呈现,如结构化,半结构化,非结构化,甚至还有复杂结构化

高速(Velocity) – (译者注:大4V特点之一) 在大时代,的创建、存储、分析、虚拟化都要求被高速处理。

真实性(Veracity) – 组织机构需要确保的真实性,才能保证分析的正确性。因此,真实性(Veracity)是指的正确性。

可视化(Visualization) –
只有正确的可视化,原始才可被投入使用。这里的“可视化”并非普通的图型或饼图,可视化指是的复杂的图表,图表中包含大量的信息,但可以被很容易地理解和阅读。

大量(Volume) – (译者注:大4V特点之一) 指量,范围从Megabytes至Brontobytes

W

天气(Weather data) – 是一种重要的开放公共来源,如果与其他来源在一起,可以为相关组织机构深入分析的依据

X

XML库(XML Databases) –
XML库是一种以XML格式存储的库。XML库通常与面向文档型库相关联,开发人员可以对XML库的进行查询,导出以及按指定的格式序列化

Y

Y字节 (Yottabytes) – 约等于1000 ZB (Zettabytes),
约等于250万亿张DVD的容量。现今,整个数字化宇宙的量为1 YB, 并且将每18年翻一番。

Z

Z字节 (ZB: Zettabytes) – 约等于1000 EB (Exabytes), 约等于1百万
TB。据预测,到2016年全球范围内每天网络上通过的信息大约能达到1 ZB。

附:存储容量单位换算表:

1 Bit(比特) = Binary Digit

8 Bits = 1 Byte(字节)

1,000 Bytes = 1 Kilobyte

1,000 Kilobytes = 1 Megabyte

1,000 Megabytes = 1 Gigabyte

1,000 Gigabytes = 1 Terabyte

1,000 Terabytes = 1 Petabyte

1,000 Petabytes = 1 Exabyte

1,000 Exabytes = 1 Zettabyte

1,000 Zettabytes = 1 Yottabyte

1,000 Yottabytes = 1 Brontobyte

1,000 Brontobytes = 1 Geopbyte

71

相关问题

最新问答

排水论文在哪发?
伊兰0518 2021-09-19

小区市外排水论文发哪个杂志可以呢?我需要发表一篇这方面的论文。

word转pdf,为什么不显示图片图片?
花花的老妈 2021-09-19

我想把论文从word格式转换成PDF格式,用的金山WPS,可转换完成之后,里面的流程图就不见了,空白~~这是为什么呢?谁能帮我解决一下!谢谢!

公众号与小程序有什么区别
汤糖躺烫湯 2021-09-19

公众号与小程序有什么区别

如何制作电子小报
dream959595 2021-09-19

镀铬什么意思
autumngold 2021-09-19

镀铬什么意思

中国电影艺术的思想
幸福顺延 2021-09-19

中国针灸大纲作者是谁?
王子麻麻 2021-09-19

热门问答

排水论文在哪发?
伊兰0518 2021-09-19

小区市外排水论文发哪个杂志可以呢?我需要发表一篇这方面的论文。

word转pdf,为什么不显示图片图片?
花花的老妈 2021-09-19

我想把论文从word格式转换成PDF格式,用的金山WPS,可转换完成之后,里面的流程图就不见了,空白~~这是为什么呢?谁能帮我解决一下!谢谢!

公众号与小程序有什么区别
汤糖躺烫湯 2021-09-19

公众号与小程序有什么区别

如何制作电子小报
dream959595 2021-09-19

镀铬什么意思
autumngold 2021-09-19

镀铬什么意思

中国电影艺术的思想
幸福顺延 2021-09-19

中国针灸大纲作者是谁?
王子麻麻 2021-09-19

Coptyright © www.lw85.com电脑版