如何定义大数据，大数据的特点及主流平台-德赢Vwin官网网

一、大数据定义

大数据尚未形成统一的定义，主流的定义包括三种：

（1）高德纳咨询公司（Gartner Group）对大数据的定义：大数据又可被称为巨量资料，是指需要新处理模式才能具有更强的决策力、洞察发现力、流程优化能力的海量、高增长率、多样化的信息资产。

（2）维克托·迈尔·舍恩伯格和肯尼斯·库克耶编写的《大数据时代》对大数据的定义：相较于随机分析法中的抽样调查数据，大数据指所有数据（含个人理解）。

（3）著云台（根据百度百科：一家中国云服务企业）的分析师团队对大数据的定义：通常形容一个公司创造的大量非结构化数据和半结构化数据，此类数据在下载至关系型数据库用于分析时会花费较多时间和金钱。

图片来源：学堂在线《大数据导论》

二、大数据的特点

大数据的特点也被称为大数据的4个“V”，具体如下：（1）数据量大（Volume），集中存储和集中计算已无法处理其数据量。数据量大举例：tumblr（全球最大轻博客网站）每日产出9500万条信息，Facebook每日产出25TB日志数据，YouTube每日新增视频数据量168TB。（2）数据种类和来源多样（Variety）。大数据的数据种类包括：结构化和非结构化数据。非结构化数据占比为80%，且非结构化数据的数据量以63%的年增长率增长（非结构化数据没有统一的数据处理技术）。大数据的数据来源包括：日志、图片、视频、文档、地理位置等。（3）需要较快的分析处理速度（Velocity）。因为大数据产生速度快，所以也需要较快的分析处理速度。（4）价值密度较低，但商业价值高（Value）。因为大数据数据量大，所以价值密度相对较低。但通过大数据分析，可以为企业创造高的价值。

三、大数据平台

目前，大数据主流技术平台是Hadoop。Hadoop被公认为大数据标准开源软件。Hadoop创立于2002年，创始人是Doug Cutting，Hadoop名称来源于Doug Cutting儿子的一头黄色大象玩具。 Hadoop的发展历程如图一所示。Hadoop项目于2006年2月被单独立项（根据百度百科：此前为Apache Lucene的子项目之一），2008年打破1TB数据排序纪录，2017年Hadoop3.0版本发布。

图片来源：学堂在线《大数据导论》 Hadoop的主流版本包括：Apache Hadoop、CDH。

（1）Apache Hadoop Apache Hadoop的优点包括： 1）完全开源免费。 2）社区活跃。 3）文档资料详实。 Apache Hadoop的缺点包括： 1）版本管理比较混乱。 2）选择生态组件时需要考虑兼容性问题。 3）集群的部署安装配置复杂，集群运维复杂。

（2）CDH CDH由CLOUDERA维护。

CDH的优点包括： 1）基于Apache协议，100%开源。 2）版本管理清晰，相比于Apache Hadoop在兼容性、安全性、稳定性方面更优。 3）提供了部署、安装、配置工具，大大提高了集群部署的效率。 4）提供了管理、监控、诊断、配置修改的工具，管理配置方便。 CDH的缺点是设计厂商锁定问题。如果某公司选用CDH，当公司需要改用其他平台的服务时，可能对该公司生产环境产生较大影响，即该公司被CDH厂商锁定。

编辑：黄飞

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

大数据

大数据

+关注

关注
64

文章
8882

浏览量
137394

原文标题：大数据相关介绍（1）——大数据概述（上）

文章出处：【微信号：行业学习与研究，微信公众号：行业学习与研究】欢迎添加关注！文章转载请注明出处。

探寻大数据时代的商业变革

`科技的进步在很多时候总会超出我们的想象。近年来，“大数据”一词逐渐被大众所熟知，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。大数据时代已然来临，它

发表于 05-27 17:11

为什么小数据比大数据更重要

of Things （物联网，简称IoT）的为题“数据与分析：从小数据到大数据”的演讲，旨在通过谷歌云平台利用各种日常电子设备进行小数据收

发表于 12-27 14:54

常见大数据应用有哪些?

大数据技术为决策提供依据，在***、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，很多国家，如中国、美国以及欧盟等都已将大数据列入国家发展战略，微软、谷歌、百度

发表于 03-13 16:50

大数据运用的技术

处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术：1. Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力

发表于 04-08 16:50

大数据专业技术学习之大数据处理流程

随着互联网的发展，大数据也在逐渐彰显出自己的优势特点，那么关于大数据的处理流程，你是否了解?第一，数据采集定义：利用多种轻型

发表于 06-11 16:41

DKHadoop大数据平台架构详解

大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动

发表于 10-17 15:12

DKhadoop大数据平台基础框架方案概述

也不是特别长。仅以我熟悉的DKhadoop为例给大家分享一些小知识，往对初学者有点小帮助就可以了。大数据平台基础框架是很多初学者必然要掌握的内容，大数据太过抽象，有时候写分享的时候难免感觉写的很多困难

发表于 10-31 13:58

基于hadoop的免费大数据平台有哪些？

时期内关于大数据应用开发又将进入到一个新的阶段。现在市面上围绕大数据的应用开发如火如荼，比如，企业级大数据处理平台开发、政务大数据

发表于 11-07 14:10

工业大数据分析平台的应用价值探讨

一条很有意思的娱乐新闻——警方在某歌手的演唱会上抓捕了好几个被网上追逃的人。这同样是大数据技术的应用······工业大数据分析平台是利用大数据技术开发搭建的为工业企业服务的一体化信息

发表于 11-12 15:56

大数据平台开发公司有哪些？

的关键。越来越多的企业开始重视大数据战略布局，并重新定义了自己的核心竞争力。这里就给大家整理一些国内的站在大数据风口的公司。如果在网络上查一下“国内大数据公司”，你就会发现各式各样的排

发表于 11-15 15:17

大数据的定义及其应用

目录1、大数据概述1.1. 概述1.2. 大数据定义1.3. 大数据技术发展2、大数据应用2.1. 大数

发表于 07-12 06:12

什么是大数据？大数据的特点有哪些

大数据(big data)目录1什么是大数据2大数据的定义3大数据的特点[1]4

发表于 07-12 06:52

大数据技术与应用是学什么的?

大规模并行处理数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。[编辑]大数据的

发表于 07-27 07:47

什么是大数据

近几年,"大数据"这个词以烈火燎原之势，在互联网领域迅速的扎根生长。尤其是"大数据"时代的到来，刺激了各大行业发展，也增加了很多相关岗位。许多人了解情况之后

发表于 08-31 08:52

物联网大数据平台具备的特点

物联网大数据平台应具备的功能和特点

发表于 08-26 15:16 •4222次阅读

搜索历史

如何定义大数据，大数据的特点及主流平台

评论