大数据核心技术/特点/通用应用-德赢Vwin官网网

01 大数据概念

数据发展推动科技进步，海量数据给数据分析带来了新的机遇和挑战。大数据是一种强大到在获取、存储、管理、分析方面远远超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和较低的价值密度这四大特征。

于是，我们需要新的处理模式来实现更强的数据处理能力以应对多样化的信息资产。

大数据技术追求的不是精确性的样本数据，而是面向全体的数据，这部分数据可能是不精确的、非结构化的，但大数据技术正是利用这些之前未被利用的数据，创造新的价值。

从海量数据中获得的数据处理结果可能是超乎我们的认知逻辑的，但是我们并不需要理解结果背后的因果关系。简言之，我们需要用相关思维替代因果思维。

02 大数据核心技术

大数据在信息系统的生命周期中，从数据源到最终产生有价值的可视化信息，主要经历6个步骤，分别是数据收集、数据存储、资源管理与服务协调、计算框架确定、数据分析和数据可视化，此过程涵盖了海量分布式系统、数据库、并行计算框架、数据挖掘等方面的技术。

图2-1罗列了大数据技术中各个步骤目前所对应的主流技术体系，大数据的相关技术日新月异、层出不穷，由于篇幅限制，不再一一列举。

▲图2-1 大数据的主流技术体系

03 大数据特点

大数据具有海量的数据规模、快速的数据流转、多样的数据类型和较低的价值密度这四大特征，下面将分别进行详细阐述。

1. 海量的数据规模（Volume）

大数据所采集、存储和计算的数据规模都非常大。随着互联网的广泛应用，使用互联网的人和企业等增多，数据的创造者变多，数据量呈几何级增长。近年来，随着数据维度变多、数据类型增加、数据的描述能力增强，数据可以传达的信息也越来越多，越来越准确。

2. 快速的数据流转（Velocity）

大数据不仅增长速度快，处理速度也快，有很强的时效性。在信息时代，人成为网络的核心，每个人每天都在制造新的数据，这些数据再被相应的机构如政府、互联网企业、银行、电信运营商等收集，形成了一个个庞大的数据体系。

面对如此庞大的数据体系，处理数据并得到结果的速度越快，数据的时效性就越强，价值就越高——而大数据和传统数据挖掘最大的区别也在于此，大数据更强调数据处理的实时性和时效性。

3. 多样的数据类型（Variety）

大数据的种类和来源多样化，多样的数据为数据处理带来了挑战。在数据结构上，大数据可以分为结构化数据、半结构化数据和非结构化数据；在具体形式上，大数据可以分为视频、音频、图像、博客、社交网络、互联网搜索等。大数据迎接的挑战就是要针对这些结构不一、形式多样的数据，挖掘其中的相关性。而这些前所未有的、来自各个领域的、不同形式的数据，赋予了大数据强大的威力。

4. 较低的价值密度（Value）

大数据的价值密度相对较低。数据的价值密度和数据的规模呈反相关，数据的规模越大，数据的价值密度越低。大数据最大的价值即在于从大量低价值密度数据中挖掘出对分析和预测等有价值的信息。

相较于传统数据挖掘利用结构化的数据类型，大数据把目光也投向了非结构化的、非抽样的、包含全体的数据类型。这为大数据带来了更多的有效信息，但同时也增加了大量无价值的甚至是错误的信息。

04 大数据的通用应用

大数据已经渗透到了全世界市场中的各个领域，彰显着巨大的价值，其在各个领域的详细应用情况如下。

1. 金融领域

大数据在金融领域应用广泛，如针对个人的信贷风险评估，银行根据用户的刷卡、转账、微信评论等数据有针对性地推送广告；理财软件通过大数据为客户有针对性地推荐理财产品。总结来说，大数据在金融领域的应用可以概括为精准营销、风险控制、效率提升、决策支持。

2. 医疗领域

医疗行业拥有大量的病例、检测记录、药物记录、治疗结果记录等，这些数据中蕴含着巨大的价值，如果可以加以利用，将对医疗界产生不可估量的影响。疾病确诊和因人而异的治疗方案设定是医疗领域的重大问题，大数据可以帮助建立针对疾病特点、病人状况以及治疗方案的数据库，为人类健康贡献巨大的力量。

3. 生物领域

各国研究人员正如火如荼地推进着人类基因组计划，这促进了生物数据的爆发式增长。基因检测可以帮助人们对自己现在的以及未来的健康状况有更深刻、全面的认识，甚至可以帮助父母在宝宝出生前就对其健康状况进行检测。因此，人类基因组计划是未来人类战胜疾病的重要工具。

大数据可以整合已有的人类基因的检测结果并进行分析，加速人类基因组研究的进程。

4. 零售领域

零售行业可以利用大数据了解顾客的消费偏好和趋势，用以商品的精准营销和相关产品的精准推销，降低运营成本，提高进货管理和过期产品管理效率。大数据可以帮助零售商预测消费者需求趋势，更高效地提高供应链满足需求的能力。对大数据带来的潜在信息的挖掘和有效利用，将成为未来零售领域的必争之地。

5. 电商领域

电商行业的数据集中、数据规模大，可以利用大数据在很多方面进行有效信息的分析提取，如用户消费趋势、地域消费特点等。

电商领域中的大数据应用已经颇具规模，电商也是最早利用大数据进行精准营销的行业。电商可以根据顾客消费习惯提前备货以提高商品送达效率，还可以通过对客户浏览、收藏、加入购物车和购买记录等数据的分析，对用户进行有效的商品推荐，提高销量。
责任编辑人：CC

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

大数据

大数据

+关注

关注
64

文章
8882

浏览量
137396
大数据技术

大数据技术

+关注

关注
0

文章
37

浏览量
5123

工业物联网盒子核心功能与技术特点

将这些数据上传至云端或本地服务器进行分析处理。工业物联网盒子不仅是数据采集的前端，也是实现设备远程监控、预测性维护、能效优化等高级应用的基础。一、核心功能与技术

发表于 11-22 17:21 •198次阅读

智慧城市与大数据的关系

智慧城市与大数据之间存在着密切的关系，这种关系体现在大数据对智慧城市建设的支撑和推动作用，以及智慧城市产生的大量数据对大数据技术的应用需求。

发表于 10-24 15:27 •619次阅读

晶沛自主研发气液集成滑环关键核心技术分析

晶沛电子深耕滑环行业近30年，早已具备自主研制气液集成滑环的技术实力-在气液电集成方面已掌握多项关键核心技术。

发表于 10-23 15:05 •177次阅读

晶沛自主研发气液集成滑环关键<b class='flag-5'>核心技术</b>分析

新能源汽车小三电的核心技术

新能源汽车的核心在于三电系统，即电池、电机和电控。而在这三电系统中，我们又可以细分为“大三电”与“小三电”。大三电主要包括驱动电机、电控和变速器；而小三电则涵盖高压配电盒PDU、车载充电机OBC以及DC/DC变换器。今天，我们就来深入了解一下小三电的核心技术。

发表于 10-16 14:45 •422次阅读

AI网络发展的四大核心技术支柱

在AI大模型时代，随着模型参数量与训练集规模的爆炸性增长，单纯依赖GPU单体算力的提升已难以满足需求，业界焦点逐渐转向系统架构层面的革新，其中，作为底层核心技术的网络成为了突破的关键。全球科技巨头正竞相研发相关产品技术，AI网络技术

发表于 08-14 17:11 •1002次阅读

三星电子成功收购英国初创公司,致力开发AI核心技术

7月18日，三星电子正式对外宣布了一项重要战略举措——成功收购英国新兴科技企业Oxford Semantic Technologies。这家初创公司成立于2017年，专注于前沿的知识图谱技术领域，致力于开发能够赋能更复杂AI应用的核心技术。

发表于 07-18 15:40 •522次阅读

图像识别算法的核心技术是什么

图像识别算法是计算机视觉领域的一个重要研究方向，其目标是使计算机能够像人类一样理解和识别图像中的内容。图像识别算法的核心技术包括以下几个方面：特征提取特征提取是图像识别算法的基础，它从原始图像

发表于 07-16 11:02 •623次阅读

大数据采集系统分为几类

大数据采集系统是大数据生态系统中的重要组成部分，它负责从各种数据源收集、整合和存储数据。根据不同的数据源、采集方法和应用场景，

发表于 07-01 15:44 •1488次阅读

【大语言模型：原理与工程实践】核心技术综述

我也不打算把网上相关的信息在总结一下，这样的话，工作量很大。我主要看了-大语言模型基础技术这节大语言模型（Large Language Models，LLMs）的核心技术涵盖了从模型的架构设计到

发表于 05-05 10:56

新能源汽车核心技术加油站-VCU

新能源汽车核心技术加油站-VCU

发表于 04-20 08:10 •347次阅读

Linux 基于centos7 在局域网内部署的可组态大数据展示平台

E-Control基于centos7 在局域网内部署的可组态大数据展示平台，通过浏览器操作组态工具、浏览组态画面，实现工程管理、组态编辑、工业设备采集以及组态运行三大功能。采用标准HTML5技术

发表于 02-25 00:26

安达发|APS生产排程软件6大核心技术

APS生产排程软件是一种先进的生产计划和调度工具，它通过整合企业内外部资源，实现生产计划的优化和生产过程的自动化控制。APS生产排程软件的核心技术包括产品工艺数据管理（PDM）、客户需求管理（CRM

发表于 02-20 16:09 •667次阅读

大数据技术是干嘛的 大数据核心技术有哪些

的核心技术，包括数据采集、存储与管理、处理与分析等方面。一、大数据技术背景和概念 1.1 背景随着互联网技术的迅猛发展，人们可以通过各种

发表于 01-31 11:07 •3387次阅读

视频信号处理：无缝高清矩阵切换器的核心技术解析

来百度APP畅享高清图片无缝高清矩阵切换器的核心技术主要包括视频信号处理、高速传输和矩阵切换技术。其中，视频信号处理技术是切换器的核心技术之一，直接影响着切换器的性能和效果。视频信

发表于 01-24 14:26 •815次阅读

边缘AI核心技术和产业链！技术持续进步，应用不断拓展！

，并保护用户的隐私。此外，边缘AI还可以在没有互联网连接的情况下独立运行，这对于一些实时性要求较高的应用非常重要。边缘AI 产业链及核心技术 边缘AI涉及的核心技术很多，包括但不限于网络技术、传感

发表于 01-11 01:20 •4737次阅读