上帝视角一览大数据开发体系

前言

不知道大家有没有过在百度搜索旅游的关键字，不久就可能收到机票的推销的经验。如今是大数据的时代，数据的价值越来越重要。数据即资产，想必大家都听说过。最近公司的项目中也用到了一些大数据的技术，本文对大数据相关的知识体系做了一个整体的梳理。

什么是大数据

大数据，你可能就简单理解为数据量大，那是多大才算大数据呢？如果只有数据量大是不是太片面单一了，实际上如果你说是从事大数据开发， 那么起码要满足下面的5大特征。

5大特征

1.数据量大

• 需要采集的数据量大
• 需要存储的数据量大
• 需要计算de 数据量大
• 数据总体规模起码要TB、PB级别起步

2.数据种类、来源多样化

• 数据的种类多样，可能是类似MySQL一样的结构化数据，也可能是文本的非结构化数据，或者介于二者之间的半结构化数据
• 数据的格式来源也多样，可以是业务数据、日志文本文件，甚至是图片、视频等。

3.低价值密度

• 信息海量但是有价值的少，也就是价值密度低
• 深度复杂的挖掘分析需要机器学习参与

4.速度快

• 数据增长速度快
• 获取数据速度快
• 数据处理速度块

5.数据的质量

• 数据的准确性要求高
• 数据的可信赖度

数据分析方向

针对海量数据的分析，针对不同的业务场景，大致可以分为3个方向，离线分析，实时分析和预测分析。

离线分析

离线分析，也就是所谓的批处理，主要分析过去的历史数据，可以每周（T+7）或者每天（T+1）的方式分析历史的数据，找出隐藏在数据背后的深层次原因，从而做出调整优化。比如说分析过去一个月的用户操作数据等。

这种分析方式一般数据量非常大，通常采用Hadoop生态技术体系解决，比如HDFS、Yarn、Hbase等技术。

实时分析

实时分析，也叫流计算，主要是面向当下，实时处理分析数据，你可以想象成流水一样，源源不断的处理数据，对时效性要求比较高，可到秒级甚至毫秒级。比如说在金融领域中，你发起一笔交易，可以通过实时分析判断当前笔交易是否存在欺诈风险，从而保护资金安全。

目前Storm、Flink、SparkStreaming都是比较流行的流式处理框架。

预测分析

预测分析，实际就是通过机器学习的手段，基于历史数据和当下产生的实时数据预测未来发生的事情。更侧重于数学算法的运用，如分类、聚类、关联、预测，但是也离开不了数据，需要通过历史的数据进行训练，得出可预测的模型，比较典型的应用比如说电商领域"猜你喜欢"。

数据分析步骤

我们都知道数据的重要性，那数据分析的整个生命周期是怎么样的呢？什么时候来，要做什么处理，都有什么步骤呢？

1. 明确分析目的和思路

• 要弄清楚你的业务场景，找到分析的目的，目的是整个分析流程的起点，需要为数据的收集、处理及分析提供清晰的指引方向。
• 厘清分析的思路，比如先分析什么，后分析什么，使各分析点之间具有逻辑联系，保证分析维度的完整性，分析结果的有效性以及正确性，需要数据分析方法论进行支撑；

2. 数据收集

• 数据从无到有的过程：比如传感器收集气象数据、埋点收集用户行为数据
• 数据传输搬运的过程：比如采集数据库数据到数据分析平台

3. 数据预处理

• 数据预处理需要对收集到的数据进行加工整理，形成适合数据分析的样式，主要包括数据清洗、数据转化、数据提取、数据计算；
• 数据预处理可以保证数据的一致性和有效性，让数据变成干净规整的结构化数据。

4. 数据分析

• 用适当的分析方法及分析工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程；
• 需要掌握各种数据分析方法，还要熟悉数据分析软件的操作；

5. 数据展现

• 通过图表、报表等方式形象直观的展示出数据分析的结果，这也叫做数据可视化。

6. 报告撰写

• 数据分析报告是对整个数据分析过程的一个总结与呈现
• 把数据分析的起因、过程、结果及建议完整地呈现出来，供决策者参考

大数据主流技术栈

前面讲解了大数据分析的整个过程，需要涉及到很多步骤，每个步骤都需要一些工具和方法支持，作为开发人员，我们可能更加关注用到的一些主流技术栈，目前最主流的还是基于Hadoop生态。

1. 数据采集和传输层

• Flume

Flume一个分布式、可靠的、高可用的用于数据采集、聚合和传输的系统，常用于日志采集系统中。

• Logstash

ELK中的一员，也常用于数据采集。

• Sqoop

Sqoop主要通过一组命令进行数据导入导出的工具，主要用于Hadoop（如HDFS、Hive、HBase）和RDBMS（如mysql、oracle）之间的数据导入导出。

• Kafka/RocketMQ

高性能的的消息队列，主要应用在数据缓冲、异步通信、汇集数据、系统解耦等方面。

2. 数据存储层

• HDFS

分布式文件存储系统，HDFS非常适合大规模数据集上的应用，提供高吞吐量的数据访问，可部署在廉价的机器上。

• HBase

是一款基于HDFS的数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。

HBase可以认为是HDFS的一个包装。他的本质是数据存储，是个NoSql数据库；HBase部署于HDFS之上，并且克服了HDFS不能随机读写的问题。

• Kudu

介于HDFS和HBase之间的基于列式存储的分布式数据库。兼具了HBase的实时性、HDFS的高吞吐，以及传统数据库的sql支持。

3. 数据计算与分析层

• MapReduce

分布式运算程序的编程框架，适用于离线数据处理场景。

• Yarn

Yarn是一个资源调度平台，负责为运算程序分配资源和调度，不参与用户程序内部工作。

• Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供HQL语句（类SQL语言）查询功能，存储依赖于HDFS。本质上是把好写的hive的sql转换为复杂难写的map-reduce程序。

• Spark

Spark是一个快速、通用、可扩展、可容错的、内存迭代式计算的大数据分析引擎。目前生态体系主要包括用于批数据处理的SparkRDD、SparkSQL，用于流数据处理的SparkStreaming，用于机器学习的Spark MLLib，用于图计算的Graphx以及用于统计分析的SparkR。

• Flink

Flink是一个分布式的实时计算引擎，可以对有限数据流和无限数据流进行有状态的计算。

• Storm

Storm是一个没有批处理能力的数据流处理计算引擎，是由Twitter开源后归于Apache管理的分布式实时计算系统。

• Phoenix

构建在HBase之上的一个SQL层，能让我们通过标准的JDBC API操作HBase中的数据。

小结：

大数据生态组件众多，上面只是列出了其中一部分，目前一般会通过CDH等平台统一进行安装管理，如下图所示：

总结

本文讲解了从上帝视角看大数据分析，了解了数据分析的方向和步骤，同时整理了目前市面上常见的一些大数据组件，希望对大家入门大数据学习有一个初步的认识。