时代背景
大数据在两三年前是当时最热门的岗位和现在的区块链和人工智能一样备受追捧。而三年后的今天或以后大数据前景如何，大家可以结合数据来分析一下：
首先你要明白现在的人工智能也是建立在大数据的基础上的，人工智能的训练模型须通过大数据去训练。
据LinkedIn发布的《中国互联网最热职位人才报告》显示未来中国基础性数据分析人才缺口将达到1400万。而且大数据理论与实际操作存在断层，高等学校教育并不能满足企业实际应用，有报告指出，数据分析师已成当下中国互联网行业需求最旺盛的六类人才职位之一。
数据分析师已成当下中国互联网行业需求最旺盛的六类人才职位之一，数据表明，数据分析人才的供给指数仅为0.05，属于高度稀缺。此外，数据分析人才的跳槽速度也最快，平均跳槽速度为19.8个月。
大数据
大数据的概念是指单台计算机的运算能力和存储能力不能够支撑的数据量，一般要达到10-100TB通常称为大数据的门槛。
大数据的作用
数据分析
大数据对于企业来讲，数据分析的可以辅助企业优化流程，降低成本，提高营业额，往往大家把这类数据分析定义为商业数据分析。商业数据分析的目标是利用大数据为所有职场人员做出迅捷、高质、高效的决策，提供可规模化的解决方案。商业数据分析的本质在于创造商业价值 ，驱动企业业务增长。
商业决策
大数据的所有用途中最有意义的还是用于商业决策，通过数据来判断应该做什么。而商业数据分析的目的，就是商业结果。当数据分析的产出可以直接转化为决策，或直接利用数据做出决策，那么这才能直接体现出数据分析的价值。
学习方案
这里介绍几种对实时性和持久化等有不同需求的场景的方案：
指标
1. 延时 ， 指数据从产生到运算产生结果的时间，“快”应该主要指这个。
2. 吞吐， 指系统单位时间处理的数据量。
有持久化需求且对实时性要求指标不太高的方案：
spark + hadoop
Spark是这样处理数据的，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。
所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使得迭代算法性能更高。
对实时性要求高的方案：
Twitter Storm
Storm是一个分布式流计算引擎。每个节点实现一个基本的计算过程，而数据项在互相连接的网络节点中流进流出。Storm是只要接收到数据就实时处理并分发。
———————————–
本人现处广州从事互联网工作多年，资深技术人员、管理人员。愿结识有互联网业务的技术人员或企业人员、或有想法的创业人员。
