大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识?

　　罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人!在学习大数据之前，你还需要有一定的基础!

　　一、学习大数据需要的基础

　　1、java SE、EE(SSM)

　　90%的大数据框架都是Java写的

　　2、MySQL

　　SQL on Hadoop

　　3、Linux

　　大数据的框架安装在Linux操作系统上

　　在有了上面的技术基础支撑之后，便可以开始我们的大数据开发工程师的锻造之旅了，可以根据以下三个大的方面进行学习，当然了，中间需要穿插一些项目练习，将理论和实战相关联才能成长的很快!

　　二、大数据技术需要学什么

　　1、大数据离线分析

　　一般处理T+1数据(T：可能是1天、一周、一个月、一年)

　　a、Hadoop ：一般不选用新版本，踩坑难解决

　　(common、HDES、MapReduce、YARN)

　　环境搭建、处理数据的思想

　　b、Hive：大数据的数据仓库

　　经过写SQL对数据进行操作，类似于MySQL数据库的sql

　　c、HBase：基于HDFS的NOSQL数据库

　　面向列存储

　　d、协作框架：

　　sqoop(桥梁：HDFS《==》RDBMS)

　　flume：搜集日志文件中的信息

　　e、调度框架

　　anzkaban

　　了解：crotab(Linux自带)

　　zeus(Alibaba)

　　Oozie(cloudera)

　　f、前沿框架扩展：

　　kylin、impala、ElasticSearch(ES)

　　2、大数据实时分析

　　以spark框架为主

　　Scala：OOP(面向对象程序设计)+FP(函数是程序设计)

　　sparkCore：类比MapReduce

　　sparkSQL：类比hive

　　sparkStreaming：实时数据处理

　　kafka：消息队列

　　前沿框架扩展：flink

　　阿里巴巴：blink

　　3、大数据机器学习

　　spark MLlib：机器学习库

　　pyspark编程：Python和spark的结合

　　千锋大数据分析培训的终极目标是将你培养成一名“复合型”研发人才，让你自己在掌握相关大数据技术的同时，也能够赢得一份高薪职位!千锋大数据开发采用“T”字形的思维，以大数据的深度为主，以机器学习、云计算等作为宽度，相辅相成。此外千锋大数据课程定期组织与一线名企的工程师进行面对面的就企业当下的项目讨论与研发，进而验证所学技术的正确方向。更有免费的大数据学习资料帮助你快速掌握大数据基础技术。