大数据开发工程师是做什么的?岗位要求汇总
推荐
大数据开发工程师是做什么的?大数据开发工程师主要负责大数据平台的开发和维护、架构涉及、产品开发、网络日志分析、流量计算、实时计算、数据可视化技术的研发等工作。现在大数据开发分为两种方向:第一种方向是大数据系统研发方向,另外一种是大数据应用开发方向。
成为大数据开发工程师需要会什么?
1、对数据处理、数据建模、数据分析等有较深的理解和实践经验。
2、熟悉Hive SQL语言、shell、python等脚本语言。
3、有hadoop、spark、flink等大数据平台使用经验。
4、有数据仓库建设、业务数据分析、成长项目经验。
5、熟练使用java/scala中至少一种。
6、精通Hadoop和Map-Reduce应用开发,精通HBase、Hive、Storm、spark等大数据开发工具。
7、熟悉至少一种实时计算引擎Storm、Spark Streaming、Flink,对hadoop生态的其他组件有一定了解,如HBase、hadoop、Hive、Druid等。
8、熟悉Hadoop/Spark/Hive/HBase等大数据工具,主导过大数据平台建设者优先。
9、精通SQL,熟悉常用的关系型数据库、非关系型数据库和数据仓库,有SQL性能优化经验。
10、了解微服务开发概念和实现技术,熟悉常用设计模式,精通SSH开发框架,精通Java和Python代码编写,熟悉多线程编程。
11、有Hadoop/Hive/Spark/Storm/Zookeeper等相关开发经验或从事分布式相关系统开发。
12、熟悉Linux/Unix系统,有丰富的Java开发经验。
13、3年以上企业级数据仓库开发经验,有大型集群应用开发经验者优先。
14、熟悉数据仓库理论,具有梳理复杂业务需求的能力。
15、精通SQL开发,精通Mysql等关系型数据库。
16、熟悉Linux系统,有shell、python等脚本开发能力者优先。
17、学习能力强,喜欢研究开源新技术,有团队观念,有独立解决问题的能力,计算机理论基础扎实,数据结构和算法基础扎实。
关于大数据开发工程师是做什么的,小千已经做了简单介绍。如今已经迈入大数据时代,因此大数据开发工程师备受欢迎。如果对大数据开发培训感兴趣的小伙伴可联系在线名师了解详情。