岗位分类

主要培养岗位：

大数据工程师：

岗位职责：对大量数据的采集、清洗、分析、治理、挖掘，并对这些数据加以利用、管理、维护和服务

技能要求：

• 熟练掌握hadoop、Hbase、Hive、Storm、Spark Streaming、flink等大数据开发工具中一种或几种

• 熟悉shell、python、scala、java等至少一种开发语言

• 熟悉linux/unix系统

• 有数据仓库建设、数据处理、数据建模、数据分析相关经验

• 精通sql，熟悉常用的关系型数据库和非关系型数据库

数据管理员：

工作职责：负责大型应用, TB数量级系统的后台技术支撑，确保MySQL数据库的正常运行，及时发现并解决后台问题与隐患，进行系统性能调整和优化

技能要求：

• 熟悉计算机应用，信息技术等基础学科

• 熟练掌握数据库的维护与管理，熟悉Linux与windows环境下Mysql，HDFS等文件系统和数据库的使用与维护

• 熟悉海量数据的维护

• 能够对数据库问题诊断，把控，维护，熟练掌握数据库结构

Hadoop运维工程师

岗位职责：

负责HADOOP平台相关项目的平台部署，日产运行维护、故障排查工作；

负责HADOOP平台集群的监控和配置调优工作；

负责HADOOP平台的用户管理、权限分配、资源分配工作；

负责HADOOP平台的集群服务器软件的安装、维护、部署、更新升级工作；

技能要求：

• 熟练掌握Linux操作系统，熟悉linux文件系统，内核，网络等性能优化

• 熟悉HDFS、YARN、Hive、HBase、Spark、ES、Flink、Kafka等hadoop生态技术的体系结构和运行原理

• 熟悉python/JAVA一种变成语言，有一定开发经验