首页常用模板岗位职责Hadoop工程师岗位职责

Hadoop工程师岗位职责

(职位描述,任职要求)

      简介:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

 

Hadoop工程师岗位描述(模板一)

岗位职责:

1、负责公司Hadoop系统的底层搭建,构建公司统一的离线和实时计算平台; 

2、负责公司日志系统及ETL系统的设计和实现;

3、负责公司数据体系的架构设计和规划,充分发挥公司的数据价值; 

4、跟踪Hadoop生态环境的最新进展。 

任职要求:

1、本科以上学历,熟悉Hadoop生态环境,对Hadoop, Hbase, Hive, Storm等至少一个项目有着深入的了解;

2、扎实的Java基础,对至少一门动态语言有过使用经验;

3、熟悉Linux系统常用操作;

4、对数据有着强烈兴趣,有部署大规模Hadoop集群的经验者优先;

5、良好的学习能力,保持对新技术的敏感性。

 

Hadoop工程师岗位描述(模板二)

岗位职责:

1、基于Hadoop/Hive的数据仓库模型设计和ETL开发;

2、支持运营的各类数据需求。

任职要求:

1、计算机相关专业,本科及以上学历;

2、熟练掌握hadoop、hive、spark、kafka等大数据平台的原理、使用和调优;

3、掌握python、java、scala等任意一门程序语言;

4、熟悉常用的shell命令;

5、具备较强的业务理解能力、解决问题的能力,和团队协作能力。

 

Hadoop工程师岗位描述(模板三)

岗位职责:

1、参与大数据基础架构的规划、设计与实施,提供大数据存储、计算、调度等基础服务;

2、负责维护、优化基于Hadoop生态的集群和计算框架;

3、关注开源技术动态,结合业务场景,寻找最佳解决方案;

4、不断解决规模增长带来的技术和业务问题,构造高度稳定可用的大数据分布式系统,支撑海量数据分析、数据挖掘、机器学习等场景,提升链家网线上产品效果与线下运营效率。

任职要求:

1、3年以上Hadoop生态相关研发和优化经验(Hadoop/MapReduce/Hive/HBase/Spark/OLAP等);

2、有集群和分布式计算架构设计和实现经验;

3、熟悉Java/C++,了解Python/PHP/Scala中的一种;

4、熟悉Linux系统环境,熟悉多线程及并发技术,熟悉网络编程;

5、扎实的计算机基础,熟悉常用的数据结构和算法;

6、学习能力强,有优秀的逻辑思维能力和业务需求分析能力,良好的沟通交流能力,能够迅速融入团队。

 

Hadoop工程师岗位描述(模板四)

岗位职责:

1、负责各垂直业务大数据处理;

2、负责相关数据计算;

3、关注开源技术动态,推动平台技术架构持续更新。

任职要求:

1、计算机相关专业或数理统计相关专业,3年以上大数据开发项目经验;

2、熟悉Linux/Unix开发环境;

3、精通hadoop各模块,了解HDFS数据存储机制;熟练使用hive数据处理;

4、对HBase、Redis、Spark有深入了解;

5、熟练使用shell命令,熟悉python/perl等脚本语言;

6、思维敏捷,有较强的钻研学习能力;较好的沟通能力、团队合作。

 

Hadoop工程师岗位描述(模板五)

岗位职责:

1、基于大规模CDH Hadoop集群部署、管理和日常运维; 

2、负责数据采集、清洗、实时分析、离线分析、报表、数据可视化。

3、基于JAVA+大数据相关技术的组合开发模式。

任职要求: 

1、2年以上工作经验,本科计算机及相关专业学历; 

2、JAVA基础扎实,熟悉数据结构和算法, 熟悉Linux操作系统;  

3、熟悉hadoop、spark、hive、flume 、kafka、 hbase 、zookeeper 、ETL 有esper、druid数据分析工具经验更佳

4、熟悉spring框架,mybaits等框架,有jetty,netty使用经验加分

5、熟悉python、scala其中一种脚本更佳。

6、最好有CDH hadoop集群、zk集群、kafka集群安装经验,具备独立分析和解决问题的能力; 

7、能够承担一定工作压力,具备创新思维、具备团队协作精神。
Zhize sidebar
热门文章
相关推荐
同行业猎头公司
德睿锦程管理顾问
伯马遇
科锐创仕
倍才猎头
华信易达