1.安装、部署、调优大数据平台软件,负责大数据业务集群的运维工作,包括不限于CDH/Hadoop/HBase/Hive/Yarn/
Spark/clickhouse/Kafka/ES/Flume等;
2.掌握Flink相关流计算框架,性能优化并在此基础上进行产品研发;
3.分析和解决具体的在使用平台的过程中出现的疑难问题;
4.根据生产场景,对开源软件进行扩展开发;
任职要求
1.2年以上大数据系统相关运维经验(hadoop/yarn/hbase/spark/kafka/flink/druid/clickhouse等),有开源hadoop大数据部署的经验优先;
2.熟悉Java、Scala等JVM语言,熟悉JVM原理和调优;
3.熟悉流计算应用模式,尤其是Flink框架并具备一定的流计算开发经验;
4.熟悉Linux操作系统,熟悉Shell脚本;
5.掌握主流大数据平台相关的开源软件,熟悉它们的原理、实现、安装、部署、调优,具备精准选型和扩展开发的能力;比如:Hadoop(HDFS、YARN)、HBase、Spark、Storm、Zookeeper、Kafka、HAWQ、Presto、Tachyon等;
6.对开源Hadoop、CDH、华为FusionInsight、腾讯TBDS、TDH等大数据平台生态的发展,有敏感性和前瞻性,对新技术和新系统,有基本的快速学习能力。