深圳市亚飞电子商务有限公司

招聘理念
网站首页 > 人才招聘 > 大数据高级开发工程师

大数据高级开发工程师

  • 招聘人数若干
  • 工作地点深圳
  • 工资待遇15~25k
  • 发布日期2018-02-05
  • 有效期不限

职位描述

岗位职责:


1.负责大数据平台/推荐系统/等产品的架构、研发和持续优化

2.和业务团队深入合作,解决在业务发展中遇到的产品和平台架构问题;具备一定的前瞻性;

3.具体领域包括但不限于推荐算法开发、分布式存储、大规模分布式计算、实时计算、跨平台资源调度、大规模分布式算法平台等;

4.负责搭建效果监控平台,数据质量监控平台,数据中心建设,算法模型平台化建设;

5.基于Hadoop生态圈进行扩展研发,构建统一的Data Infrastructure,在开源的基础上研发统一支持Batch和Streaming的计算引擎,SQL、NoSQL、Queue和Cache等分布式存储系统,以及自动化运维平台管理超大规模集群。

6. 根据公司的搜索和推荐业务需求,基于上述Data Infrastructure,开发海量电商数据处理和机器学习流程,为搜索和推荐引擎输送实时数据更新,直接影响在线排序,提升成交转化。


任职资格:


1.3年以上,对Linux操作系统熟练掌握,熟悉shell脚本编程;

2.深入理解 Hadoop/Hive/Mysql 等数据管理系统的原理、运维、性能调优方法;

3.深刻理解hadoop相关技术的原理和开发方法,熟练hadoop平台的搭建部署、调优、故障诊断、运行维护的方法和工具;

4.精通storm及其开发

5.熟练掌握Map/Reduce、HBASE、HIVE、PIG、Mahout中两种以上开发技术,并有实际产品的上线应用;

5.对集群有着深刻的了解,能深入的了解hadoop集群及其周边常用各个模块;

6.搭建维护hadoop集群并进行必要的troubleshooting, 保障系统正常运行;

7.能利用集群实现对数据的分析和处理。