数据仓库工程师需要与团队形成良好沟通,有效传达设计意图,并持续跟进设计的调整和优化。以下是皮皮范文网小编整理的数据仓库工程师的工作职责。
数据仓库工程师的工作职责1
职责
1.负责数据ETL开发,优化ETL流程设计;
2.负责数据质量问题的分析、跟进、解决,进行数据质量监测、校验和提升;
3.负责ETL开发实施文档的编写;
4.负责梳理公司数据仓库/数据集市数据清单、数据映射关系,优化现有数据仓库模型;
5.完善和梳理数据指标体系,完成和维护数据字典的工作;
6.参与数据标准的制定、数据标准管理和数据安全管理工作;
7.参与公司大数据平台的建设,包括Sugar报表或神策接口配置,用户画像标签体系的开发等
任职要求:
1.有shell或Python脚本开发经验;
2.有传统数据库SQL Server和MySQL,有存储过程编写能力;
3.熟悉Hadoop生态相关技术并有相关实践经验,包括但不限于Sqoop、Hive、HBase、Kylin等开发经验;
4.有kettle、azkaban或oozie工作流调度经验;
5.熟悉Hive SQL或Flink SQL的开发;
6.有数据仓库模型设计,有使用kafka+Flink Streaming实时数据处理经验优先;
7.有Sugar、神策或Tableau使用经验,有用户画像或客户召回标签工作经验优先;
8.对数据挖掘和机器学习有所了解,包括常用的机器学习算法和数据建模过程的优先
数据仓库工程师的工作职责2
职责:
1、负责数据源导入、清洗、集成等工作,优化ETL流程并解决ETL相关技术问题;
2、负责参与数据模型体系构建及数据主题设计和开发,数据仓库和业务数据集市的建设;
3、负责数据集市需求调研和需求分析;
4、基于阿里云Maxcompute,进行数据开发工作。
岗位要求:
1、3年或以上数据仓库开发和模型设计经验;
2、深入理解DW,BI相关的知识,包括:ETL、数据仓库、OLAP、多维数据模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL,能够熟练使用HiveSQL进行数据开发;
5、具有良好的团队协作精神和沟通能力,较强的逻辑思维,学习能力和解决问题的能力,可承担较大的工作压力;
6、熟悉阿里云大数据开发平台优先,如Maxcompute;
7、熟悉跨境电商及供应链业务优先。
数据仓库工程师的工作职责3
职责:
1. 负责直播业务相关数据仓库的数据模型设计;
3. 参与数据仓库ETL流程设计、开发和优化,解决ETL过程相关技术问题;
3. 参与项目规划,数据采集设计,数据仓库开发,模型开发,报表开发等;
4. 总结数据仓库建模的方法,负责数据产品平台化和系统化;
任职资格:
1. 2年及以上的数据仓库/BI相关研发经验,对数据和业务敏感,有较好的数据模型设计能力;
2. 熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构,多维数据模型设计;
3. 熟练使用Hadoop/Spark/Hive/HBase/Mysql,有列式数据库/Kylin/ElasticSearch等经验者优先;
4. 有较强的编程能力和编程经验,至少熟悉Java/Scala/Python/PHP等其中一门编程语言;
5. 参与过大型数据仓库架构设计、模型设计、ETL设计,具备海量数据处理、性能调优经验;
6. 学习能力强,热衷开源技术,有团队观念,具备独立解决问题的能力;
数据仓库工程师的工作职责4
职责:
1、 参与数据仓库及ETL基础架构规划、安全规划制定;
2、 负责数据仓库及ETL的开发、测试和优化,并及时解决相关技术问题;
3、 负责相关数据准确性验证及报表等日常维护;
4、 报表性能优化:对存在性能问题的数据报表进行优化;
5、 数据运维:及时处理线上问题;
6、 完成上级交代的其他工作。
岗位要求:
1.计算机相关专业本科及以上学历,2年以上ETL开发或数仓相关工作经验;
2.熟练使用Oracle、MySQL、PostgreSQL等主流数据库,具有较强的SQL编写、优化能力,熟悉存储过程编写;
3.熟悉数据仓库数据处理流程,有一定的数据建模能力;
4.具有良好的沟通理解能力,能根据业务提出的需求,快速理解并落地实施;
5.有Kettle、Greenplum开发经验者优先。
数据仓库工程师的工作职责5
职责:
1. 负责数据仓库架构设计与开发
2. 根据业务调研,设计信息模型与数据模型,负责大数据建模、ETL、数据产品及平台的设计与开发
3. 满足业务数据需求,设计面向业务的数据集市模型
4. 需求的沟通与数据开发项目管理
5. 基于Hadoop生态的程序设计、开发和维护
岗位要求:
1.熟悉SQL语言,至少熟悉Oracle、MySQL、SQL sever一种及以上
2.精通数据库系统(Oracle、SQL、mysql等):精通熟悉Oracle数据库体系结构,基础扎实;精通熟悉DataGuardRAC等高可用技术,能顺利的配置和管理dataGuard;精通熟悉Oracle的备份与恢复技术;熟悉SQL和PLSQL,能编写日常维护需要的脚本
3. 从事过数仓逻辑模型、物理模型设计与实施等工作
4. 有使用Hive、Hbase、kettle等相关应用经验更佳