數(shù)據(jù)倉庫工程師的工作職責
數(shù)據(jù)倉庫工程師的工作職責
數(shù)據(jù)倉庫工程師需要與團隊形成良好溝通，有效傳達設計意圖，并持續(xù)跟進設計的調整和優(yōu)化。以下是學習啦小編整理的數(shù)據(jù)倉庫工程師的工作職責。
數(shù)據(jù)倉庫工程師的工作職責1
職責
1.負責數(shù)據(jù)ETL開發(fā)，優(yōu)化ETL流程設計;
2.負責數(shù)據(jù)質量問題的分析、跟進、解決，進行數(shù)據(jù)質量監(jiān)測、校驗和提升;
3.負責ETL開發(fā)實施文檔的編寫;
4.負責梳理公司數(shù)據(jù)倉庫/數(shù)據(jù)集市數(shù)據(jù)清單、數(shù)據(jù)映射關系，優(yōu)化現(xiàn)有數(shù)據(jù)倉庫模型;
5.完善和梳理數(shù)據(jù)指標體系，完成和維護數(shù)據(jù)字典的工作;
6.參與數(shù)據(jù)標準的制定、數(shù)據(jù)標準管理和數(shù)據(jù)安全管理工作;
7.參與公司大數(shù)據(jù)平臺的建設，包括Sugar報表或神策接口配置，用戶畫像標簽體系的開發(fā)等
任職要求：
1.有shell或Python腳本開發(fā)經(jīng)驗;
2.有傳統(tǒng)數(shù)據(jù)庫SQL Server和MySQL，有存儲過程編寫能力;
3.熟悉Hadoop生態(tài)相關技術并有相關實踐經(jīng)驗，包括但不限于Sqoop、Hive、HBase、Kylin等開發(fā)經(jīng)驗;
4.有kettle、azkaban或oozie工作流調度經(jīng)驗;
5.熟悉Hive SQL或Flink SQL的開發(fā);
6.有數(shù)據(jù)倉庫模型設計，有使用kafka+Flink Streaming實時數(shù)據(jù)處理經(jīng)驗優(yōu)先;
7.有Sugar、神策或Tableau使用經(jīng)驗,有用戶畫像或客戶召回標簽工作經(jīng)驗優(yōu)先;
8.對數(shù)據(jù)挖掘和機器學習有所了解，包括常用的機器學習算法和數(shù)據(jù)建模過程的優(yōu)先
數(shù)據(jù)倉庫工程師的工作職責2
職責：
1、負責數(shù)據(jù)源導入、清洗、集成等工作，優(yōu)化ETL流程并解決ETL相關技術問題;
2、負責參與數(shù)據(jù)模型體系構建及數(shù)據(jù)主題設計和開發(fā)，數(shù)據(jù)倉庫和業(yè)務數(shù)據(jù)集市的建設;
3、負責數(shù)據(jù)集市需求調研和需求分析;
4、基于阿里云Maxcompute，進行數(shù)據(jù)開發(fā)工作。
崗位要求：
1、3年或以上數(shù)據(jù)倉庫開發(fā)和模型設計經(jīng)驗;
2、深入理解DW，BI相關的知識，包括：ETL、數(shù)據(jù)倉庫、OLAP、多維數(shù)據(jù)模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL，能夠熟練使用HiveSQL進行數(shù)據(jù)開發(fā);
5、具有良好的團隊協(xié)作精神和溝通能力，較強的邏輯思維，學習能力和解決問題的能力，可承擔較大的工作壓力;
6、熟悉阿里云大數(shù)據(jù)開發(fā)平臺優(yōu)先，如Maxcompute;
7、熟悉跨境電商及供應鏈業(yè)務優(yōu)先。
數(shù)據(jù)倉庫工程師的工作職責3
職責:
1. 負責直播業(yè)務相關數(shù)據(jù)倉庫的數(shù)據(jù)模型設計;
3. 參與數(shù)據(jù)倉庫ETL流程設計、開發(fā)和優(yōu)化，解決ETL過程相關技術問題;
3. 參與項目規(guī)劃，數(shù)據(jù)采集設計，數(shù)據(jù)倉庫開發(fā)，模型開發(fā)，報表開發(fā)等;
4. 總結數(shù)據(jù)倉庫建模的方法，負責數(shù)據(jù)產(chǎn)品平臺化和系統(tǒng)化;
任職資格:
1. 2年及以上的數(shù)據(jù)倉庫/BI相關研發(fā)經(jīng)驗，對數(shù)據(jù)和業(yè)務敏感，有較好的數(shù)據(jù)模型設計能力;
2. 熟悉數(shù)據(jù)倉庫各類模型建模理論，了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構，多維數(shù)據(jù)模型設計;
3. 熟練使用Hadoop/Spark/Hive/HBase/Mysql，有列式數(shù)據(jù)庫/Kylin/ElasticSearch等經(jīng)驗者優(yōu)先;
4. 有較強的編程能力和編程經(jīng)驗，至少熟悉Java/Scala/Python/PHP等其中一門編程語言;
5. 參與過大型數(shù)據(jù)倉庫架構設計、模型設計、ETL設計，具備海量數(shù)據(jù)處理、性能調優(yōu)經(jīng)驗;
6. 學習能力強，熱衷開源技術，有團隊觀念，具備獨立解決問題的能力;
數(shù)據(jù)倉庫工程師的工作職責4
職責：
1、 參與數(shù)據(jù)倉庫及ETL基礎架構規(guī)劃、安全規(guī)劃制定;
2、 負責數(shù)據(jù)倉庫及ETL的開發(fā)、測試和優(yōu)化，并及時解決相關技術問題;
3、 負責相關數(shù)據(jù)準確性驗證及報表等日常維護;
4、 報表性能優(yōu)化：對存在性能問題的數(shù)據(jù)報表進行優(yōu)化;
5、 數(shù)據(jù)運維：及時處理線上問題;
6、 完成上級交代的其他工作。
崗位要求：
1.計算機相關專業(yè)本科及以上學歷，2年以上ETL開發(fā)或數(shù)倉相關工作經(jīng)驗;
2.熟練使用Oracle、MySQL、PostgreSQL等主流數(shù)據(jù)庫，具有較強的SQL編寫、優(yōu)化能力，熟悉存儲過程編寫;
3.熟悉數(shù)據(jù)倉庫數(shù)據(jù)處理流程，有一定的數(shù)據(jù)建模能力;
4.具有良好的溝通理解能力，能根據(jù)業(yè)務提出的需求，快速理解并落地實施;
5.有Kettle、Greenplum開發(fā)經(jīng)驗者優(yōu)先。
數(shù)據(jù)倉庫工程師的工作職責5
職責：
1. 負責數(shù)據(jù)倉庫架構設計與開發(fā)
2. 根據(jù)業(yè)務調研，設計信息模型與數(shù)據(jù)模型，負責大數(shù)據(jù)建模、ETL、數(shù)據(jù)產(chǎn)品及平臺的設計與開發(fā)
3. 滿足業(yè)務數(shù)據(jù)需求，設計面向業(yè)務的數(shù)據(jù)集市模型
4. 需求的溝通與數(shù)據(jù)開發(fā)項目管理
5. 基于Hadoop生態(tài)的程序設計、開發(fā)和維護
崗位要求：
1.熟悉SQL語言，至少熟悉Oracle、MySQL、SQL sever一種及以上
2.精通數(shù)據(jù)庫系統(tǒng)(Oracle、SQL、mysql等)：精通熟悉Oracle數(shù)據(jù)庫體系結構，基礎扎實;精通熟悉DataGuardRAC等高可用技術，能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復技術;熟悉SQL和PLSQL，能編寫日常維護需要的腳本
3. 從事過數(shù)倉邏輯模型、物理模型設計與實施等工作
4. 有使用Hive、Hbase、kettle等相關應用經(jīng)驗更佳
相關文章：