大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板
大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)數(shù)據(jù)倉庫的體系建設(shè)及落地實(shí)現(xiàn)。下面是學(xué)習(xí)啦小編整理的大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板1
職責(zé)：
1、獨(dú)立負(fù)責(zé)工作小組，并對(duì)下級(jí)成員進(jìn)行監(jiān)督;
2、具備資源整合以及對(duì)軟件項(xiàng)目全局把控的能力;
3、負(fù)責(zé)軟件項(xiàng)目的系統(tǒng)設(shè)計(jì)和需求分析;
4、制定軟件項(xiàng)目開發(fā)計(jì)劃，并按時(shí)完成功能模塊的設(shè)計(jì)、開發(fā)以及編程任務(wù);
5、積極配合并完成主管下達(dá)的任務(wù)，并能夠?qū)浖块T的發(fā)展規(guī)劃提出意見;
任職條件
1、大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn)3年以上，至少具備2年以上java開發(fā)經(jīng)驗(yàn);
2、有基于hadoop的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的開發(fā)相關(guān)經(jīng)驗(yàn);
3、熟練掌握hadoop生態(tài)的相關(guān)知識(shí)，如hive,hbase,flume.kafka,storm,spark，mapreduce等;
4、熟悉Linux操作系統(tǒng)。熟悉linux各項(xiàng)基本操作，至少掌握一門腳本語言;
5、熟練數(shù)據(jù)倉庫，對(duì)多維數(shù)據(jù)建模有深入理解;
6、有BI數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉庫、日志采集、多維數(shù)據(jù)倉庫設(shè)計(jì)、開發(fā)、架構(gòu)經(jīng)驗(yàn)者優(yōu)先;
7、思維敏捷，有較強(qiáng)的鉆研學(xué)習(xí)能力，較好的溝通能力、團(tuán)隊(duì)合作;
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板2
1、負(fù)責(zé)數(shù)據(jù)倉庫和大數(shù)據(jù)處理模塊的架構(gòu)設(shè)計(jì)和開發(fā);
2、負(fù)責(zé)實(shí)現(xiàn)基于Spark框架的分布式計(jì)算框架的設(shè)計(jì)和開發(fā)工作;
3、負(fù)責(zé)Spark技術(shù)研究和通用數(shù)據(jù)平臺(tái)的性能調(diào)優(yōu);
4、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目中，基于kafka、flume、spark streaming、Spark SQL等相關(guān)技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計(jì)、挖掘工作。
5、熟悉Scala/Java語言，對(duì)Scala/Java原理、底層技術(shù)有深入研究者優(yōu)先;
6、有過海量數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗(yàn)者優(yōu)先;
7、熟悉Hadoop/Spark生態(tài)系統(tǒng)組件的使用，至少有2年以上的Spark開發(fā)經(jīng)驗(yàn);
8、寫過推薦系統(tǒng)的優(yōu)先考慮
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板3
職責(zé)
1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)建設(shè)工作，完成Hdaoop/Spark搭建部署，根據(jù)業(yè)務(wù)需要進(jìn)行開發(fā);
2、開發(fā)實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲并爬取所需數(shù)據(jù)，有效存儲(chǔ)到大數(shù)據(jù)平臺(tái);
3、對(duì)平臺(tái)數(shù)據(jù)做預(yù)處理，滿足數(shù)據(jù)展現(xiàn)及后續(xù)機(jī)器學(xué)習(xí)等系統(tǒng)使用;
4、根據(jù)業(yè)務(wù)需要，應(yīng)用大數(shù)據(jù)實(shí)時(shí)分析技術(shù)、可視化技術(shù)等，并對(duì)平臺(tái)發(fā)展規(guī)劃進(jìn)行設(shè)計(jì)。
任職資格
1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè);
2、熟悉數(shù)據(jù)倉庫和數(shù)據(jù)建模相關(guān)技術(shù)細(xì)節(jié)，有編程經(jīng)驗(yàn)，熟悉SQL/Hadoop/Hive/Hbase/Spark等大數(shù)據(jù)工具;
3、具備海量數(shù)據(jù)處理經(jīng)驗(yàn)，或有互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)挖掘工作經(jīng)驗(yàn);
4、1年以上崗位經(jīng)驗(yàn)優(yōu)先，本科應(yīng)屆有意向的，可優(yōu)先培養(yǎng)。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板4
職責(zé)：
1.負(fù)責(zé)金融銀行大數(shù)據(jù)系統(tǒng)相關(guān)模塊的數(shù)據(jù)架構(gòu)及研發(fā)實(shí)施工作
2.依據(jù)業(yè)務(wù)場(chǎng)景、分析需求提供技術(shù)解決方案并加以實(shí)現(xiàn);
3.與客戶業(yè)務(wù)部門對(duì)接，解決數(shù)據(jù)建模、報(bào)表和報(bào)告在系統(tǒng)開發(fā)遇到的問題;
任職資格：
1.具備3年以上DW系統(tǒng)建設(shè)經(jīng)驗(yàn)，了解BI系統(tǒng)，有數(shù)據(jù)管理經(jīng)驗(yàn)，有維度建模相關(guān)經(jīng)驗(yàn)，了解數(shù)據(jù)倉庫建設(shè)過程中的挑戰(zhàn)與問題
2.精通多系統(tǒng)數(shù)據(jù)融合、清洗、轉(zhuǎn)換、整合，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn)
3.熟悉業(yè)界數(shù)據(jù)倉庫建模方法、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量體系管理
4.掌握大型數(shù)據(jù)庫開發(fā)技術(shù)(ORACLE/DB2等)，有豐富的數(shù)據(jù)庫模型設(shè)計(jì)和優(yōu)化經(jīng)驗(yàn)
5.熟練掌握Unix/Linux常規(guī)命令、工具及Shell編程
6.掌握一門或多門編程語言優(yōu)先，如Java、Python、scala等
7.熟悉Hadoop、spark、kafka等大數(shù)據(jù)生態(tài)相關(guān)技術(shù)，有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先8.良好的語言溝通與表達(dá)能力和自我驅(qū)動(dòng)動(dòng)力9.具備銀行項(xiàng)目設(shè)計(jì)、開發(fā)、優(yōu)化等經(jīng)驗(yàn)者加分
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板5
職責(zé)：
1、 參與ODS系統(tǒng)或Hadoop 系統(tǒng)數(shù)據(jù)庫相關(guān)開發(fā),包括數(shù)據(jù)倉庫的數(shù)據(jù)模型設(shè)計(jì)(ODS層設(shè)計(jì)、基礎(chǔ)數(shù)據(jù)層設(shè)計(jì)、匯總層設(shè)計(jì)等);
2、 參與ETL Mapping設(shè)計(jì)及開發(fā)工作;
3、 參與客戶/用戶畫像、經(jīng)營管理、產(chǎn)品畫像、營銷活動(dòng)等主題域建設(shè)工作。
資質(zhì)要求：
1.計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，優(yōu)秀者放寬至大專;
2.有大型數(shù)據(jù)庫(ORALCE/MSSQL SERVER等)開發(fā)經(jīng)驗(yàn)，有Sybase IQ\HIVE\Spark SQL開發(fā)經(jīng)驗(yàn)者優(yōu)先;
3、有較強(qiáng)的SQL編程能力,熟練編寫存儲(chǔ)過程，能設(shè)計(jì)各種復(fù)雜的業(yè)務(wù)處理、統(tǒng)計(jì)分析語句，精通sql性能優(yōu)化;
4、具有數(shù)據(jù)倉庫、ods、BI商務(wù)智能項(xiàng)目經(jīng)驗(yàn)者優(yōu)先，具有金融行業(yè)項(xiàng)目背景者優(yōu)先;
5、較好的溝通理解能力，態(tài)度踏實(shí)，積極上進(jìn)。
相關(guān)文章：
1.大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)
2.大數(shù)據(jù)架構(gòu)師工作的職責(zé)
3.大數(shù)據(jù)架構(gòu)師的工作職責(zé)描述