大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)
大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)
大數(shù)據(jù)開(kāi)發(fā)工程師負(fù)責(zé)公司項(xiàng)目應(yīng)用監(jiān)測(cè)數(shù)據(jù)，分析軟件大數(shù)據(jù)平臺(tái)的代碼開(kāi)發(fā)。下面是學(xué)習(xí)啦小編整理的大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)。
大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)1
職責(zé):
1、 負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理工具ETL、流處理平臺(tái)等建設(shè)，功能規(guī)劃，平臺(tái)演進(jìn)，維護(hù)調(diào)優(yōu)等;
2、 結(jié)合公司業(yè)務(wù)特征，負(fù)責(zé)公司數(shù)據(jù)倉(cāng)庫(kù)規(guī)劃、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)倉(cāng)管理等;
3、 負(fù)責(zé)大數(shù)據(jù)處理技術(shù)研究及新技術(shù)引進(jìn)，參與超大規(guī)模實(shí)時(shí)/離線數(shù)據(jù)計(jì)算框架，存儲(chǔ)、查詢、可視化解決方案的設(shè)計(jì)，研發(fā);
4、 負(fù)責(zé)公司業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)及全業(yè)務(wù)數(shù)據(jù)域打通;
5、 負(fù)責(zé)BI報(bào)表和可視化項(xiàng)目，和客戶深度溝通，理解客戶的業(yè)務(wù)挑戰(zhàn)，提供解決方案，制定開(kāi)發(fā)計(jì)劃并執(zhí)行，支持各單位日常數(shù)據(jù)需求和任務(wù);
任職資格:
1、 熟練掌握關(guān)系型數(shù)據(jù)庫(kù),例如：Oracle、Mysql、Vertica等;熟悉NoSql數(shù)據(jù)庫(kù)，例如HBase、Redis、MongodDB等;具備豐富的數(shù)據(jù)庫(kù)管理和運(yùn)維調(diào)優(yōu)經(jīng)驗(yàn);
2、 熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開(kāi)發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理，數(shù)據(jù)打通等;
3、 有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;
4、 精通數(shù)據(jù)預(yù)處理、檢驗(yàn)、清洗、分析方法，精通各種常用統(tǒng)計(jì)檢驗(yàn)方法;熟練掌握一門或多門編程語(yǔ)言，并有大型項(xiàng)目建設(shè)經(jīng)驗(yàn)者優(yōu)先，如Java、Python、Shell和scala等;
5、精通Linux，熟悉日常運(yùn)維、搭建常見(jiàn)服務(wù)器、定位解決日常問(wèn)題的能力，具備ETL開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先;
6、 良好的語(yǔ)言溝通與表達(dá)能力，有豐富的數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)，較強(qiáng)的數(shù)據(jù)、平臺(tái)、技術(shù)理解能力;
7、 具備數(shù)學(xué)類、計(jì)算機(jī)類等相關(guān)專業(yè)統(tǒng)招本科及以上學(xué)歷，具有3年及以上大數(shù)據(jù)開(kāi)發(fā)工作經(jīng)驗(yàn)，有互聯(lián)網(wǎng)行業(yè)背景優(yōu)先。
大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)2
職責(zé)：
1、在hadoop平臺(tái)進(jìn)行hive/hbase/spark開(kāi)發(fā);
2、處理公司大數(shù)據(jù)平臺(tái)產(chǎn)品的技術(shù)工作，包括存儲(chǔ)、處理、分析、挖掘、架構(gòu)設(shè)計(jì)、研發(fā)工作;
3、熟悉設(shè)計(jì)、構(gòu)建和優(yōu)化基于hadoop/Hbase的存儲(chǔ)平臺(tái)架構(gòu);
4、熟悉整體提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高擴(kuò)展特性;
5、部門相關(guān)工作。
崗位要求：
1、計(jì)算機(jī)等相關(guān)專業(yè)大專及以上學(xué)歷;
2、3年以上軟件開(kāi)發(fā)經(jīng)驗(yàn)，精通Java開(kāi)發(fā)，至少2年以上Hadoop相關(guān)開(kāi)發(fā)經(jīng)驗(yàn);
3、熟悉分布式系統(tǒng)、分布式計(jì)算系統(tǒng)的工作機(jī)制，具有大規(guī)模數(shù)據(jù)平臺(tái)，高并發(fā)大型系統(tǒng)，大數(shù)據(jù)等架構(gòu)設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn);
4、熟悉sqoop、Hive、hbase、spark等大數(shù)據(jù)生態(tài)組件;
5、精通linux shell和sql腳本;
6、有java web開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
7、良好的團(tuán)隊(duì)精神和溝通能力，很強(qiáng)的邏輯思維能力和學(xué)習(xí)能力。
大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)3
職責(zé)
1. 負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計(jì)和開(kāi)發(fā)工作，包括數(shù)據(jù)存儲(chǔ)、預(yù)處理、查詢、統(tǒng)計(jì)、實(shí)時(shí)分析、數(shù)據(jù)優(yōu)化及配置等功能;
2. 對(duì)大數(shù)據(jù)分析系統(tǒng)存在的問(wèn)題進(jìn)行跟蹤和定位并及時(shí)解決;
3. 負(fù)責(zé)上級(jí)交辦的其他相關(guān)工作。
崗位要求：
1. 本科以上學(xué)歷，2年以上工作經(jīng)驗(yàn);
2. Java基礎(chǔ)扎實(shí)，熟練使用Java IDE 進(jìn)行代碼編寫和調(diào)試，熟悉JUnit單元測(cè)試框架;
3. 熟悉Linux操作系統(tǒng)，能在Linux上完成開(kāi)發(fā)、調(diào)試工作;
4. 熟悉網(wǎng)絡(luò)IO、多線程并發(fā)編程、集合等基礎(chǔ)框架，精通數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)算法;
5. 參與過(guò)分布式高性能服務(wù)的設(shè)計(jì)開(kāi)發(fā)過(guò)程，有大規(guī)模分布式系統(tǒng)的實(shí)踐經(jīng)驗(yàn);
6. 熟悉數(shù)據(jù)庫(kù)操作和使用的基本技能，熟練一種關(guān)系型數(shù)據(jù)庫(kù)的使用;
7. 能獨(dú)立編寫詳細(xì)設(shè)計(jì)文檔;
8. 有大數(shù)據(jù)分析工具Hadoop、spark使用開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先;
9. 具有團(tuán)隊(duì)精神與敬業(yè)精神，學(xué)習(xí)鉆研能力強(qiáng)，具有良好的協(xié)調(diào)溝通能力。
大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)4
職責(zé)：
1、大數(shù)據(jù)的分布式采集與環(huán)境搭建和測(cè)試;
2、大數(shù)據(jù)存儲(chǔ)、處理和分析工作;
3、大數(shù)據(jù)相關(guān)產(chǎn)品線的改進(jìn)和相關(guān)核心開(kāi)發(fā)工作;
4、其他大數(shù)據(jù)相關(guān)工作。
任職要求：
1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè);
2、2年以上Java開(kāi)發(fā)及大數(shù)據(jù)相關(guān)開(kāi)發(fā)經(jīng)驗(yàn)，java基礎(chǔ)扎實(shí)，熟練掌握多線程、集合、緩存、序列化、nio等技術(shù);
3、熟悉Linux環(huán)境，熟悉Linux shell/python/perl任一腳本;
4、熟悉Hadoop、Spark、ZooKeeper等主流的大數(shù)據(jù)處理架構(gòu)，并有1年以上Hadoop相關(guān)的實(shí)際開(kāi)發(fā)、架構(gòu)及調(diào)優(yōu)經(jīng)驗(yàn);
5、使用過(guò)阿里云;
6、熟悉架構(gòu);
7、具有較好的學(xué)習(xí)能力、溝通表達(dá)能力及團(tuán)隊(duì)合作能力。
大數(shù)據(jù)開(kāi)發(fā)工程師的具體職責(zé)5
職責(zé)：
1、本崗位培養(yǎng)方向?yàn)樽C券基金行業(yè)數(shù)據(jù)架構(gòu)師;
2、輔助大數(shù)據(jù)架構(gòu)師制定項(xiàng)目開(kāi)發(fā)流程、規(guī)范，輔助數(shù)據(jù)模型設(shè)計(jì)人員進(jìn)行模型設(shè)計(jì);
3、輔助技術(shù)架構(gòu)師進(jìn)行大數(shù)據(jù)平臺(tái)調(diào)優(yōu)(業(yè)務(wù)邏輯角度);
4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)開(kāi)發(fā)，包括數(shù)據(jù)抽取、轉(zhuǎn)換和加載;
5、負(fù)責(zé)控制數(shù)據(jù)需求、管理項(xiàng)目開(kāi)發(fā)進(jìn)度，配合QA完成項(xiàng)目質(zhì)量管理;
職位要求：
1、2年以上證券或者基金行業(yè)數(shù)據(jù)中心、大數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn);
2、具備較強(qiáng)的學(xué)習(xí)能力，對(duì)數(shù)據(jù)模型和大數(shù)據(jù)技術(shù)有濃厚的興趣;
3、熟練掌握基于ORACLE或MPP數(shù)據(jù)庫(kù)或Hadoop等開(kāi)發(fā)技術(shù);
4、至少掌握一種ETL開(kāi)發(fā)工具。如：Informatica、DataStage、SSIS、Kettle等;
5、良好的團(tuán)隊(duì)合作精神、公司提供優(yōu)厚待遇。
相關(guān)文章：
1.大數(shù)據(jù)開(kāi)發(fā)工程師的基本職責(zé)
2.中級(jí)Java開(kāi)發(fā)工程師的具體職責(zé)范圍
3.大數(shù)據(jù)架構(gòu)師的基本職責(zé)