大數(shù)據(jù)架構(gòu)師崗位的職責(zé)內(nèi)容
大數(shù)據(jù)架構(gòu)師崗位的職責(zé)內(nèi)容
大數(shù)據(jù)架構(gòu)師負(fù)責(zé)大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點(diǎn)攻關(guān),指導(dǎo)開發(fā)大數(shù)據(jù)平臺的開發(fā),保證大數(shù)據(jù)產(chǎn)品的上線運(yùn)行。以下是學(xué)習(xí)啦小編整理的大數(shù)據(jù)架構(gòu)師崗位的職責(zé)內(nèi)容。
大數(shù)據(jù)架構(gòu)師崗位的職責(zé)內(nèi)容1
職責(zé):
1、大數(shù)據(jù)平臺架構(gòu)規(guī)劃與設(shè)計(jì);
2、負(fù)責(zé)大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點(diǎn)攻關(guān);
3、能夠獨(dú)立進(jìn)行行業(yè)大數(shù)據(jù)應(yīng)用的整體技術(shù)框架、業(yè)務(wù)框架和系統(tǒng)架構(gòu)設(shè)計(jì)和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務(wù)需求,能夠指導(dǎo)開發(fā)團(tuán)隊(duì)完成實(shí)施工作;
4、負(fù)責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關(guān)的業(yè)務(wù)提供大數(shù)據(jù)底層平臺的支持和保證;
5、培養(yǎng)和建立大數(shù)據(jù)團(tuán)隊(duì),對團(tuán)隊(duì)進(jìn)行技術(shù)指導(dǎo)。
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學(xué)位,8年(碩士5年)以上工作經(jīng)驗(yàn)(至少擁有3年以上大數(shù)據(jù)項(xiàng)目或產(chǎn)品架構(gòu)經(jīng)驗(yàn));
2、精通相關(guān)技術(shù),精通常見開源框架的架構(gòu),精通關(guān)系數(shù)據(jù)庫系統(tǒng)(Oracle MySQL等)和noSQL數(shù)據(jù)存儲系統(tǒng)的原理和架構(gòu);
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大數(shù)據(jù)系統(tǒng)架構(gòu),熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有DW,BI架構(gòu)體系的專項(xiàng)建設(shè)經(jīng)驗(yàn);
5、對大數(shù)據(jù)體系有深入認(rèn)識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數(shù)據(jù)技術(shù),并能設(shè)計(jì)相關(guān)數(shù)據(jù)模型;
6、很強(qiáng)的學(xué)習(xí)Java,J2EE、分析和解決問題能力,可以迅速掌握業(yè)務(wù)邏輯并轉(zhuǎn)化為技術(shù)方案,能獨(dú)立撰寫項(xiàng)目解決方案、項(xiàng)目技術(shù)文檔;
7、具有較強(qiáng)的內(nèi)外溝通能力,良好的團(tuán)隊(duì)意識和協(xié)作精神;
8、機(jī)器學(xué)習(xí)技術(shù)、數(shù)據(jù)挖掘、人工智能經(jīng)驗(yàn)豐富者優(yōu)先考慮;
9、具有能源電力行業(yè)工作經(jīng)驗(yàn)者優(yōu)先。
大數(shù)據(jù)架構(gòu)師崗位的職責(zé)內(nèi)容2
職責(zé):
1、 負(fù)責(zé)大數(shù)據(jù)倉庫、數(shù)據(jù)集市的規(guī)劃及實(shí)現(xiàn),負(fù)責(zé)大數(shù)據(jù)中臺的設(shè)計(jì)和核心開發(fā)工作;
2、 負(fù)責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為公司的業(yè)務(wù)提供大數(shù)據(jù)底層平臺的支持和保證;
3、 大數(shù)據(jù)平臺的數(shù)據(jù)采集、處理、存儲以及挖掘分析的架構(gòu)實(shí)現(xiàn);
4、 研究未來數(shù)據(jù)模型和計(jì)算框架的創(chuàng)新與落地,包括但不限于以下領(lǐng)域:大規(guī)模數(shù)據(jù)實(shí)時(shí)化、研發(fā)模式敏捷化、數(shù)據(jù)計(jì)算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務(wù)化等方面,參與制定并實(shí)踐團(tuán)隊(duì)的技術(shù)發(fā)展路線
任職資格:
1、 精通數(shù)據(jù)建模、數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理;
2、 有作為技術(shù)負(fù)責(zé)人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)實(shí)踐經(jīng)驗(yàn)優(yōu)先;
3、 熟悉目前正在發(fā)展的大數(shù)據(jù)分布式平臺前沿技術(shù)的應(yīng)用;包括但不僅僅限于:hadoop、flink、spark等;
4、 性格積極樂觀,誠信,能自我驅(qū)動(dòng),有較強(qiáng)的語言表達(dá)能力;具備強(qiáng)烈的進(jìn)取心、求知欲及團(tuán)隊(duì)合作精神;具有良好的溝通、團(tuán)隊(duì)協(xié)作、計(jì)劃和創(chuàng)新的能力; 在數(shù)據(jù)業(yè)界有一定的影響力優(yōu)先,具有風(fēng)控經(jīng)驗(yàn)背景的人優(yōu)先;
5、 具備獨(dú)立的深度思考能力,給出結(jié)合實(shí)際情況的較為理想的技術(shù)解決方案。
大數(shù)據(jù)架構(gòu)師崗位的職責(zé)內(nèi)容3
職責(zé):
1、對業(yè)務(wù)需求深入分析,從而進(jìn)行大數(shù)據(jù)平臺核心應(yīng)用的架構(gòu)設(shè)計(jì)、開發(fā)和技術(shù)支持;
2、規(guī)劃業(yè)務(wù)應(yīng)用系統(tǒng)和基礎(chǔ)平臺的技術(shù)架構(gòu),參與需求分析、建模、架構(gòu)設(shè)計(jì)、技術(shù)決策以及詳細(xì)設(shè)計(jì);
3、把握復(fù)雜系統(tǒng)的設(shè)計(jì),確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;
4、帶領(lǐng)團(tuán)隊(duì)攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術(shù)難關(guān);
5、在大數(shù)據(jù)平臺建設(shè)路線圖指導(dǎo)下,進(jìn)行架構(gòu)實(shí)施和交付物投遞,同時(shí)確保研發(fā)質(zhì)量和方向的準(zhǔn)確性;
6、進(jìn)行團(tuán)隊(duì)技術(shù)的培訓(xùn)和梯隊(duì)建設(shè)崗位要求;
任職條件:
1、本科或以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),8年以上研發(fā)經(jīng)驗(yàn),3年以上大數(shù)據(jù)平臺相關(guān)工作經(jīng)驗(yàn);
2、精通Java開發(fā)技術(shù),熟悉Shell、Scala語言和PYTHON優(yōu)先;
3、編程基礎(chǔ)扎實(shí),熟悉I/O、多線程、集群等基礎(chǔ)框架和原理,熟悉分布式、緩存、消息等機(jī)制;
4、熟悉常用設(shè)計(jì)模式,代碼評審規(guī)則,單元測試,持續(xù)集成;
5、熟悉AWS云服務(wù)或阿里云服務(wù);
6、熟悉容器技術(shù)原理、生態(tài)系統(tǒng),熟悉Docker、Mesos、Kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應(yīng)用生命周期。
大數(shù)據(jù)架構(gòu)師崗位的職責(zé)內(nèi)容4
職責(zé):
1)負(fù)責(zé)大數(shù)據(jù)平臺系統(tǒng)架構(gòu)設(shè)計(jì)、核心開發(fā)工作(Hadoop&Spark技術(shù)方向),基于業(yè)務(wù)場景設(shè)計(jì)最優(yōu)的系統(tǒng)解決方案。
2)構(gòu)架支持大數(shù)量級的數(shù)據(jù)的大數(shù)據(jù)平臺系統(tǒng),及相關(guān)監(jiān)控,拓展系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)。
3)利用Hadoop、Spark等大數(shù)據(jù)技術(shù)對海量數(shù)據(jù)進(jìn)行處理,支持BI和數(shù)據(jù)科學(xué)(建模)的應(yīng)用實(shí)現(xiàn)。
4)對現(xiàn)有系統(tǒng)的進(jìn)行架構(gòu)深入分析及系統(tǒng)優(yōu)化,進(jìn)一步提升系統(tǒng)的性能及數(shù)據(jù)處理能力。
任職資格
1)統(tǒng)招本科或以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè), 5年以上軟件開發(fā)經(jīng)驗(yàn)、3年以上大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)。
2)具備較豐富的大數(shù)據(jù)平臺相關(guān)構(gòu)建,維護(hù)及調(diào)優(yōu)經(jīng)驗(yàn),有大數(shù)據(jù)量級下的大數(shù)據(jù)集市相關(guān)經(jīng)驗(yàn)。
3)具備較豐富的基于Hadoop或Hive或Spark等大數(shù)據(jù)處理項(xiàng)目經(jīng)驗(yàn),具備一定的數(shù)據(jù)挖掘經(jīng)驗(yàn)。
4) 具有阿里云的EMR(emapreduce)的經(jīng)驗(yàn)者優(yōu)先考慮。
5)具有良好的業(yè)務(wù)理解、溝通和協(xié)作能力,具有較強(qiáng)的學(xué)習(xí)和總結(jié)能力。
6)優(yōu)秀的團(tuán)隊(duì)合作精神、誠實(shí)、勤奮、嚴(yán)謹(jǐn),敢于接受挑戰(zhàn)。
7)機(jī)器學(xué)習(xí)技術(shù)、數(shù)據(jù)挖掘經(jīng)驗(yàn)豐富者優(yōu)先考慮。
大數(shù)據(jù)架構(gòu)師崗位的職責(zé)內(nèi)容5
職責(zé):
負(fù)責(zé)大數(shù)據(jù)平臺的規(guī)劃和搭建、完成大數(shù)據(jù)平臺的日常運(yùn)營工作,為數(shù)據(jù)分析和展現(xiàn)提供支持;
對系統(tǒng)框架相關(guān)技術(shù)和業(yè)務(wù)進(jìn)行培訓(xùn),并負(fù)責(zé)核心代碼編寫,指導(dǎo)團(tuán)隊(duì)開發(fā)及解決出現(xiàn)的系統(tǒng)問題;
參與基于大數(shù)據(jù)平臺的創(chuàng)新業(yè)務(wù)場景進(jìn)行數(shù)據(jù)產(chǎn)品的架構(gòu)設(shè)計(jì),負(fù)責(zé)數(shù)據(jù)產(chǎn)品的研發(fā)交付;
負(fù)責(zé)處理大數(shù)據(jù)平臺的疑難問題,為數(shù)據(jù)團(tuán)隊(duì)提供可靠的技術(shù)支持;
負(fù)責(zé)數(shù)據(jù)質(zhì)量、穩(wěn)定性等數(shù)據(jù)管理,數(shù)據(jù)內(nèi)部共享融通的數(shù)據(jù)平臺,讓數(shù)據(jù)標(biāo)準(zhǔn)更規(guī)范、數(shù)據(jù)獲取更高效;
及時(shí)跟進(jìn)大數(shù)據(jù)領(lǐng)域新技術(shù)并分享,提升團(tuán)隊(duì)技術(shù)能力。
任職要求:
本科或以上學(xué)歷,5年以上數(shù)據(jù)系統(tǒng)建設(shè)經(jīng)驗(yàn),3年以上大數(shù)據(jù)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn);
精通 java,python,scala 等一種大數(shù)據(jù)開發(fā)語言,熟悉Hadoop生態(tài)圈,包括但不限于hdfs,hive,spark, 有豐富的大數(shù)據(jù)項(xiàng)目的實(shí)踐經(jīng)驗(yàn);
具備創(chuàng)新精神,條理清晰,溝通表達(dá)和邏輯思維能力強(qiáng);
熟悉數(shù)據(jù)倉庫的設(shè)計(jì)和開發(fā),對數(shù)據(jù)架構(gòu)有深入的了解和具備相關(guān)的項(xiàng)目實(shí)踐經(jīng)驗(yàn)優(yōu)先;
對SQL on Hadoop 的開源查詢引擎(如Presto、 Apache Drill ) 原理有深入研究優(yōu)先;
有敏捷大數(shù)據(jù)和數(shù)據(jù)可視化實(shí)踐經(jīng)驗(yàn)優(yōu)先。