大數(shù)據(jù)架構(gòu)師的職責(zé)

　　大數(shù)據(jù)架構(gòu)師負(fù)責(zé)大數(shù)據(jù)倉庫、數(shù)據(jù)集市的規(guī)劃及實(shí)現(xiàn)，負(fù)責(zé)大數(shù)據(jù)中臺(tái)的設(shè)計(jì)和核心開發(fā)工作。下面是學(xué)習(xí)啦小編為您精心整理的大數(shù)據(jù)架構(gòu)師的職責(zé)。

　　大數(shù)據(jù)架構(gòu)師的職責(zé)1

　　職責(zé)：

　　1、負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺(tái)、海量數(shù)據(jù)存儲(chǔ)處理分布式平臺(tái)、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計(jì)和研發(fā);

　　2、負(fù)責(zé)實(shí)時(shí)計(jì)算平臺(tái)基礎(chǔ)架構(gòu)設(shè)計(jì)、部署、監(jiān)控、優(yōu)化升級(jí);

　　3、制定項(xiàng)目數(shù)據(jù)倉庫設(shè)計(jì)及實(shí)現(xiàn)規(guī)范，指導(dǎo)設(shè)計(jì)研發(fā)和部署;

　　4、協(xié)助策略和算法團(tuán)隊(duì)工作，保障數(shù)據(jù)挖掘建模和工程化;

　　5、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品，跟進(jìn)業(yè)界先進(jìn)技術(shù)。

　　任職要求：

　　1、3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗(yàn);

　　2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術(shù)及其生態(tài)圈;

　　3、具備Java Scala Python等開發(fā)經(jīng)驗(yàn)，熟悉數(shù)據(jù)挖掘和分析的策略與算法;

　　4、精通數(shù)據(jù)抽取，海量數(shù)據(jù)傳輸，數(shù)據(jù)清洗的常用方法和工具。

　　5、具備良好的系統(tǒng)分析能力、故障診斷能力;

　　6、有大數(shù)據(jù)策略、算法、可視化經(jīng)驗(yàn)優(yōu)先;

　　7、有在華為云存儲(chǔ)產(chǎn)品和大數(shù)據(jù)產(chǎn)品的開發(fā)使用經(jīng)驗(yàn)優(yōu)先。

　　大數(shù)據(jù)架構(gòu)師的職責(zé)2

　　職責(zé)：

　　1、負(fù)責(zé)公司的大數(shù)據(jù)平臺(tái)的數(shù)倉架構(gòu)、系統(tǒng)架構(gòu)設(shè)計(jì);

　　2、負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)完成輿情分析相關(guān)的挖掘方案設(shè)計(jì);

　　3、負(fù)責(zé)大數(shù)據(jù)研發(fā)組團(tuán)隊(duì)管理;

　　4、負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)完成輿情平臺(tái)的方案文檔撰寫、迭代開發(fā);

　　5、負(fù)責(zé)研發(fā)規(guī)范制定，研究行業(yè)前沿技術(shù);

　　6、參與產(chǎn)品規(guī)劃及設(shè)計(jì)討論。

　　任職要求：

　　1、本科五年工作經(jīng)驗(yàn)及以上，有至少五年的大數(shù)據(jù)技術(shù)實(shí)踐經(jīng)驗(yàn)，有NLP或AI相關(guān)經(jīng)驗(yàn);

　　2、有很強(qiáng)的架構(gòu)設(shè)計(jì)能力和良好的表達(dá)能力;

　　3、有一定的項(xiàng)目管理及團(tuán)隊(duì)管理能力;

　　4、精通Hadoop、Spark生態(tài)圈中的常用組件原理及應(yīng)用;

　　6、理解媒體業(yè)務(wù)，精通數(shù)據(jù)倉庫的規(guī)劃和設(shè)計(jì);

　　5、精通掌握J(rèn)ava或Python編程，有性能調(diào)優(yōu)能力;

　　4、熟悉NLP算法原理及應(yīng)用;

　　6、對新生事物或者新技術(shù)有濃厚興趣，學(xué)習(xí)能力強(qiáng)。

　　大數(shù)據(jù)架構(gòu)師的職責(zé)3

　　職責(zé)

　　1、參與打造數(shù)據(jù)中內(nèi)容的規(guī)劃、設(shè)計(jì)、開發(fā)和優(yōu)化工作，實(shí)現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;

　　2、參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計(jì)和開發(fā)，搭建離線、實(shí)時(shí)數(shù)據(jù)公共層;

　　3、參與數(shù)據(jù)產(chǎn)品與應(yīng)用的數(shù)據(jù)研發(fā)，發(fā)掘數(shù)據(jù)商業(yè)價(jià)值，打造極致體驗(yàn)的數(shù)據(jù)產(chǎn)品;

　　4、深入理解數(shù)據(jù)產(chǎn)品的使用場景，為業(yè)務(wù)方在可用性、成本上做更好的設(shè)計(jì)做參考;

　　5、團(tuán)隊(duì)成員的搭建與培養(yǎng)，任務(wù)劃分，進(jìn)度監(jiān)控，代碼規(guī)范，質(zhì)量保證。

　　任職要求

　　1、熟悉數(shù)據(jù)倉庫建模理論，3年以上相關(guān)領(lǐng)域?qū)嵺`經(jīng)驗(yàn);

　　2、Hadoop、Hive、Hbase、Storm、Spark等技術(shù)框架;

　　3、精通Java、Python、Scala、go等開發(fā)語言中的1到2種;

　　4、熟練使用Python/Java/scala或其他語言進(jìn)行復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)處理工作，具備海量數(shù)據(jù)處理以及性能優(yōu)化的能力;

　　5、對MySQL、Redis、HBase等數(shù)據(jù)庫有一定的了解和使用經(jīng)驗(yàn);

　　6、對olap，多維分析及kylin熟悉的更好;

　　7、思路清晰，具備良好的溝通能力和理解能力，較強(qiáng)的學(xué)習(xí)能力以及快速解決問題的能力;

　　8、對新技術(shù)，新事物有很好的探索和求知欲;

　　9、熟悉常規(guī)的機(jī)器學(xué)習(xí)算法：降維(PCA、SVD)、SVM、邏輯回歸(LogisticsRegression)、決策樹(GBDT、RandomForest)、關(guān)聯(lián)規(guī)則(Apriori、FP-Growth)、聚類(K-Means)等優(yōu)先。

　　大數(shù)據(jù)架構(gòu)師的職責(zé)4

　　職責(zé)

　　1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的整體架構(gòu)設(shè)計(jì)，包含數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、數(shù)據(jù)輸出;

　　2、負(fù)責(zé)規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應(yīng)用的整體流程，并參與用戶產(chǎn)品和數(shù)據(jù)產(chǎn)品的決策;

　　3、負(fù)責(zé)海量數(shù)據(jù)分析、用戶行為分析，構(gòu)建用戶數(shù)據(jù)模型;

　　4、負(fù)責(zé)解決核心技術(shù)問題，對技術(shù)方案進(jìn)行決策;

　　5、技術(shù)團(tuán)隊(duì)管理。

　　6、熟悉手機(jī)IOS、安卓系統(tǒng)APP開發(fā)

　　任職資格

　　1、計(jì)算機(jī)相關(guān)專業(yè)畢業(yè)，本科以上學(xué)歷;

　　2、5年以上相關(guān)工作經(jīng)驗(yàn)，具備軟件產(chǎn)品架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)，熟練掌握高性能、高擴(kuò)展性架構(gòu)設(shè)計(jì)方法;

　　3、熟練掌握java或c++任意一門語言、熟悉linux操作系統(tǒng);

　　4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大數(shù)據(jù)技術(shù)，并能夠基于上述項(xiàng)目開發(fā)大數(shù)據(jù)相關(guān)應(yīng)用;

　　5、熟悉基本數(shù)據(jù)挖掘方法和技術(shù);

　　6、強(qiáng)烈的敬業(yè)精神，良好的溝通與協(xié)調(diào)能力，能有效組織協(xié)調(diào)團(tuán)隊(duì)完成各類開發(fā)工作;

　　7、熱愛技術(shù)，相信數(shù)據(jù)的價(jià)值，對大數(shù)據(jù)有深刻的理解。

　　大數(shù)據(jù)架構(gòu)師的職責(zé)5

　　職責(zé)：

　　1、負(fù)責(zé)規(guī)劃科技大數(shù)據(jù)平臺(tái)及科技數(shù)據(jù)入庫自動(dòng)化的方案設(shè)計(jì);

　　2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的開發(fā)和維護(hù)，以及對外服務(wù)接口的開發(fā);

　　3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的優(yōu)化和改進(jìn)工作。

　　任職要求

　　1、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，5年以上開發(fā)經(jīng)驗(yàn)，其中3年以上為互聯(lián)網(wǎng)、大數(shù)據(jù)相關(guān)的開發(fā)經(jīng)驗(yàn);

　　2、熟知Hadoop生態(tài)圈體系，精通Hadoop/Spark/Storm/Kafka中的一項(xiàng)或幾項(xiàng)，深刻理解MapReduce的運(yùn)行原理和機(jī)制，有MPI經(jīng)驗(yàn)者尚佳;

　　3、熟悉Elasticsearch、Redis、Hbased等相關(guān)數(shù)據(jù)庫的構(gòu)建和操作，尤其是數(shù)據(jù)庫集群的構(gòu)建和操作，熟悉Neo4j者尚佳;

　　4、具有機(jī)器學(xué)習(xí)相關(guān)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。