大數據架構師崗位的具體職責表述(精選13篇)

來源:瑞文範文網 1.93W

大數據架構師崗位的具體職責表述 篇1

職責:

大數據架構師崗位的具體職責表述(精選13篇)

1.負責過多個大數據項目的架構;

2.精通Hadoop、Spark, HBase等主流的大數據平臺、精通各組件優化設計原理;

3.精通大數據實時流式處理的設計和應用;

3.熟悉大數據平臺調優,具備大數據生產平臺調優經驗;

4.金融行業,運營商行業大數據架構經驗更優;

5.研究大數據技術的最新發展,並引入到公司技術架構;

6.指導大數據工程師的日常工作,並培養技術骨幹。

任職資格:

1.計算機相關專業本科或以上學歷;

2.具有5年以上大數據相關開發經驗;

3.具有2年以上帶團隊經驗

4.對Hadoop/Hive/Spark/HBase/ES等等大數據常用技術有深刻理解,能夠帶領團隊進行技術攻堅,完成中間件的實施、改造、調優;

5.精通海量數據和實時數據的分析處理,能對線上的數據處理性能問題做調優;

6.精通數據倉庫以及維度建模原理,有大型數據倉庫建設經驗;

7.精通關係型數據庫和NoSQL數據庫的使用,熟悉相關理論;

8.溝通順暢,重點突出,高效

大數據架構師崗位的具體職責表述 篇2

職責:

1、大數據平臺的規劃、設計、實施,並優化數據庫;

2、對數據庫進行管理,負責數據庫應用系統的運營及監控;

3、對數據庫性能分析與調優,排錯,保證數據正確率;

4、配合其他部門進行的數據處理、查詢,統計和分析工作;

5、完成公司下達的項目開發任務。

任職要求:

1、計算機及相關專業本科以上學歷,5年以上軟件開發從業經驗,其中包括至少2年以上的大數據開發工作經驗;

2、熟悉hive,hadoop/spark,hbase等大數據相關技術架構,有管理或優化大型分佈式集羣經驗;

3、熟悉linux基本命令,精通SQL腳本的編寫,有豐富的數據庫管理、運維調優經驗;

4、熟悉C++、Java、C#等開發語言;

5、有互聯網電商行業大數據分析處理和大型數據倉庫的設計和實施經驗;

6、有分佈式系統分析及架構設計經驗和大型計算集羣的基礎設施開發維護經驗;

7、快速處理系統突發事件的能力,較強的學習和創新能力;

8、良好的溝通能力和團隊合作精神。

大數據架構師崗位的具體職責表述 篇3

職責:

1.負責公司新業務方向平臺大數據基礎架構的搭建及後期數據處理體系的升級和優化,不斷提升系統的穩定性和效率。爲公司未來方向性產品提供大數據底層平臺的支持和保證。

2.負責制定大數據平臺調用約束和規範;

3.負責大數據方向技術難題的解決,以及代碼質量的把控;

4.作爲大數據開發團隊的leader,負責大數據系統平臺開發團隊建設與人才梯隊培養,分享技術經驗,撰寫相關技術文檔指導和培訓工程師。

任職要求:

1.熱衷於大數據技術,並能平衡大數據性能、穩定性、擴展性多重要素進行設計和優化;

2.熟悉服務器基本知識,能夠評估系統硬件性能瓶頸;

3.掌握Linux操作系統的配置,管理及優化,能夠獨立排查及解決操作系統層的各類問題,並能提供解決問題的理論依據;

4.精通Java服務器編程,熟悉JVM原理,對數據結構和算法設計有較爲深刻的理解;

5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構,熟悉原理、源碼、集羣部署,包括參數優化、Bug修復,貢獻過代碼或提交過bug者優先

6.具備數據中心資源管理、監控、調度等系統研發經驗者優先,具備分佈式系統研發經驗者優先;

7.具有應用大數據技術處理的項目開發、維護超過兩年的經驗者優先;

8.具有良好的文檔編寫能力,可進行方案設計、架構設計。

大數據架構師崗位的具體職責表述 篇4

職責:

1.負責企業數據中心建設,設計數據邏輯模型和物理模型,並完成相關開發

2.梳理公司各業務線常用的指標和維度,統一指標定義口徑

3.根據數據應用開發和數據分析需求,設計數據倉庫信息層模型,提高數據開發的效率

4.負責數據模型的運營和優化,及時響應業務邏輯變更,保證模型的數據質量和穩定性

5.負責公司數據標籤體系的建設,並推動標籤體系在實際業務場景中落地

崗位要求:

1.5年以上DW/BI數據架構設計、模型設計和性能調優等相關經驗

2.有較強的數據分析能力,精通數據倉庫架構,熟悉Erwin或PowerDesigner建模工具

3.精通一種主流關係數據庫(如mysql等),熟悉Hive開發

4.有電商業務經驗,元數據管理,數據質量管理或標籤體系搭建經驗者優先

5.優秀的協調溝通與團隊協作能力,極強的責任心,能承受一定的工作壓力,認同企業文化和團隊價值

大數據架構師崗位的具體職責表述 篇5

職責:

負責公司大數據產品架構的設計與實現;

配合大數據產品經理完成產品的快速研發與交付;

負責大數據產品架構的持續優化設計;

負責大數據產品核心組件設計;

負責大數據相關數據架構規劃、數據建模、數據庫設計以及大數據產品研發工作;

爲應用開發團隊提供技術支撐。

及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;

完成上級領導交辦的其它各項工作。

任職資格:

985/211本科及以上學歷,3年以上的大數據開發經驗、

2年以上大數據架構設計經驗;

豐富的JAVA研發經驗,精通JAVA,熟悉Python Scala等編程語言;具備深厚的分佈式系統或數據庫系統的理論基礎,熟悉分佈式計算系統的工作機制,具有分佈式文件系統、分佈式數據庫系統、集羣存儲系統等架構設計經驗;

熟悉整個大數據的完整處理流程(數據的採集、清洗、預處理、存儲、分析挖掘、機器學習和數據可視化);

精通各種大數據相關技術體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

有數據挖掘、機器學習相關應用或研究背景;

溝通能力較好,積極主動意識較強,責任心較強。

具備優秀的邏輯思維能力,對解決挑戰性問題充滿熱情,善於解決問題和分析問題;

良好的團隊合作精神,較強的溝通能力和學習能力 ;

大數據架構師崗位的具體職責表述 篇6

職責:

1.能夠帶領技術人員基於hadoop平臺進行海量數據應用系統開發;

2.負責結構化和非結構化數據的解析和清洗,海量數據查詢和報表展現;

3.負責超大規模數據平臺的搭建、維護和優化;

4.負責大數據採集、存儲框架研究,參與在線或離線數據存儲模型設計;

5.負責大數據平臺新技術的開發使用和性能優化,測試。

任職資格:

1.計算機相關專業本科及以上學歷;

2. 熟悉hadoop相關各種開源項目,比如HDFS/Hive/Hbase等有實際應用。(5年以上開發經驗者優先);

3.兩年以上熟練編寫mapreduce代碼經驗,有三年以上網絡日誌分析、ETL經驗。熟悉日誌分析框架chukwa,flume,scribe者優先;

4.兩年以上海量數據存儲的安裝部署、優化、二次開發經驗,對大規模數據存儲、傳輸、處理等有豐富的經驗;

5.在數據挖掘、數據密集型處理、分佈式計算、網格計算領域有深入理論基礎;

6.具有較強的文檔撰寫能力,較強的團隊精神和合作精神,對工作有熱情,能承受壓力。

大數據架構師崗位的具體職責表述 篇7

職責:

1.參與公司數據平臺系統規劃和架構工作,主導系統的架構設計和項目實施,確保項目質量和關鍵性能指標達成;

2.統籌和推進製造工廠內部數據系統的構建,搭建不同來源數據之間的邏輯關係,能夠爲公司運營診斷、運營效率提升提供數據支持;

3.負責數據系統需求對接、各信息化系統數據對接、軟件供應商管理工作

5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據採集、接入、分類、開發標準和規範,制定全鏈路數據治理方案;深入挖掘公司數據業務,超強的數據業務感知力,挖掘數據價值,推動數據變現場景的落地,爲決策及業務賦能;

6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。

任職要求:

1.本科以上學歷,8年以上軟件行業從業經驗,5年以上大數據架構設計經驗,熟悉BI平臺、大數據系統相關技術架構及技術標準;

2.熟悉數據倉庫、熟悉數據集市,瞭解數據挖掘、數據抽取、數據清洗、數據建模相關技術;

3.熟悉大數據相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業信息化系統及相關數據庫技術;

5.具備大數據平臺、計算存儲平臺、可視化開發平臺經驗,具有製造企業大數據系統項目開發或實施經驗優先;

6.對數據敏感,具備優秀的業務需求分析和報告展示能力,具備製造企業數據分析和數據洞察、大數據系統的架構設計能力,瞭解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力,具備結果導向思維,有相關項目管理經驗優先。

大數據架構師崗位的具體職責表述 篇8

職責:

1、負責公司的大數據處理框架的研發設計工作,梳理可實現方案和技術規範;

2、開發、完善公司大數據平臺;參與公司離線、實時大數據處理系統的設計、開發、測試及多個業務模塊的自動化集成;

3、負責業務平臺數據統計分析模塊的設計與規劃;

4、負責公司產品研發過程中的數據及存儲設計;

5、帶領和培養團隊完成組織分解的目標;

任職要求:

1、統招本科及以上學歷,計算機、軟件工程相關專業,至少8年以上工作經驗,5年以上大數據開發經驗;

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構

3、熟悉數據倉庫,數據算法,分佈式計算技術理論,具有大數據整體系統架構設計經驗;

4、熟悉Linux系統,熟練使用shell/perl/python腳本處理問題;

5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優先;

6、能夠組織項目開發組協同工作,包括團隊溝通、計劃、開發環境管理等

大數據架構師崗位的具體職責表述 篇9

職責:

1、負責大數據平臺的技術選型,基於Spark、Hadoop大數據平臺建設和開發;

2、完成包括數據模型設計、數據採集、數據存儲等方面的大數據系統架構的設計和數據層架構設計;

3、構建數據中臺,爲多種行業應用提供主數據(畫像標籤/關係圖譜)、數據模型、人工智能業務算法及數據服務。

4、對海量數據處理的業務需求進行評估和方案設計、拆分任務並指導工程師完成開發;

5、帶領大數據技術團隊提供並實現大數據平臺上各項數據分析和數據可視化的架構設計,支撐解決方案實施。

任職要求:

1、本科及以上學歷,具有5年及以上大數據架構設計和開發經驗;2年及以上帶領團隊經驗;溝通能力強。在大型互聯網企業從事大數據架構設計者優先考慮;有分佈式大型商業軟件系統設計經驗、主導過大型商業軟件的架構設計並取得過市場商業成功者優先考慮;

2、熟悉整個大數據的完整處理流程,包括數據的採集、清洗、預處理、存儲、分析挖據、機器學習和數據可視化;

3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數據庫的使用,並能進行性能調優;

4、具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鑽研精神,充滿激情,樂於接受挑戰。

大數據架構師崗位的具體職責表述 篇10

職責:

1. 負責設計企業級大數據平臺的整體架構,從技術層面制定清晰的大數據產品與系統技術架構,並負責實現關鍵技術和產品。

2. 負責設計具有創新價值的大數據底層平臺、大數據上層應用系統等,帶領團隊完成有質變的技術解決方案。

3. 負責組織同事研究行內最前沿的技術發展方向,突破現有的技術難題。

4. 負責研究院對外項目合作協調與支持,編寫項目建設方案及後期項目建設支持。

任職要求:

1. 碩士及以上學歷,計算機相關專業。

2. JAVA基礎紮實,不少於8年的一線開發經驗,精通Spring boot/MyBatis/Restful API的開發與管理. 熟悉ReactJS/Angular/Vue之一前端開發技術,熟悉Maven或Ant.,熟悉Python語言開發加分。

3. 不少於4年大數據的直接研發經驗,精通Hadoop/Spark系統,有hands-on的架構設計、性能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發經驗。

4. 掌握分佈式系統原理,對分佈式存儲、流式計算、消息隊列中的一項或多項有深入的理解和認識。

5. 熟悉分佈式系統的監控、運維、故障恢復,高可用原理和設計理念。

6. 算法基礎紮實,熟悉常見的數據結構,掌握大規模高併發訪問、大數據開發等處理經驗;熟練的Linux系統, 網絡, 內存和存儲等方面知識。

7. 必須要有千萬級別的項目管理經驗,包括但不限於前期需求溝通,建設方案編寫,中期項目實施,進度彙報,後期項目維護。

大數據架構師崗位的具體職責表述 篇11

職責:

1、 負責大數據倉庫、數據集市的規劃及實現,負責大數據中臺的設計和核心開發工作;

2、 負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,爲公司的業務提供大數據底層平臺的支持和保證;

3、 大數據平臺的數據採集、處理、存儲以及挖掘分析的架構實現;

4、 研究未來數據模型和計算框架的創新與落地,包括但不限於以下領域:大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面,參與制定並實踐團隊的技術發展路線

任職資格:

1、 精通數據建模、數據標準管理、元數據管理、數據質量管理;

2、 有作爲技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;

3、 熟悉目前正在發展的大數據分佈式平臺前沿技術的應用;包括但不僅僅限於:hadoop、flink、spark等;

4、 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知慾及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在數據業界有一定的影響力優先,具有風控經驗背景的人優先;

5、 具備獨立的深度思考能力,給出結合實際情況的較爲理想的技術解決方案。

大數據架構師崗位的具體職責表述 篇12

職責:

1.負責數據倉庫建設,基於數據驅動構建企業級數據模型,根據架構設計進行各層數據模型開發。

2.面向PB級別超大規模數據處理和查詢需求,設計適合業務變化的合理的多維數據分析系統架構,滿足多樣性需求。

3.構建設計良好的數據流、調度系統、查詢引擎、監控系統,保證系統穩定高效運行,以實現數據的最大價值。

4.指導團隊成員開展數據倉庫建設。

5.參與重點項目的評審,參與企業數據管理體系建設。

任職要求:

1.統招本科及以上學歷。

2.從事數據倉庫領域至少5年以上,熟悉數據倉庫模型設計與ETL開發經驗 ,掌握Kimball的維度建模設計方法,具備海量數據加工處理(ETL)相關經驗 。

3.具有一定數據模型和數據架構基礎,熟悉hadoophive和常用數據庫。

4. 精通SQL,有一定的SQL性能調優經驗,熟悉hive sql的開發。

5.具有管理團隊開發經驗,具備良好的組織能力、協調能力及項目管理能力。

6.具有較好的文字功底及語言表達能力,能夠快速、準確地理解需求。

7.具有專研、快速學習和創新精神,具備獨立分析問題和解決問題的能力。

8.具有責任心,時間觀念強,工作獨立性強,有良好的團隊合作精神。

9.全日制普通本科畢業。

大數據架構師崗位的具體職責表述 篇13

職責:

1、負責企業大數據平臺的基礎建設、管理及制定拓展規劃;

2、負責大數據平臺相關自動化服務工具的設計、開發;

3、參與Hadoop、Hbase、Spark等核心平臺組件的開發、優化;

4、對平臺特殊場景化的數據應用制定相關實踐方案;

5、大數據團隊的搭建。

任職資格:

1、統招本科以上學歷,計算機等相關專業,5年以上工作經驗;

2、具有Hadoop等大規模集羣管理經驗、海量(PB)數據處理經驗;

3、精通Hadoop、Hive、Hbase等離線平臺相關組件的原理機制;

4、瞭解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分佈式系統;

5、熟悉高併發、分佈式開發等相關知識,具有後端服務優化相關經驗;

6、熟悉爬蟲常用框架以及反爬技術;

7、具有良好的溝通能力、分析問題與攻關問題的能力;

8、有責任心,工作積極,對新領域新技術有熱情。

熱門標籤