大數據架構師工作的崗位職責（精選19篇）
大數據架構師工作的崗位職責 篇1
職責：
1. 負責大數據平臺的基礎技術規劃，編制相關規範文檔。
2. 負責大數據平臺的數據採集，處理，存儲以及挖掘分析的架構實現。
3. 負責大數據平臺的實際規劃建設，包括環境和框架的規劃搭建以及部分核心編碼工作。
4. 負責大數據相關技術發展方向的預研。
5. 參與業務需求調研，根據需求及行業特點設計大數據解決方案並跟進具體實施項目。
6. 制定大數據平臺中數據質量，業務質量監控及管理辦法。
崗位要求：
1. 全日制本科及以上學歷，5年以上工作經驗，4年及以上大數據架構設計經驗，熟悉大數據解決方案，包括Hadoop平臺、Spark、storm、機器學習、深度學習等大數據解決方案。
2. 深刻理解大數據處理(流計算、分佈式計算、分佈式文件系統、分佈式存儲等相關技術)實現方法。有架構和設計實踐經驗。
3. 精通大型數據庫Oracle、SqlServer等的開發。
4. 精通java，Python中的一種或多種語言。
5. 熟悉容器、虛擬化、微服務框架等相關技術。
6. 對數據敏感，有嚴謹的工作思路，良好的溝通能力和團隊合作精神。
7. 熟悉R，Python，SAS、SPSS等數據挖掘經驗者優先。
8. 高寬展性，高性能，和分佈式系統的實踐及運維經驗者優先。
9. 有大型數據倉庫實施、大數據平臺數據開發經驗，熟悉運營商業務者優先。
大數據架構師工作的崗位職責 篇2
職責：
1、負責DMP技術架構設計與構建，根據業務規劃及技術規劃制定應用架構方案;
2、負責設計構建DMP數據採集、存儲及分析框架，設計數據處理的技術流程和規範;
3、負責核心功能的架構與代碼模板編寫，開發與維護系統公用核心模塊;
4、負責基於大數據技術的海量數據的自動化分析處理和統計工作。
崗位要求：
1、計算機或相關專業本科以上學歷，三年以上的開發經驗，二年以上大數據相關軟件架構的實際經驗;
2、精通大數據處理技術，熟悉Hadoop/Storm技術體系，有Hadoop、Hive、Hbase項目經驗;
3、具有較強的架構能力，具有分佈式計算、實時計算、數據倉庫、數據挖掘系統的架構經歷優先;
4、對數據敏感，洞察力強，瞭解國內外廣告發展趨勢;
5.、擅長系統分析與設計，精通常用的設計模式，擅長性能調優;
6、熟悉DMP/RTB技術原理，瞭解用戶的行爲分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等廣告行業從業經歷。
大數據架構師工作的崗位職責 篇3
職責：
1、負責spark, hadoop, flink等開發和優化。
2、參與前期需求溝通和分析，以產品化開發的思維，完成需求分解和數據架構設計。
3、與研發和數據科學家合作保證產品定義清晰，按時完成產品上線。
4、能夠洞察市場狀況，與各部門合作轉化爲基於大數據挖掘的新策略或方案.
5、主動創造和發掘新的基於大數據挖掘產品商業模式.
任職要求：
1、全日制本科及以上學歷，計算機軟件相關專業，5年以上開發經驗，3年以上架構經驗
2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分佈式數據存儲和分佈式計算平臺原理，流式計算開發，有開源二次開發經驗者優先。
3、精通大數據挖掘、機器學習.熟練掌握Java/Perl/Python至少一種編程語言。
4、具有數據挖掘和分析、機器學習等項目實施相關經驗者優先;
5、良好的跨部門溝通合作能力，解決不同觀點能力並取得結果。具備敏銳的互聯網產品理解力，學習能力和邏輯思維能力強;
6、較強的自我驅動力、推動和協調能力，強烈的責任心和團隊合作精神;
大數據架構師工作的崗位職責 篇4
職責：
1、負責大數據平臺技術框架的技術選型和搭建;
2、負責核心技術問題公關，建設高可靠性，擴展性及高性能大數據/數據應用平臺;
3、負責規劃數據挖掘的整體流程，負責大數據開發團隊業務需求開發;
4、與其他團隊密切配合，尋求數據層面的業務價值，利用數據分析結論推動產品優化;
5、研究和分享大數據架構領域新技術。
任職要求：
1、計算機相關專業全日制統招本科及以上;
2、5年以上工作經驗，至少3年以上大數據項目相關工作經驗，能夠設計大型大數據系統的架構和技術方案;
3、精通Hadoop/Spark/Hbase/Hive等大數據技術,精通ETL技術;
4、熟悉數據挖掘，瞭解典型大數據算法和策略;
5、熟悉主流Java技術框架，精通關係型數據庫及SQL語言，熟悉NoSQL/JSON/XML;
6、有較強的學習能力和問題解決能力，邏輯嚴密、思路清晰;
7、有數據倉庫經驗者優先，有金融行業項目經驗者優先。
大數據架構師工作的崗位職責 篇5
職責
1、負責大數據架構設計，包括定義數據的存儲、集成(ETL)、應用，支撐業務運營和數據分析類需求實現;
2、制定數據治理領域的數據體系化管理措施，包括元數據設計、數據標準、數據質量、數據處理、數據安全等工作，確保數據可信與安全;
3、基於行業數據積累，滿足業務的數據挖掘需求，實現從數據到資產的轉變，根據目標行業建立具有前瞻性的數據模型;
4、對各產品的數據安全負責，主導制定和實施數據庫系統安全策略，保證整體方案數據安全;
崗位要求
業務技能要求：
1、深入理解雲化、數據倉庫，在參與過的系統設計中，必須涉及這兩項關鍵技術;
n2、精通或者熟悉Hadoop體系架構，以及HDFS/HBase/Hive/MapReduce/Spark等技術，瞭解體系架構各組件的優缺點，有直接的產品設計與開發、部署、調優的經驗;
3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開發，瞭解各數據庫優缺點， 熟悉與架構設計相關的數據存儲、性能調優等相關領域知識，有相關項目經驗尤佳;
4、熟悉業界常用的數據採集、集成、數據存儲、計算、數據模型、數據分析的技術方案，具有數據分析或數據挖掘相關經驗者優先;
n5、熟悉數據治理相關流程，包括數據接入、數據處理、數據治理、數據組織、數據服務等。
專業知識要求：
1、具備數據治理的知識與體系方案，包含政策、組織、角色、流程、規範等，以及規劃相應的支撐方案。瞭解業界的數據管理方法論;
2、具備數據用例設計和開發能力。能夠基於業務相關數據進行業務需求分析和痛點識別，將業務需求轉化爲數據的需求，完成數據用例的設計和開發;
3、精通海量數據(日增量百億)級別數據倉庫、數據集市的構建流程。熟悉公安、政務、工業、交通、醫療等多行業業務者優先。
大數據架構師工作的崗位職責 篇6
職責：
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能後臺服務系統的架構設計工作，包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;
3、指導開發人員開發，並解決系統出現的問題，理解物業需求;
4、制定開發計劃和控制開發進度，負責指導研發團隊開展設計工作;
任職要求：
1、碩士以上，計算機或先關專業;
2、5年左右軟件開發經驗，含3年以上系統分析、設計經驗，有大型軟件項目大型軟件項目;有中大型互聯網企業數據庫架構設計及管理經驗，
3、 具備良好的組件級建模能力，熟悉HTTP、TCP等協議
4、熟練使用UML進行軟件架構設計，至少精通EA，RATIONAL， VISIO等一種設計工具.
5、精通至少一種編程語言，熟悉 Linux 相關技術，能獨立在上面進行開發、測試和部署
6、深入理解數據庫、數據倉庫、大數據、分佈式體系架構和關鍵技術
大數據架構師工作的崗位職責 篇7
職責：
1、負責公司大數據底層框架的整體架構設計，結合公司實際業務情況進行技術選型及大數據戰略規劃;
2、負責公司項目的整體評估、設計、架構及關鍵模塊的開發;
3、負責架構優化，協助團隊解決開發過程中遇到的技術難題;
4、負責新技術的調研和大數據相關開源組件的研究，並能在團隊進行推廣應用;
5、參與數據分析、數據建模、項目核心模塊及核心框架的開發;
6、負責大數據平臺的性能條有和問題診斷。
任職要求：
1、計算機相關專業，本科及以上學歷，3-5年以上工作經驗，2-3年大數據相關經驗;
2、具有紮實的大數據和數據倉庫理論功底，負責過大數據平臺或數據倉庫設計;
3、對基於Hadoop的大數據體系有深入的認識，具備相關產品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項目應用研發經驗，有Hadoop集羣搭建和管理經驗，度過Hadoop和Spark源碼;
4、熟悉Linux和Python語言，瞭解Scala原理和底層技術;
5、熟悉分佈式系統的架構及對其進行設計和優化，對海量數據的清晰、分析處理及存儲有相關的實戰經驗;
6、算法基礎紮實，熟悉常見的數據結構，深入理解分佈式算法和以上提到的分佈式系統，
7、必須有一線coding的能力;
8、有統計學、數學知識，海量數據處理、分析和挖掘，大型互聯網公司從業經歷着優先。
大數據架構師工作的崗位職責 篇8
職責
1、負責企業級大數據平臺、數據雲服務的設計與開發;
2、基於大數據生態圈，支持智慧交通等大數據場景應用實現;
3、負責公司大數據產品的設計、封裝與落地;
4、負責學習大數據相關算法研究、實現與應用
任職要求
1、統招本科及以上學歷;2年以上智慧城市建設或交通行業信息化相關工作經驗，3年以上大數據架構設計、開發經驗;
2、精通大數據生態圈的技術，包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備源碼級問題解決和集羣優化改造能力;
3、熟悉常用編程語言，包括Java、Python、Scala等;
4、具有很強的技術研發和創新能力，能有效把握技術發展方向，有較強的執行能力、學習能力、溝通能力、適應能力，責任心強;
大數據架構師工作的崗位職責 篇9
職責：
1. 負責產品級業務系統架構(如業務數據對象識別，數據實體、數據屬性分析，數據標準、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計，從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分佈式擴展性，並對系統質量負責。
2.負責雲數據平臺的架構設計和數據處理體系的優化，推動雲數據平臺建設和持續升級，並制定雲數據平臺調用約束和規範。
3. 結合行業應用的需求負責數據流各環節上的方案選型，主導雲數據平臺建設，參與核心代碼編寫、審查;數據的統計邏輯迴歸算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。
4. 對雲數據平臺的關注業內技術動態，持續推動平臺技術架構升級，以滿足公司不同階段的數據需求。
任職要求：
1. 熟悉雲計算基礎平臺，包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基礎環境，熟悉控制、計算、存儲和網絡;
2. 掌握大型分佈式系統的技術棧，如：CDN、負載均衡、服務化/異步化、分佈式緩存、NoSQL、數據庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。
3. 精通 Java，Python，Shell 編程語言，精通 SQL、NoSQL 等數據庫增刪改查的操作優化;
4. PB 級別實戰數據平臺和生產環境的實施、開發和管理經驗;
5. 熟悉 Docker 等容器的編排封裝，熟悉微服務的開發和日常調度;
6.計算機、軟件、電子信息及通信等相關專業本科以上學歷，5 年以上軟件工程開發經驗，2 年以上大數據架構師工作經驗。
大數據架構師工作的崗位職責 篇10
1. 負責大數據項目整體架構規劃，包括應用架構、技術架構、物理架構和數據架構等;
2. 負責指導工程師進行技術驗證與實現，核心技術問題的攻關，解決項目開發過程中的技術難題;
3. 負責項目對外技術溝通，具有較強的溝通，表達和文檔撰寫能力;
4. 根據公司項目和業務發展特點，負責研究相關大數據前沿技術;
5. 推動技術能力的沉澱。
大數據架構師工作的崗位職責 篇11
職責：
1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化;
2、負責解決項目上線後生產環境的各種實際問題，保障大數據平臺在生產上的安全、平穩運行;
3、推動優化跨部門的業務流程， 參與業務部門的技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公，月底項目結束後在總部公司辦公
任職要求：
1、熟悉linux、JVM底層原理，能作爲技術擔當，解決核心技術問題;
2、3年以上大數據平臺項目架構或開發經驗，對大數據生態技術體系有全面瞭解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐， 注重文檔管理、注重工程規範優先;
4、熟悉Java後臺開發體系，具備微服務架構的項目實施經驗，有Dubbo/Spring cloud微服務架構設計經驗優先;
5、性格開朗、善於溝通，有極強的技術敏感性和自我驅動學習能力，注重團隊意識。
大數據架構師工作的崗位職責 篇12
職責：
負責大數據平臺的規劃和搭建、完成大數據平臺的日常運營工作，爲數據分析和展現提供支持;
對系統框架相關技術和業務進行培訓，並負責核心代碼編寫，指導團隊開發及解決出現的系統問題;
參與基於大數據平臺的創新業務場景進行數據產品的架構設計，負責數據產品的研發交付;
負責處理大數據平臺的疑難問題，爲數據團隊提供可靠的技術支持;
負責數據質量、穩定性等數據管理，數據內部共享融通的數據平臺，讓數據標準更規範、數據獲取更高效;
及時跟進大數據領域新技術並分享，提升團隊技術能力。
任職要求：
本科或以上學歷，5年以上數據系統建設經驗，3年以上大數據架構設計經驗;
精通 java，python，scala 等一種大數據開發語言，熟悉Hadoop生態圈，包括但不限於hdfs，hive，spark， 有豐富的大數據項目的實踐經驗;
具備創新精神，條理清晰，溝通表達和邏輯思維能力強;
熟悉數據倉庫的設計和開發，對數據架構有深入的瞭解和具備相關的項目實踐經驗優先;
對SQL on Hadoop 的開源查詢引擎(如Presto、 Apache Drill ) 原理有深入研究優先;
有敏捷大數據和數據可視化實踐經驗優先。
大數據架構師工作的崗位職責 篇13
職責：
1、負責規劃科技大數據平臺及科技數據入庫自動化的方案設計;
2、負責大數據平臺的開發和維護，以及對外服務接口的開發;
3、負責大數據平臺的優化和改進工作。
任職要求
1、計算機相關專業本科及以上學歷，5年以上開發經驗，其中3年以上爲互聯網、大數據相關的開發經驗;
2、熟知Hadoop生態圈體系，精通Hadoop/Spark/Storm/Kafka中的一項或幾項，深刻理解MapReduce的運行原理和機制，有MPI經驗者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相關數據庫的構建和操作，尤其是數據庫集羣的構建和操作，熟悉Neo4j者尚佳;
4、具有機器學習相關項目經驗者優先。
大數據架構師工作的崗位職責 篇14
職責：
1. 負責大數據基礎平臺、海量數據存儲/處理分佈式平臺、數據分析系統架構設計和研發;
2. 負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3. 制定項目/數據倉庫設計及實現規範，指導設計研發和部署;
4. 協助策略和算法團隊工作，保障數據挖掘建模和工程化;
5. 深入研究大數據相關技術和產品，跟進業界先進技術;
任職要求：
1. 全日制本科及以上學歷，5年以上軟件和分佈式系統研發經驗，3年以上大數據系統架構經驗;
2. 精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;
3. 具備良好的系統分析能力、故障診斷能力;
4 有大數據策略、算法、可視化經驗優先。
大數據架構師工作的崗位職責 篇15
職責：
1、負責大數據平臺的技術選型，基於Spark、Hadoop大數據平臺建設和開發;
2、完成包括數據模型設計、數據採集、數據存儲等方面的大數據系統架構的設計和數據層架構設計;
3、構建數據中臺，爲多種行業應用提供主數據(畫像標籤/關係圖譜)、數據模型、人工智能業務算法及數據服務。
4、對海量數據處理的業務需求進行評估和方案設計、拆分任務並指導工程師完成開發;
5、帶領大數據技術團隊提供並實現大數據平臺上各項數據分析和數據可視化的架構設計，支撐解決方案實施。
任職要求：
1、本科及以上學歷，具有5年及以上大數據架構設計和開發經驗;2年及以上帶領團隊經驗;溝通能力強。在大型互聯網企業從事大數據架構設計者優先考慮;有分佈式大型商業軟件系統設計經驗、主導過大型商業軟件的架構設計並取得過市場商業成功者優先考慮;
2、熟悉整個大數據的完整處理流程，包括數據的採集、清洗、預處理、存儲、分析挖據、機器學習和數據可視化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數據庫的使用，並能進行性能調優;
4、具備優秀的團隊意識和溝通能力，學習能力和主動性強，具有鑽研精神，充滿激情，樂於接受挑戰。
大數據架構師工作的崗位職責 篇16
職責：
1、負責公司大數據產品的架構設計，包含數據收集、數據存儲、數據應用，並完成相關架構設計文檔的撰寫;
2、參與規劃從數據源到數據應用的整體流程，並參與相關產品的決策;
3、負責解決核心技術問題，對技術方案進行決策;
4、負責大數據研發團隊建設、人才梯隊培養和技術團隊管理;
5、積極瞭解業界發展，研究與跟蹤大數據新技術發展方向。
任職要求：
1、精通GoldenGate For BigData相關理論，具備大型數據利用的生產實戰經驗;
2、精通數據驅動的理論，設計並生產上線相關數據驅動的產品;
3、精通常用消息中間件的使用，例如kafka/RocketMQ/Apache Pulsar，有解讀相關源碼者優先;
4、掌握hadoop、spark生態體系相關產品的使用，掌握MapReduce編程或Spark編程;
5、瞭解傳統數據倉庫理論及相關ETL工具，例如kettle/datastage;
6、熟悉Oracle、Mongodb、Mysql數據庫的使用;
7、紮實的Java語言基礎，熟悉Java開發工具和調試工具的使用;
8、良好的團隊協作精神，有能力對團隊在軟件設計、實現和測試方面進行指導;
9、良好的邏輯分析能力和溝通能力，執行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神，有一定的推動能力;
10、計算機科學、信息技術或相關領域本科以上學歷，具有5年以上數據平臺項目開發經驗，3年以上的架構設計經驗，具有大數據平臺應用大型項目架構設計經驗優先;
大數據架構師工作的崗位職責 篇17
職責：
1. 深刻理解政府行業業務模式，構建政府行業的數據模型，制定公司大數據技術發展路線;
2. 對接業務研究和技術部門，主動蒐集和轉化需求，組織數據中心業務開發，進行數據相關產品需求分析和設計;
3. 搭建數據倉庫，研發數據庫管理系統，蒐集、提取、處理業務積累的海量數據，開展數據分析和挖掘;
4. 根據公司戰略和發展需要，規劃數據中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區協作，協助對外交流與合作。
職位要求：
1. 5年以上相關工作經驗，有團隊管理和項目管理經驗者優先;
2.瞭解政府運作機制，掌握財政行業知識，有電子政務行業經驗者優先;
3. 熟練掌握使用Java或Python,精通數據庫查詢語言如SQL，Oracle等,在機器學習模型和算法方向有應用經驗者優先;
4. 具備數據中心產品策劃整體思維，有大數據處理、分析、挖掘經驗者優先;
5. 邏輯思維嚴密，具備業務抽象、分解和標準化的能力，口頭和書面表達優秀;
6. 有較強的大局意識和良好的團隊合作意識，富有領導力，具備優秀的人際交往和溝通能力。
大數據架構師工作的崗位職責 篇18
職責：
1.負責整個大數據平臺架構的設計和構建;
2.負責構建大數據平臺的數據交換、任務調度等通用平臺;
3.制定開發、測試、實施、維護的標準和規範，指導和培訓工程師，不斷提升團隊能力。
4.參與系統需求分析、架構設計、技術選型、應用設計與開發以及測試與部署，負責編寫核心部分代碼。
5.持續挑戰新的技術方向，攻克大數據量、高併發、高可用、可擴展等技術難點。
任職要求：
1.3年以上大數據架構經驗，豐富的數據倉庫、數據挖掘、機器學習項目經驗
2.大規模數據處理的架構和設計實戰經驗
3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，並具有豐富的大型數據平臺工程經驗
4.深刻理解大數據處理(流計算，分佈式計算，分佈式文件系統，分佈式存儲等)相關技術和實現方法
5.熟悉主數據、元數據、數據質量等企業數據管理相關的體系和方法，熟練Linux/Unix平臺上的開發環境
6.本科或以上學歷，計算機軟件或相關專業，豐富的java開發經驗和互聯網背景優先。
7.具有比較強的問題分析和處理能力，有比較優秀的動手能力，熱衷技術，精益求精
大數據架構師工作的崗位職責 篇19
職責：
1、大數據平臺架構規劃與設計;
2、負責大數據平臺技術框架的選型與技術難點攻關;
3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作，根據系統的業務需求，能夠指導開發團隊完成實施工作;
4、負責數據基礎架構和數據處理體系的升級和優化，不斷提升系統的穩定性和效率，爲相關的業務提供大數據底層平臺的支持和保證;
5、培養和建立大數據團隊，對團隊進行技術指導。
任職要求：
1、計算機相關專業的背景專業一類院校畢業本科、碩士學位，8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);
2、精通Java，J2EE 相關技術，精通常見開源框架的架構，精通關係數據庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大數據系統架構，熟悉業界數據倉庫建模方法及新的建模方法的發展，有DW，BI架構體系的專項建設經驗;
5、對大數據體系有深入認識，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術，並能設計相關數據模型;
6、很強的學習、分析和解決問題能力，可以迅速掌握業務邏輯並轉化爲技術方案，能獨立撰寫項目解決方案、項目技術文檔;
7、具有較強的內外溝通能力，良好的團隊意識和協作精神;
8、機器學習技術、數據挖掘、人工智能經驗豐富者優先考慮;
9、 具有能源電力行業工作經驗者優先。