大數據開發工程師的基本職責（精選13篇）

大數據開發工程師的基本職責 篇1

職責：

1、大數據日誌分析系統的設計，選型和開發;

2、配合各業務給予數據支持，對產品和運營數據總結和優化;

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行爲等信息，完成分析結果;

4、發現並指出數據異常情況，分析數據合理性;

5、公司大數據基礎架構平臺的運維，保障數據平臺服務的穩定性和可用性;

6、大數據基礎架構平臺的監控、資源管理、數據流管理;

7、基於數據分析的可預測的雲平臺彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗;

2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力;

3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安裝與調試;

4、熟悉大數據周邊相關的數據庫系統，關係型數據庫和 NoSQL。

5、掌握 Linux 操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題;

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責 篇2

職責：

1.參與大數據平臺搭建以及項目技術架構。

2.數據分析，挖掘，模型具體的產品化;

3.根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎紮實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流數據庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行爲日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力;喜歡開源軟件，樂於知識分享;對工作認真負責;可以獨立承擔較大工作壓力

大數據開發工程師的基本職責 篇3

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有紮實的算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對衝策略研究經驗;

4、對數字貨幣領域感興趣，結果導向;

5、有網頁抓取和爬蟲程序編寫經驗者優先。

大數據開發工程師的基本職責 篇4

職責:

1、負責大數據平臺的基礎環境搭建與性能優化，完成平臺的構建與維護、實時流計算平臺、分佈式調度、可視化報表等平臺的架構與研發;

2、對各種開源框架進行深入的代碼剖析和優化;

3、參與大數據技術方案評審;

4、指導國中級大數據工程師工作;

崗位要求:

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分佈式計算平臺研發工作經驗;

2. 對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架;

3. 具備構建穩定的大數據基礎平臺的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗;

4. 對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的瞭解優先;

5. 工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

大數據開發工程師的基本職責 篇5

職責：

1、負責數據分析、加工、清理、處理程序的開發;

2、負責數據相關平臺的搭建、維護和優化;

3、負責基於Hadoop/Spark/Hive/kafka等分佈式計算平臺實現離線分析、實時分析的計算框架的開發;

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟件及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識;

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實現原理;

4、使用Spark Streaming和Spark SQL進行數據處理, 並具有SPARK SQL優化經驗;

5、需要有至少2年開發經驗,有flink開發經驗優先;

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責 篇6

後端開發

2.熟悉springboot+mybatis框架

3.熟悉數據庫原理，熟練sql語句，有mySql數據庫的經驗爲佳

4.有前後端分離開發，有分佈式的開發經驗爲佳

5.熟悉linux服務器的日常操作

大數據開發工程師的基本職責 篇7

職責：

1、根據需求實現靜態頁面交互效果;

2、協同後臺開發工程師，完成WEB系統開發任務;

3、特殊JS效果，數據處理實現;

4、高效開發，源碼安全及版本實時管理;

5、負責前端界面瀏覽器調優。

崗位要求：

1、2年以上 Web 前端開發 經驗，精通 HTML5 / CSS3 ，具備手寫代碼能力;對 W3C 標準有充分理解;對語義、結構與內容分離有充分理解;

2、理解 ES6 語言規範，熟悉使用 Promise、 async/await 等語言特性。

3、熟練使用 Vue, React 等常用庫;

4、熟悉生態，熟練掌握npm等使用;

5、有責任心，善於與人溝通，具有良好的學習能力和團隊合作意識。

6、有開源項目經驗優先。

大數據開發工程師的基本職責 篇8

職責

1. 配合項目經理完成項目需求分析、功能及設計

2. 負責項目開發與測試，維護已有程序的升級和錯誤更正

3. 負責完成APP後臺數據的接收及發送，保證數據安全

4. 負責處理線上服務器及數據庫故障，及時解決問題

5. 負責服務器環境搭建及項目更新，保證項目穩定運行

6. 負責技術難點公關並帶領其他成員完成技術難點的推進和落實

任職要求

1. 必須要求：參與過短視頻或者視頻通話APP後臺開發

2. 大專及以上統招本科學歷

3. 2年以上PHP實際開發經驗

4. 精通PHP開發，對主流快速開發框架ThinkPHP、YII、Zend等熟悉並應用過至少其中一種

5. 必須具有對接APP的開發經驗，能夠獨立完成數據的設計

6. 熟悉流媒體視頻處理技術，在項目中應用過對短視頻處理技術

7. 對主流數據庫MySql，MSSQL等至少熟悉一種

大數據開發工程師的基本職責 篇9

職責:

1. 負責公司業務生產/支撐的系統類平臺的建設、優化和維護工作;

2. 負責公司管理系統的維護性開發工作和自動化運維繫統的開發工作;

3. 負責搭建和維護監控管理體系，並根據運行情況提出優化建議;

4. 負責系統維護過程中相關技術文檔的編寫;

5. 負責各應用系統的版本管理，包括部署、升級等;

任職資格:

1. 計算機、通信技術或相關專業全日制本科及以上學歷，2年以上系統維護或開發經驗

2. 熟悉Python語言及Django Web框架，對web前端技術有一定的瞭解，熟悉 RESTful 服務，深刻理解 MVC架構概念和相關的實現技術

3. 熟悉常用的開源監控系統(zabbix 、cacti 、nagios等)，可根據需求自定義監控方案，並可對監控系統做二次性開發

4. 精通Linux系統及常見服務的配置、排障、優化

5. 對mysql等關係型數據庫有一定的瞭解，掌握基本的數據庫管理和SQL語句

6. 熟悉vmware/xen等虛擬化架構和技術實現

7. 能獨立分析問題，善於研究業務分析產品，具備良好的溝通能力、團隊協作能力

大數據開發工程師的基本職責 篇10

職責：

1. 參與項目的架構設計、架構開發工作，核心模塊設計與代碼編寫

2. 系統性能優化，難點攻關，保證系統穩定、快速、安全運行

3. 參與代碼開發規範，技術標準的制定，審覈開發人員的系統設計和代碼質量

4. 合理安排重構計劃，不斷提高產品的代碼質量，爲團隊引入創新的技術、創新的解決方案，用創新的思路解決問題。

職位要求：

1. 計算機相關專業，本科及以上學歷

2. 3年以上Java程序開發經驗

3. Java語言基礎紮實，精通面向對象的分析和設計技術，熟練運用設計模式

4. 精通Spring、Mybatis、Struts等常見的開源架構

5. 精通MySql，Oracle，Redis，等數據庫，熟悉常用的解決數據庫負載的方法

6. 熟悉Linux操作系統，熟悉Shell腳本編程及常用Linux操作命令

7. 對技術有強烈的興趣，喜歡鑽研，具有良好的學習能力

8. 具有良好的溝通能力，良好的團隊協作精神

9. 有電子政務系統和互聯網行業經驗者優先。

大數據開發工程師的基本職責 篇11

1、使用Flutter進行移動應用研發;能夠獨立完成iOS、Android應用的開發工作

2、熱愛前端，精通flutter等前端開發技術，熟悉常用前端框架

3、和前端、後端工程師一起研討技術實現方案，進行應用及系統整合

4、熟悉Flutter相關API及第三方框架

5、持續對產品開發流程進行改進與優化，提高開發能力和效率，並能通過技術提升用戶體驗和可用性

大數據開發工程師的基本職責 篇12

l根據部門產品路線規劃，與項目團隊成員配合，開發適應市場應用需求的PLC燈控系統;整合供應商資源，驗證開發(包括自制和外購)智能電源，智能面板，場景開關，以及其它系統配套產品。

l 在項目過程中參與制定產品技術要求;負責燈控系統各型號產品的設計、驗證，完成相關技術文檔的編寫及歸檔，並參與相關技術文檔的審覈工作。

l 參與規劃PLC智能燈控系統和其它燈控系統的技術產品路線;制定並實施燈控系統與智能家居系統融合的技術方案。

l 參與其它有線和無線智能照明系統相關的技術預研和產品開發。

跟蹤行業技術趨勢，制定並執行有針對性的競品分析方案，並對市場部和採購提供技術支持。

大數據開發工程師的基本職責 篇13

職責：

1、負責產品開發中涉及到的數據庫創建、維護及提供數據接口。

2、負責產品的數據庫表設計與管理，完成數據庫的備份、恢復與故障處理。

3、對現有數據進行分析並編寫處理腳本。

4、數據庫性能優化，通過分析現有邏輯及需求調整數據庫參數、應用程序SQL語句等，保持數據庫在狀態下運行。

任職要求：

1、本科以上學歷，計算機相關專業畢業;

2、至少兩年以上MYSQL數據庫管理開發工作背景， 熟悉數據庫的結構設計，存儲過程開發

3、精通數據庫設計、優化、疑難問題解決。熟悉MYSQL服務器性能優化、備份、恢復等操作

4、具備良好的溝通表達能力和服務意識，較強的團隊合作意識，快速處理突發事件的能力。

5、良好的抗壓能力，勇於接受有挑戰的工作，良好的學習接受能力。