大數據開發工程師的主要職責（精選22篇）
大數據開發工程師的主要職責 篇1
職責:
1. 負責機票酒店大數據項目的評估、設計及關鍵模塊研發;
2. 參與公司大數據平臺及聯機分析系統的建設;
3. 機器學習算法討論、評估及算法的最終編碼實現;
4. 數據平臺開發規範制定，數據建模及核心框架研發;
任職要求:
1. 本科及以上學歷，計算機或數學相關專業，三年以上相關工作經驗;
2. 掌握Java、Python、Scala等 中的一到兩種語言;
3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL數據庫開發和調優;
4. 熟悉數據相關開源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin 等;
5. 對數據結構和機器學習算法有一定的瞭解;
6. 具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先;
7. 有機票酒店等旅遊行業數據開發經驗者優先。
大數據開發工程師的主要職責 篇2
職責：
1、 負責基於Hadoop/Spark平臺架構的開發、設計和佈局 ;
2、 完成系統框架的設計和核心代碼的編寫;
3、 針對海量的用戶行爲數據進行統計、分析與挖掘，不斷提高系統運行效率;
4、 負責對數據進行分析，爲項目組提供大數據技術指導及分析手段支撐;
5、 負責大數據平臺的性能監控和持續優化;針對需求提供大數據分析技術解決方案 ;
6、 大數據平臺的運維工作，持續完善大數據平臺，保證穩定性、安全性;
7、 熟練使用大數據ETL數據抽取工具;
8、領導安排的其他工作。
任職資格：
1、 3年互聯網行業開發經驗，計算機或相關專業本科以上學歷;
2、 精通Hadoop大數據平臺架構，具有紮實的Java/Python等開發語言;並可以開發高效可靠的代碼;
3、 具有較強的數據分析、數據挖掘的能力;
4、 熟悉spark、Hive、storm等計算框架者優先，對分佈式存儲和計算原理有較深的理解;
5、 嚴密的數學思維、突出的分析和歸納能力、優秀的溝通表達能;
6、 個性開朗，對技術鑽研好學、邏輯思維能力強，溝通能力優秀，有團隊合作精神。
大數據開發工程師的主要職責 篇3
職責：
1、負責公司大數據平臺建設;
2、根據業務需求，制定數據倉庫和數據分析平臺的實施和持續更新;
3、攻克技術難關，保證大數據系統的穩定運行;
4、完成大數據產品的開發。
職位要求：
1、計算機相關專業全日制專科及以上學歷，大數據相關經驗;
2、熟悉Java或Scala語言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大數據相關技術;
3、精通SQL語句並對Redis，Mongodb等NoSQL數據庫有一定經驗;
4、對於高併發、高穩定可用性、性能、大數據處理有過實際項目產品經驗者優先;
5、責任心強，工作踏實，有團隊協作精神，溝通能力強者優先。
大數據開發工程師的主要職責 篇4
職責：
1、負責公司項目應用監測數據，分析軟件大數據平臺的代碼開發;
2、負責大數據體系架構設計和應用產品的研究;
3、負責大數據平臺及應用場景的構建、部署、測試;
4、編寫軟件研發相關技術文檔;
5、編寫產品研發相關任務單計劃，階段性代碼、技術方案和軟件產品及時提交至配置管理理庫;
6、Spark程序的研發，sqoop腳本開發和商家用戶行爲等離線分析數據;
7、kudu，kylin等技術調研，編寫軟件研發相關技術文檔;
8、SUNMI數倉設計架構以及ETL流程開發;
9、建立多維度，多體系的用戶標籤體系以及用戶行爲數據庫。
崗位要求 ：
1、本科以上學歷，4年以上?工作經驗，2年以上Hadoop平臺的相關研發經驗，具有良好的需求分析，方案設計，架構設計，程序編寫、測試能力;
2、熟悉J2EE或Python平臺開發，有良好的Java或Python語言功底;
3、瞭解Linux/Unix操作系統，瞭解腳本編程(Shell/Python其中一種);
4、具備數據中心資源管理(YARN)、監控(ClouderaManage)、調度(Azkaban)等系統研發經驗者優先，具備分佈式系統研發經驗者優先;
5、熟悉hadoop以及其?生態圈系統上的hive、hbase、sqoop、spark、spark-streaming等技
術，懂hadoop源碼者優先;
6、熟悉Kylin有OLAP平臺設計和開發經驗優先;
7、具有應用大數據技術處理TB級以上數據的項目開發經驗者優先;
8、有較清晰的代碼編寫規範，邏輯性強，工作態度認真，良好溝通能力和團隊合作精神。
大數據開發工程師的主要職責 篇5
職責：
1.負責公司環保大數據平臺的架構與搭建;
2.負責需求分析，根據客戶應用需求規劃大數據平臺架構;
3.負責將大數據平臺部署至私有服務器羣、私有云或公有云;
4.負責在企業內部進行數據平臺原型開發與數據實時交互、存儲性能測試;
5.負責與數據挖掘算法交互的架構設計與開發。
任職要求：
1.計算機相關專業，全日制本科以上學歷;
2.具有3年以上大數據相關應用開發經驗，有Java開發經驗更佳;
3.至少熟悉一種流行的大數據編程框架，如Spark，Storm，Flink等;
4.熟悉大數據生態圈常用技術如RocketMQ，Kafka，Flume，Zookeeper等;
5.熟悉Hadoop安裝、調試、發佈配置應用，熟悉Linux操作系統更佳;
6.至少熟悉TIDB，MySQL，SQLServer其中一種數據庫;
7.學習能力強，對技術有熱情，關注技術發展方向;
8.具有工業物聯網、智慧型環保項目背景者優先。
大數據開發工程師的主要職責 篇6
職責：
1、負責公司核心系統日常運維以及公共組件的設計、開發和維護;
2、負責開發、完善運維內部系統及輔助系統，提升運維質量及效率;
3、與開發團隊合作，收集與理解需求，提供解決方案，改善DevOps流程;
4、負責公司業務系統的部署架構優化、業務監控、持續交付、應急響應、容量規劃等。
【工作要求】
1、計算機相關專業，本科及以上學歷;
2、熟悉Kubernetes, Docker, RabbitMQ, Zookeeper, Mysql, PostgreSql, Git, Elasticsearch等開源組件的架構及實現;
3、熟練掌握PHP、Python、Go、Shell語言中任意一種;
4、熟悉典型互聯網架構、微服務維護實踐，和常見的分佈式系統架構;
5、熟悉 Linux 操作系統原理、TCP/IP、網絡編程以及常用RPC協議;
大數據開發工程師的主要職責 篇7
職責：
1、具有項目質量管理意識，在項目中主動貫徹執行質量管理規定，熟練使用Git/Junit/Arquillian/Maven(或者其他)進行測試 代碼的編寫和版本控制，把控項目整體進度，管理JAVA小組日常工作協調。
2、參與系統詳細設計與實現、完整主體功能及相關文檔的編寫;
3、負責核心業務的restful、web service等接口的開發，解決開發過程中遇到的技術問題，完成相應的業務功能文檔、接口使用文檔並及時更新;
4、維護和部署程序到運行環境;
5、參與項目的數據庫設計實現，對數據庫整體架構提出建議;
6、負責對應用程序進行審查，監控和優化系統的性能。
7、完成公司上級領導安排的其它工作內容。
職位要求：
1、3年以上JAVA互聯網項目管理工作經驗，抗壓能力強。
2、瞭解分佈式系統的設計和架構，瞭解負載均衡策略實現;
2、精通Java語言開發，JAVA基礎紮實，精通io、多線程、集合等基礎框架，熟悉分佈式、緩存、消息、搜索等機制，熟練各種常用開源框架及搭建;(有分佈式事務處理相關工作經驗者優先)
3、精通sql語句熟悉mysql以及 mysql 集羣;熟悉Linux下的常用命令;
4、有maven、cas、dubbo、restful相關工作經驗者優先考慮;
大數據開發工程師的主要職責 篇8
職責：
1、利用HTML5相關技術實現移動WEB端功能研發，實現邏輯功能和體驗優化;
2、根據需求，參與底層通信、數據加載、基礎流程框架、UI組件的開發;
3、依據服務端制定的通信、數據和文件結構等技術開發對應模塊;
4、完成程序性能的優化。
任職要求：
1、計算機、軟件等相關專業，2年或以上HTML5開發經驗，有百度、谷歌等引擎開發使用經驗;
2、熟悉Javascript、HTML/HTML5/XML、CSS3、Ajax、JQuery、VUE 等;
3、有良好的邏輯思維，積極主動，有強烈的責任心;
4、有互聯網金融開發經驗優先;
5、具備較好的溝通表達能力和團隊合作意識。
大數據開發工程師的主要職責 篇9
1、負責數據倉庫和大數據處理模塊的架構設計和開發;
2、負責實現基於Spark框架的分佈式計算框架的設計和開發工作;
3、負責Spark技術研究和通用數據平臺的性能調優;
4、負責大數據項目中，基於kafka、flume、spark streaming、Spark SQL等相關技術的海量數據的處理、分析、統計、挖掘工作。
5、熟悉Scala/Java語言，對Scala/Java原理、底層技術有深入研究者優先;
6、有過海量數據系統開發經驗者優先;
7、熟悉Hadoop/Spark生態系統組件的使用，至少有2年以上的Spark開發經驗;
8、寫過推薦系統的優先考慮
大數據開發工程師的主要職責 篇10
職責：
1、項目中數據庫系統的架構設計、開發、優化、安全;
2、根據項目需求設計數據庫表與數據庫結構。
3、數據庫性能優化：表、字段、字節規範設計，分庫分表，數據遷移;
4、數據庫規範化文檔編寫及管理;
5、服務端的搭建，數據庫存儲和讀取數據接口的編寫。
任職要求：
1、本科以上學歷，計算機或數學相關專業，有紮實的數據庫基礎知識;
2、兩年以上數據庫開發經驗、熟練使用MySQL、SQLServer、Oracle等關係型數據庫;
3、 熟悉LINUX、UNIX操作系統，熟悉java、C#或其他開發語言;
4、精通數據庫基本理論及概念;
5、有大數據開發經驗優先考慮;
6、能承受工作壓力、有良好的團隊合作精神。
大數據開發工程師的主要職責 篇11
職責：
1、協助產品線負責人搭建數據庫，及數據分析、數據庫管理;
2、協助負責後臺系統需求分析和任務模塊開發;
3、協助客戶端接口開發測試;
4、接口文檔，技術文檔以及測試用例文檔的編寫。
任職資格：
1、23-28週歲，本科及以上學歷，計算機相關專業;
2、3年或以上同崗位相關工作經驗，有數據中心，數據倉庫建設經驗;
3、3年或以上J2EE開發經驗,有紮實的java基礎;
4、熟悉關係型數據庫(DB2、ORACLE、MYSQL、SQl Server)，瞭解NoSQL、緩存技術;
5、熟練掌握Spring、SpringMVC、iBatis等開源框架，熟練運用設計模式;
6、對技術有熱情，執行力責任心強且在醫療行業同崗位的優先。
大數據開發工程師的主要職責 篇12
職責：
1、負責PC網站、移動端網站後臺開發;
2、參與相關頁面的Web前後臺架構設計、核心代碼的編寫;
3、協助測試和發佈系統，準備相關的技術文檔，協助解決各種技術問題;
4、進行詳細設計、代碼開發,配合測試,高質量完成項目;
5、按照項目計劃，按時提交高質量代碼，完成開發任務。
任職資格：
1.大專以上學歷。參與公司PHP相關產品或項目需求的分析、架構設計與實現。
2.有3年以上PHP實際開發經驗，紮實的php開發功底。
3.精通PHP，至少熟悉Yii，YAF、CI、Thinkphp，Laravel其中一個主流開發框架，深入理解MVC與OOP。
4.精通MySQL數據庫，熟練掌握MySQL性能優化、語句優化 、主從複製、讀寫分離、防SQL注入等技術，具備PHP緩存技術、靜態化設計方面的經驗。
5.熟練使用Nosql、例如Redis、MongoDB、等非關係型數據庫。
6.熟悉Linux環境下的項目開發和部署，熟悉Shell腳本編程。
7.熟練掌握Jquery、HTML、XML、Javascript、AJAX等技術。
8.熟練使用SVN、Git等常見版本控制工具。
9.有項目規劃能力者、有辦公系統(OA)、信息管理系統、CRM系統等大型軟件應用系統方面開發經驗者優先。
10.有已經上線的項目;熟悉微信開發者優先，有服務化架構開發經驗者優先，在github有開源項目維護者優先。
大數據開發工程師的主要職責 篇13
職責：
1、負責數據中心和大數據處理平臺的搭建
2、在線和離線海量數據分析平臺的開發;
3、研究大數據前沿技術，提升系統的運維效率;
4、參與大數據的採集、存儲、處理，分析等開發
5、參與數據挖掘算法的設計、對海量數據進行挖掘分析和發掘數據價值及算法學習及實現
【任職要求】：
1、計算機或相關專業本科學歷及以上，2年工作經驗以上
2、熟悉Java/Scala等至少一門語言，能對分佈式常用技術進行合理應用，解決實際架構問題
3、熟練使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大數據開發組件
4、熟悉整個大數據的完整處理流程，包括數據的採集、清洗、存儲、分析和可視化及報表開發;
5、熟悉分佈式系統概念、架構，有大規模分佈式系統設計、實現、部署等經驗;
6. 具有優秀的學習能力、獨立分析和解決問題能力，良好的團隊合作精神。
7. 有BI開發經驗的優化考慮。
大數據開發工程師的主要職責 篇14
職責：
1、負責開放平臺應用系統/模塊的程序編碼及單元測試;
2、配合系統整合測試、用戶驗收測試等測試過程;
3、協助進行需求分析文檔的整理、協助進行產品歸檔管理等。
任職要求：
1、大學本科及以上學歷(統招、學信網可查)，計算機或相關專業，4年及以上java開發經驗，有銀行項目經驗優先;
2、精通Java語法，熟悉J2EE架構，並能熟悉使用開發框架 (如struts、spring、springMVC、hibernate/ibatis/mybatis);
3、瞭解html、xml、css，瞭解Javascript, Ajax，webservice技術;
4、熟悉運用各種IDE開發工具(eclipse / Jbuilder，dream weaver);
5、瞭解應用服務器的發佈與配置(Websphere，Tomcat)
6、對數據庫基礎知識及相關數據庫產品有一定的瞭解(db2，oracle)，能熟練使用SQL語法;
7、熟悉UNIX/LIUNX常用命令;
8、具有良好的溝通能力與團隊合作精神。
大數據開發工程師的主要職責 篇15
職責：
1、 負責參與系統框架的設計和不斷優化，參與系統設計;
2、 根據用戶的需求,分析並給出最優的技術解決方案;
3、 根據開發規範與流程獨立完成模塊的設計、編碼以及相關文檔;
4、具有獨立分析和解決問題的能力。
任職要求：
1、全日制本科學歷，計算機相關專業。
2、有1年及以上J2EE開發經驗，充分掌握面向對象編程思想並有較好的設計模式基礎，熟悉常用算法和數據結構;
2、熟悉Spring、Hiberate、jQuery等開發框架、瞭解其原理和實現機制;
3、熟悉MYSQL等關係型數據庫，掌握PL/SQL、存儲過程、觸發器、視圖的編寫;
4、熟悉Apache，Tomcat等主流Web應用服務器;
5、精通HTML+CSS+JS編程，熟悉HTTP 協議以及瀏覽器原理;
6、熟悉主流前端框架，包括但不限於Bootstrap、Vue、Anglajs等;
7、有WebGIS開發經驗者優先;
8、具有大型網站開發經驗者優先。
大數據開發工程師的主要職責 篇16
1，協助開發RFID 應用系統;包含RFID標籤和RFID設備的配合設計;
2，根據國外客戶的要求，開發新的應用軟件;整理和協調客戶的需求，提出RFID針對不同客戶需要的方案
3，對行業機構提出的應用技術需求做調研和開發，做產品技術儲備
大數據開發工程師的主要職責 篇17
職責：
1、負責公司產品前端頁面的開發;
2、負責相關HTML5遊戲的開發工作;
3、維護現有HTML5程序，處理用戶反饋的問題;
4、根據美工設計圖開發前端代碼，解決瀏覽器及終端平臺的各種兼容性問題;
職位要求：
1、計算機相關專業，大專以上學歷，有1年以上的相關工作經驗;
2、熟練掌握html5、css3、JavaScript、Ajax、jQuery等Web開發技術;
3、熟練掌握常用JS框架的使用，如Bootstrap、Vue、CreateJS、白鷺Egret、LayUI等;
4、熟悉頁面性能的優化，熟悉開發調試、版本控制等基本研發技能;
5、擁有良好的編碼習慣，邏輯清晰、結構清晰、命名規範、代碼冗餘率低;
6、工作認真負責，具有較強的發現問題並解決問題的能力;
7、有Construct2開發經驗者優先考慮;
8、具有良好的溝通能力及團隊合作精神，責任心強。
大數據開發工程師的主要職責 篇18
職責：
1、較強的邏輯思維及自學能力，做事有條理，具備較強的項目分析和解決問題的能力。
2、熟練使用PHP語言和開發技巧，精通面向對象編程，具有良好的編程風格、習慣，熟悉各種主流的MVC開發框架的使用及其原理，並有在MVC模式下進行中大型web開發的經驗.
3、熟練掌握mysql等數據庫應用、熟悉基本的sql語句，能優化表、優化sql語句，能爲慢查詢建立相關索引。
5、有後端API開發經驗、熟悉API加密方式，有linux 操作經驗者且熟悉LNMP優先。
6、熟練redis，memcached等緩存機制。
7、大專以上學歷，計算機相關專業畢業，3年以上工作經驗。
職位描述：
1、負責APP後端PHP_API接口開發工作。
2、負責MySQL數據庫維護，優化工作。
3、根據需求不斷修改完善項目功能
大數據開發工程師的主要職責 篇19
職責
1、負責公司自有項目的服務器後端程序的技術研發工作，包括技術架構設計、重構、優化，根據產品規劃及技術規劃制定應用架構方案;
2、負責公司項目核心功能、數據總線解決方案及第三方接口的開發，主導技術難題攻關，持續提升核心系統在高併發、海量請求數下的高處理性能，編寫程序，單元測試，bug修復工作等;;
3、負責設計、編碼和調試研發平臺後端技術框架，優化及提高後端代碼的性能，審覈和評估相關方案與設計，以確保其符合架構規劃，滿足業務需求;
4、分析系統瓶頸，解決各種疑難雜症，對系統進行性能調優，指導程序員編寫程序，落實技術規範，與產品經理、測試工程師、其他成員溝通合作，保證產品研發工作的質量和進度;
崗位要求
1、軟件工程或計算機相關專業大專以上學歷，3年以上商業項目的實際開發經驗，有電商或短視頻項目的實際開發經驗;
2、精通ThinkPHP、Laravel、Yii等流行框架，熟練掌握LAMP，熟悉TP/SMARTY;
3、精通MySQL、NOSQL、MongoDB等數據庫，能夠編寫和優化複雜的SQL程序;
4、擅長消息隊列、任務調度、負載均衡、併發控制，極具面向對象思維，懂得低耦合高複用封裝，擁有一絲不苟的代碼編寫規範習慣;
5、熟悉Unix/Linux操作系統，熟練掌握shell、Python、Perl其中一種腳本語言;
大數據開發工程師的主要職責 篇20
職責：
1、負責公司業務平臺功能模塊的代碼開發工作;
2、熟悉PHP開發，掌握主流框架，並擁有良好的面向對象編碼思想和註釋風格，;
3、參與需求分析、系統分析與架構設計方案，負責處理開發過程中的技術問題;
4、思維前瞻性，積極配合完成運維部門工作需求，完成上級要求各項任務;
任職要求：
1、能獨立完成一個項目的開發;
2、精通PHP編程，熟練運用MVC框架，thinkphp框架、larver框架;
3、熟練Mysql數據庫,具有MySQl索引優化、查詢優化和存儲優化經驗。
5、熟悉 div+css+js(jquery)等前端技術;
6、熟悉UNIX/LINUX操作系統的基本配置和命令，瞭解操作系統的體系結構,熟悉TCP/IP網絡協議;
7、具備良好學習心態及團隊精神，抗壓能力強，並富有工作激情、創造力和責任感;
大數據開發工程師的主要職責 篇21
職責：
1、根據產品需求完成高質量高性能後端開發;
2、參與各產品的需求分析、規劃、系統設計;
3、負責各應用模塊的編碼工作和文檔編寫工作;
4、負責公司相關產品開發和維護工作。
職位要求
1、本科以上學歷;
2、3年以上PHP網站開發經驗;
3、精通Phalcon或其他PHP框架;
4、熟悉MYSQL數據庫，並對SQL優化有一定的經驗，能結合業務對複雜慢SQL進行優化;
5、熟練使用NoSQL、熟悉互聯網系統的性能優化、cache技術;
6、有良好的代碼習慣，要求結構清晰，命名規範，邏輯性強;
7、關注新技術，較強的學習能力，具備良好的溝通、團隊合作能力
大數據開發工程師的主要職責 篇22
職責：
1、負責運維繫統、平臺的構建與開發工作
2、負責運維自動化、規範化解決方案的開發工作
3、深入理解系統，爲其持續優化提供建設性意見
4、完成領導交代的其他臨時性工作。
崗位要求
1、具有5年以上開發經驗
2、本科及以上學歷，計算機相關專業優先
3、主動、正直、有責任心和團隊協作意識
4、精通Java語言、網絡及多線程編程，掌握Spring、SpringCloud等常用框架技術
5、熟悉常見的開源技術，如HBase、Redis、KafKa、Dubbo、ZooKeeper等，並具備一定的經驗
6、良好的服務器端編程能力和編程習慣，對設計模式深入理解
7、瞭解互聯網產品運維、監控，具有大型運維繫統、監控系統、工作流系統開發工作經驗者優先