大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述
大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)大數(shù)據(jù)體系架構(gòu)設(shè)計和應(yīng)用產(chǎn)品的研究。以下是學(xué)習(xí)啦小編整理的大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述。
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述1
職責(zé)：
1、負(fù)責(zé)異構(gòu)數(shù)據(jù)系統(tǒng)和大數(shù)據(jù)平臺的集成與融合;
2、負(fù)責(zé)數(shù)據(jù)挖掘算法的設(shè)計及對海量數(shù)據(jù)進(jìn)行挖掘分析;
3、負(fù)責(zé)分布式數(shù)據(jù)倉庫平臺、海量數(shù)據(jù)批處理平臺、實時數(shù)據(jù)處理平臺等系統(tǒng)開發(fā);
4、參與海量數(shù)據(jù)處理，業(yè)務(wù)數(shù)據(jù)體系的設(shè)計、數(shù)據(jù)統(tǒng)計、分析及數(shù)據(jù)建模;
5、參與數(shù)據(jù)平臺各系統(tǒng)的性能分析與系統(tǒng)優(yōu)化，不斷提高系統(tǒng)運(yùn)行效率;
6、完成領(lǐng)導(dǎo)交辦的其他任務(wù)。
任職資格：
1、計算機(jī)及其相關(guān)專業(yè)，大專及以上學(xué)歷。兩年以上大數(shù)據(jù)應(yīng)用經(jīng)驗;
2、具備實時處理框架的設(shè)計和開發(fā)能力，熟練掌握Storm、Spark streaming等大數(shù)據(jù)實時處理框架中的一種;
3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr等相關(guān)技術(shù);
4、熟悉Scala、熟悉Linux開發(fā)環(huán)境，能進(jìn)行shell腳本的編寫;
5、具有較強(qiáng)的邏輯分析能力，高度的責(zé)任心及團(tuán)隊合作精神;
6、具有實際大數(shù)據(jù)項目的成功經(jīng)驗者優(yōu)先考慮。
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述2
職責(zé)
1、參與大規(guī)模數(shù)據(jù)快速查詢系統(tǒng)的架構(gòu)設(shè)計和開發(fā);
2、大規(guī)模數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的實現(xiàn);
3、在線和離線海量數(shù)據(jù)分析平臺的開發(fā);
4、研究大數(shù)據(jù)前沿技術(shù)，提升系統(tǒng)的運(yùn)維效率;
5、實現(xiàn)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺的自動化運(yùn)維。
任職資格
1、計算機(jī)相關(guān)專業(yè),具有3年以上大數(shù)據(jù)開發(fā)經(jīng)驗，熟悉Java,Linux;
2、熟悉Hadoop大數(shù)據(jù)處理系統(tǒng)的開發(fā),搭建及部署者優(yōu)先;
3、熟練地處理數(shù)據(jù)模型、數(shù)據(jù)ETL以及存儲管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨(dú)自進(jìn)行Mapreduce程序開發(fā)者優(yōu)先;
5、熟悉分布式系統(tǒng)概念、架構(gòu)，有大規(guī)模分布式系統(tǒng)設(shè)計、實現(xiàn)、部署等經(jīng)驗;
6、有較強(qiáng)的書面與口頭溝通表達(dá)能力，獨(dú)立分析、解決問題的能力。
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述3
職責(zé)：
1、參與南方電網(wǎng)軟件產(chǎn)品(項目)前/后臺服務(wù)開發(fā)，要求高性能、高可用、高并發(fā);
2、獨(dú)立完成產(chǎn)品模塊(項目)核心代碼開發(fā)、業(yè)務(wù)代碼開發(fā)、系統(tǒng)性能調(diào)優(yōu)等工作;
3、根據(jù)分配任務(wù)制定開發(fā)計劃并按時完成相應(yīng)模塊的設(shè)計、開發(fā)和單元測試;
4、參與產(chǎn)品(項目)相關(guān)系統(tǒng)需求分析以及撰寫相關(guān)系統(tǒng)設(shè)計文檔;
要求：
1. 五年左右大數(shù)據(jù)研發(fā)崗位工作經(jīng)驗
2、豐富大數(shù)據(jù)開發(fā)經(jīng)驗：熟悉企業(yè)大數(shù)據(jù)常用技術(shù)，熟悉Spark、Flume、Hbase、Hadoop、Kafka，ES技術(shù);
3、具有大型應(yīng)用系統(tǒng)開發(fā)經(jīng)驗，具有分布式、高并發(fā)、高性能等架構(gòu)經(jīng)驗，具有一定團(tuán)隊管理經(jīng)驗者優(yōu)先;
4、了解J2EE技術(shù)平臺及主流框架，具有SpingMVC、SpringBoot、Spring cloud、Mybatis、Redis等框架開發(fā)經(jīng)驗;
5、了解HTML5,CSS3,JavaScript,Ajax,jQuery等Web前端技術(shù)，熟悉jQuery、Bootstrap、AngularJS，VUE等主流前端JS框架中的一種;
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述4
職責(zé)：
1、負(fù)責(zé)大數(shù)據(jù)ETL開發(fā)與維護(hù);
2、負(fù)責(zé)大數(shù)據(jù)平臺數(shù)據(jù)庫的設(shè)計以及開發(fā);
3、負(fù)責(zé)大數(shù)據(jù)計算框架的選型與計算流程的設(shè)計與開發(fā);
4、負(fù)責(zé)數(shù)據(jù)服務(wù)的設(shè)計與開發(fā)。
任職資格：
1、本科及以上學(xué)歷;
2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分布式開源軟件，具備系統(tǒng)優(yōu)化與性能調(diào)優(yōu)能力者優(yōu)先;
3、精通JAVA等面向?qū)ο缶幊?，有分布式并行計算的開發(fā)經(jīng)驗優(yōu)先;
4、熟練掌握至少一種MySQL、SQL Server、Oracle等關(guān)系型數(shù)據(jù)庫或MongoDB、Redis等NoSQL數(shù)據(jù)庫 ,有hive等數(shù)據(jù)倉庫研發(fā)經(jīng)驗優(yōu)先;
5、熟悉大數(shù)據(jù)、云計算概念，了解Hadoop、Hive、Hbase等大數(shù)據(jù)主流技術(shù)及開源框架者優(yōu)先;
6、自學(xué)能力強(qiáng)，溝通能力較好，有一定獨(dú)立分析，技術(shù)研究能力，具有良好的團(tuán)隊合作精神;
7、數(shù)據(jù)意識強(qiáng)，有較好的文檔編寫能力，以及踏實的工作作風(fēng)。
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述5
職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)分析平臺的建設(shè)，基于歷史和業(yè)務(wù)實時數(shù)據(jù)構(gòu)建數(shù)據(jù)挖掘模型;
2、根據(jù)需求設(shè)計和實現(xiàn)數(shù)據(jù)分析展示平臺;
3、負(fù)責(zé)建立、維護(hù)和改進(jìn)大數(shù)據(jù)分析流程、規(guī)范、方法;
4、負(fù)責(zé)基于大數(shù)據(jù)的數(shù)據(jù)分析算法研究，基于數(shù)據(jù)分析結(jié)果優(yōu)化現(xiàn)有應(yīng)用并探索新的應(yīng)用。
任職要求：
1、本科及以上學(xué)歷，統(tǒng)計、數(shù)學(xué)、計算機(jī)或相關(guān)專業(yè)/方向，3年以上數(shù)據(jù)分析、數(shù)據(jù)挖掘相關(guān)工作經(jīng)驗;
2、精通MATLAB、Python等大數(shù)據(jù)涉及的語言和工具，并能熟練運(yùn)用相關(guān)數(shù)據(jù)分析工具實現(xiàn)數(shù)據(jù)分析方法;
3、對機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘算法及其應(yīng)用有比較全面的認(rèn)識和理解，熟悉主流數(shù)據(jù)挖掘框架;
4、熟悉分布式數(shù)據(jù)庫、數(shù)據(jù)倉庫和數(shù)據(jù)集市，熟悉數(shù)據(jù)庫相關(guān)操作和編程;
5、具有優(yōu)秀的發(fā)現(xiàn)、分析并解決問題的能力，積極性高，具有嚴(yán)謹(jǐn)縝密的工作習(xí)慣、較強(qiáng)的溝通能力及團(tuán)隊合作精神;
6、有旅游行業(yè)數(shù)據(jù)分析與挖掘從業(yè)經(jīng)驗者優(yōu)先。有主導(dǎo)完成優(yōu)秀應(yīng)用、大型數(shù)據(jù)平臺項目、有數(shù)據(jù)挖掘，算法設(shè)計等開發(fā)經(jīng)驗者優(yōu)先。
相關(guān)文章：
1.大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)
2.大數(shù)據(jù)架構(gòu)師崗位的主要職責(zé)概述