大數(shù)據(jù)運維工程師的工作職責(zé)
大數(shù)據(jù)運維工程師的工作職責(zé)
大數(shù)據(jù)需要負責(zé)公司產(chǎn)品的技術(shù)支持、安裝調(diào)試、客戶使用培訓(xùn)及相關(guān)硬件的安裝調(diào)試。下面是學(xué)習(xí)啦小編為您精心整理的大數(shù)據(jù)運維工程師的工作職責(zé)。
大數(shù)據(jù)運維工程師的工作職責(zé)1
職責(zé)：
1、負責(zé)和參與公司大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺規(guī)劃，運維，監(jiān)控和優(yōu)化工作，保障數(shù)據(jù)平臺服務(wù)的穩(wěn)定性和可用性;
2、研究大數(shù)據(jù)前沿技術(shù)，改進現(xiàn)有系統(tǒng)的服務(wù)和運維架構(gòu)，提升系統(tǒng)可靠性和可運維性;
3、負責(zé)和參與自動化運維系統(tǒng)及平臺的建設(shè);
4、負責(zé)優(yōu)化部門運維流程提升運維效率。
任職要求：
1、統(tǒng)招本科及以上學(xué)歷，計算機相關(guān)專業(yè)，2年以上互聯(lián)網(wǎng)運維工作經(jīng)驗;
2、熟悉Linux操作系統(tǒng)及常見開源軟件(Nginx,Tomcat,Zabbix等)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;
3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;
4、精通Python,shell,了解JAVA;有良好的系統(tǒng)性能優(yōu)化及故障排除能力;
5、具有很強的責(zé)任心、執(zhí)行力、服務(wù)意識、學(xué)習(xí)能力和抗壓能力;
6、具備較好的溝通能力、主動性和團隊合作精神。
大數(shù)據(jù)運維工程師的工作職責(zé)2
職責(zé)：
1、負責(zé)Hadoop、HBase、Hive、Spark等大數(shù)據(jù)平臺 規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等，確保高可用;
2、負責(zé)公司大數(shù)據(jù)平臺的運維管理工作，集群容量規(guī)劃、擴容及性能優(yōu)化;
3、處理公司大數(shù)據(jù)平臺各類異常和故障，確保系統(tǒng)平臺的穩(wěn)定運行;
4、設(shè)計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;
5、深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運維技及發(fā)展方向;
6、為數(shù)據(jù)倉庫、數(shù)據(jù)挖掘建模等數(shù)據(jù)應(yīng)用項目提供運行環(huán)境支持。
崗位要求：
1、掌握Linux操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨立排查及解決操作系統(tǒng)層的各類問題;
2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發(fā)經(jīng)驗優(yōu)先;
3、熟悉 Hadoop生態(tài)及高性能緩存相關(guān)的各種工具并有實戰(zhàn)經(jīng)驗，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;
4、具有集群運維經(jīng)驗，以及大負載下的容量評估、問題定位、架構(gòu)優(yōu)化等能力優(yōu)先;有分布式系統(tǒng)(計算/存儲)開發(fā)經(jīng)驗優(yōu)先;
5、熟悉zabbix/ganglia/Prometheus/grafana系統(tǒng)的組合構(gòu)件及使用;
6、精通ELK系統(tǒng)，有過大規(guī)模ELK配置管理、調(diào)優(yōu)經(jīng)驗，有過ElasticSearch搜索和分析引擎開發(fā)經(jīng)驗者優(yōu)先;
大數(shù)據(jù)運維工程師的工作職責(zé)3
職責(zé)：
1、負責(zé)大數(shù)據(jù)平臺架構(gòu)的規(guī)劃、設(shè)計、搭建;
2、負責(zé)大數(shù)據(jù)平臺的運維保障工作;
3、負責(zé)運維相關(guān)數(shù)據(jù)分析，以及報表產(chǎn)出;
4、為線上服務(wù)高效穩(wěn)定運行負責(zé)，支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴張;
5、深入理解大數(shù)據(jù)平臺架構(gòu)，發(fā)現(xiàn)并解決重大故障及性能瓶頸;
6、研究跟進大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)并分享。
工作要求：
1、熟悉大數(shù)據(jù)產(chǎn)品生態(tài)圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;
2、精通Linux/Unix系統(tǒng);
3、有數(shù)據(jù)分析經(jīng)驗優(yōu)先，精通一門以上腳本語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發(fā)語言一種及以上;
4、有2年以上大數(shù)據(jù)平臺相關(guān)運維開發(fā)經(jīng)驗，了解分布式平臺運行的原理，并有實際部署維護經(jīng)驗;
5、學(xué)習(xí)能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰(zhàn);
6、良好的服務(wù)意識，善于團隊協(xié)作，項目管理，主動思考，自我驅(qū)動力強。
大數(shù)據(jù)運維工程師的工作職責(zé)4
1.負責(zé)公司大數(shù)據(jù)業(yè)務(wù)集群的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環(huán)境的穩(wěn)定可用;
2.負責(zé)集群容量規(guī)劃、擴容及性能優(yōu)化;
3.負責(zé)大數(shù)據(jù)集群性能監(jiān)控與優(yōu)化，故障處理，數(shù)據(jù)備份及容災(zāi)恢復(fù)，集群出現(xiàn)異常時，能快速定位問題，并及時給出解決方案;
4.設(shè)計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;
5.參與/主導(dǎo)業(yè)務(wù)架構(gòu)設(shè)計，在設(shè)計階段給出可運維性改進建議;
6.深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運維技術(shù)及發(fā)展方向;
7.參與例如服務(wù)器維護、項目維護、監(jiān)控維護等常見運維事務(wù)
大數(shù)據(jù)運維工程師的工作職責(zé)5
職責(zé)：
1. 完成大數(shù)據(jù)平臺日常運維工作(上線/日常監(jiān)控/問題定位/腳本開發(fā))，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源組件;
2. 完成大數(shù)據(jù)自研平臺工具運營，比如報表平臺、調(diào)度平臺和性能監(jiān)控平臺;
3. 提升系統(tǒng)可靠性，完善監(jiān)控策略，優(yōu)化運維流程，提升部門運維效率，保證7*24服務(wù);
4. 參與開源社區(qū)建設(shè)，提升公司開源影響力;
任職條件：
1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源組件的搭建、維護以及問題定位;
2. 熟悉Linux操作系統(tǒng)，熟練掌握Linux常用命令,了解ansible/puppet;
3. 熟練掌握shell/python/java;
4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握數(shù)據(jù)庫的維護工作;
5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;
6. 有大數(shù)據(jù)平臺維護經(jīng)驗優(yōu)先;
7. 掌握dockerfile，了解大數(shù)據(jù)與k8s結(jié)合者優(yōu)先;
8. 參與開源社區(qū)，有代碼貢獻或者高質(zhì)量博客文章者優(yōu)先;
相關(guān)文章：