數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)
數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)
數(shù)據(jù)倉(cāng)庫(kù)工程師需要與團(tuán)隊(duì)形成良好溝通，有效傳達(dá)設(shè)計(jì)意圖，并持續(xù)跟進(jìn)設(shè)計(jì)的調(diào)整和優(yōu)化。以下是學(xué)習(xí)啦小編整理的數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)。
數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)1
職責(zé)
1.負(fù)責(zé)數(shù)據(jù)ETL開(kāi)發(fā)，優(yōu)化ETL流程設(shè)計(jì);
2.負(fù)責(zé)數(shù)據(jù)質(zhì)量問(wèn)題的分析、跟進(jìn)、解決，進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)測(cè)、校驗(yàn)和提升;
3.負(fù)責(zé)ETL開(kāi)發(fā)實(shí)施文檔的編寫(xiě);
4.負(fù)責(zé)梳理公司數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市數(shù)據(jù)清單、數(shù)據(jù)映射關(guān)系，優(yōu)化現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)模型;
5.完善和梳理數(shù)據(jù)指標(biāo)體系，完成和維護(hù)數(shù)據(jù)字典的工作;
6.參與數(shù)據(jù)標(biāo)準(zhǔn)的制定、數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)安全管理工作;
7.參與公司大數(shù)據(jù)平臺(tái)的建設(shè)，包括Sugar報(bào)表或神策接口配置，用戶畫(huà)像標(biāo)簽體系的開(kāi)發(fā)等
任職要求：
1.有shell或Python腳本開(kāi)發(fā)經(jīng)驗(yàn);
2.有傳統(tǒng)數(shù)據(jù)庫(kù)SQL Server和MySQL，有存儲(chǔ)過(guò)程編寫(xiě)能力;
3.熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)，包括但不限于Sqoop、Hive、HBase、Kylin等開(kāi)發(fā)經(jīng)驗(yàn);
4.有kettle、azkaban或oozie工作流調(diào)度經(jīng)驗(yàn);
5.熟悉Hive SQL或Flink SQL的開(kāi)發(fā);
6.有數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)，有使用kafka+Flink Streaming實(shí)時(shí)數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先;
7.有Sugar、神策或Tableau使用經(jīng)驗(yàn),有用戶畫(huà)像或客戶召回標(biāo)簽工作經(jīng)驗(yàn)優(yōu)先;
8.對(duì)數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)有所了解，包括常用的機(jī)器學(xué)習(xí)算法和數(shù)據(jù)建模過(guò)程的優(yōu)先
數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)2
職責(zé)：
1、負(fù)責(zé)數(shù)據(jù)源導(dǎo)入、清洗、集成等工作，優(yōu)化ETL流程并解決ETL相關(guān)技術(shù)問(wèn)題;
2、負(fù)責(zé)參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計(jì)和開(kāi)發(fā)，數(shù)據(jù)倉(cāng)庫(kù)和業(yè)務(wù)數(shù)據(jù)集市的建設(shè);
3、負(fù)責(zé)數(shù)據(jù)集市需求調(diào)研和需求分析;
4、基于阿里云Maxcompute，進(jìn)行數(shù)據(jù)開(kāi)發(fā)工作。
崗位要求：
1、3年或以上數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)和模型設(shè)計(jì)經(jīng)驗(yàn);
2、深入理解DW，BI相關(guān)的知識(shí)，包括：ETL、數(shù)據(jù)倉(cāng)庫(kù)、OLAP、多維數(shù)據(jù)模型等;
3、熟悉MapReduce、Hive原理;
4、精通SQL，能夠熟練使用HiveSQL進(jìn)行數(shù)據(jù)開(kāi)發(fā);
5、具有良好的團(tuán)隊(duì)協(xié)作精神和溝通能力，較強(qiáng)的邏輯思維，學(xué)習(xí)能力和解決問(wèn)題的能力，可承擔(dān)較大的工作壓力;
6、熟悉阿里云大數(shù)據(jù)開(kāi)發(fā)平臺(tái)優(yōu)先，如Maxcompute;
7、熟悉跨境電商及供應(yīng)鏈業(yè)務(wù)優(yōu)先。
數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)3
職責(zé):
1. 負(fù)責(zé)直播業(yè)務(wù)相關(guān)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型設(shè)計(jì);
3. 參與數(shù)據(jù)倉(cāng)庫(kù)ETL流程設(shè)計(jì)、開(kāi)發(fā)和優(yōu)化，解決ETL過(guò)程相關(guān)技術(shù)問(wèn)題;
3. 參與項(xiàng)目規(guī)劃，數(shù)據(jù)采集設(shè)計(jì)，數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)，模型開(kāi)發(fā)，報(bào)表開(kāi)發(fā)等;
4. 總結(jié)數(shù)據(jù)倉(cāng)庫(kù)建模的方法，負(fù)責(zé)數(shù)據(jù)產(chǎn)品平臺(tái)化和系統(tǒng)化;
任職資格:
1. 2年及以上的數(shù)據(jù)倉(cāng)庫(kù)/BI相關(guān)研發(fā)經(jīng)驗(yàn)，對(duì)數(shù)據(jù)和業(yè)務(wù)敏感，有較好的數(shù)據(jù)模型設(shè)計(jì)能力;
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)各類模型建模理論，了解數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層架構(gòu)，多維數(shù)據(jù)模型設(shè)計(jì);
3. 熟練使用Hadoop/Spark/Hive/HBase/Mysql，有列式數(shù)據(jù)庫(kù)/Kylin/ElasticSearch等經(jīng)驗(yàn)者優(yōu)先;
4. 有較強(qiáng)的編程能力和編程經(jīng)驗(yàn)，至少熟悉Java/Scala/Python/PHP等其中一門(mén)編程語(yǔ)言;
5. 參與過(guò)大型數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、ETL設(shè)計(jì)，具備海量數(shù)據(jù)處理、性能調(diào)優(yōu)經(jīng)驗(yàn);
6. 學(xué)習(xí)能力強(qiáng)，熱衷開(kāi)源技術(shù)，有團(tuán)隊(duì)觀念，具備獨(dú)立解決問(wèn)題的能力;
數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)4
職責(zé)：
1、 參與數(shù)據(jù)倉(cāng)庫(kù)及ETL基礎(chǔ)架構(gòu)規(guī)劃、安全規(guī)劃制定;
2、 負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)及ETL的開(kāi)發(fā)、測(cè)試和優(yōu)化，并及時(shí)解決相關(guān)技術(shù)問(wèn)題;
3、 負(fù)責(zé)相關(guān)數(shù)據(jù)準(zhǔn)確性驗(yàn)證及報(bào)表等日常維護(hù);
4、 報(bào)表性能優(yōu)化：對(duì)存在性能問(wèn)題的數(shù)據(jù)報(bào)表進(jìn)行優(yōu)化;
5、 數(shù)據(jù)運(yùn)維：及時(shí)處理線上問(wèn)題;
6、 完成上級(jí)交代的其他工作。
崗位要求：
1.計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，2年以上ETL開(kāi)發(fā)或數(shù)倉(cāng)相關(guān)工作經(jīng)驗(yàn);
2.熟練使用Oracle、MySQL、PostgreSQL等主流數(shù)據(jù)庫(kù)，具有較強(qiáng)的SQL編寫(xiě)、優(yōu)化能力，熟悉存儲(chǔ)過(guò)程編寫(xiě);
3.熟悉數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)處理流程，有一定的數(shù)據(jù)建模能力;
4.具有良好的溝通理解能力，能根據(jù)業(yè)務(wù)提出的需求，快速理解并落地實(shí)施;
5.有Kettle、Greenplum開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。
數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)5
職責(zé)：
1. 負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)與開(kāi)發(fā)
2. 根據(jù)業(yè)務(wù)調(diào)研，設(shè)計(jì)信息模型與數(shù)據(jù)模型，負(fù)責(zé)大數(shù)據(jù)建模、ETL、數(shù)據(jù)產(chǎn)品及平臺(tái)的設(shè)計(jì)與開(kāi)發(fā)
3. 滿足業(yè)務(wù)數(shù)據(jù)需求，設(shè)計(jì)面向業(yè)務(wù)的數(shù)據(jù)集市模型
4. 需求的溝通與數(shù)據(jù)開(kāi)發(fā)項(xiàng)目管理
5. 基于Hadoop生態(tài)的程序設(shè)計(jì)、開(kāi)發(fā)和維護(hù)
崗位要求：
1.熟悉SQL語(yǔ)言，至少熟悉Oracle、MySQL、SQL sever一種及以上
2.精通數(shù)據(jù)庫(kù)系統(tǒng)(Oracle、SQL、mysql等)：精通熟悉Oracle數(shù)據(jù)庫(kù)體系結(jié)構(gòu)，基礎(chǔ)扎實(shí);精通熟悉DataGuardRAC等高可用技術(shù)，能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復(fù)技術(shù);熟悉SQL和PLSQL，能編寫(xiě)日常維護(hù)需要的腳本
3. 從事過(guò)數(shù)倉(cāng)邏輯模型、物理模型設(shè)計(jì)與實(shí)施等工作
4. 有使用Hive、Hbase、kettle等相關(guān)應(yīng)用經(jīng)驗(yàn)更佳
相關(guān)文章：
1.數(shù)據(jù)倉(cāng)庫(kù)工程師的崗位職責(zé)表述
2.數(shù)據(jù)倉(cāng)庫(kù)工程師的職責(zé)精選