崗位職責:
1、業(yè)務數據分析、調研及數據采集;
2、大數據平臺的數據清洗、數據轉換、數據存儲;
3、持續(xù)跟蹤大數據平臺運行情況,監(jiān)控數據同步鏈路,處理各類異常和故障;
4、數據治理相關開源項目產品的部署安裝、性能調優(yōu)和監(jiān)控;
5、參與集團數據標準制定與規(guī)范建設;
6、完成集團數據中臺及協(xié)助與支持各數源方按照相關數據標準與規(guī)范完成數據治理各項制度的落地及執(zhí)行效果評估(包括元數據、主數據、數據標準、數據質量、數據安全、數據資產管理等)。
崗位要求:
1、熟悉Oracle、MySQL等相關數據庫及相關配套工具,熟悉SQL語言;
2、熟悉java,熟悉Linux操作系統(tǒng);
3、熟悉Mapreduce、Redis、Kafka、Flink、spark等大數據組件的應用場景和配置規(guī)則;
4、了解大數據處理的流計算、分布式文件系統(tǒng)、分布式存儲等相關技術;
5、了解容器、虛擬化、微服務框架等相關技術;
6、能接受出差,溝通能力良好,能夠獨立排查和處理問題。