崗位職責:
1、數據平臺搭建與維護
2、參與公司大數據平臺的架構設計、選型和搭建工作,確保平臺的高可用性、高性能和可擴展性。
3、負責大數據平臺的日常運維工作,包括集群的監(jiān)控、管理、故障排查與解決,保障平臺的穩(wěn)定運行。
4、對大數據平臺進行性能優(yōu)化,不斷提升數據處理和存儲的效率,降低平臺的運維成本。
5、負責海量數據的采集、清洗、轉換和加載(ETL)工作,確保數據的準確性、完整性和一致性。
6、運用 Hadoop、Flink 等大數據處理技術,對數據進行分布式存儲和計算,滿足業(yè)務部門對數據處理的需求。
7、 參與數據分析和挖掘項目,根據業(yè)務需求提取有價值的信息,為公司的決策提供數據支持。
8、 數據倉庫建設。
9、基于公司的業(yè)務需求和數據特點,設計和構建數據倉庫,包括數據模型的設計、維度表和事實表的創(chuàng)建等。
10、與業(yè)務部門合作,理解業(yè)務需求,為數據倉庫提供數據查詢和報表開發(fā)支持,滿足業(yè)務部門對數據的分析和決策需求。
11、關注大數據技術的發(fā)展趨勢,積極研究和引入新的技術和工具,不斷提升團隊的技術水平和數據處理能力。
12、 參與大數據相關技術的選型和評估工作,為公司的技術決策提供建議和支持。
13、負責來自BP團隊數據需求,如養(yǎng)殖數據、財務數據、sap等數據的采集、數據同步、數據清洗與標準化、數據模型設計、離線數據處理、實時數據處理、數據
服務化等。
任職要求:
1、本科及以上學歷,計算機科學、軟件工程、數學、統(tǒng)計學、大數據等相關專業(yè)。具備5年以上大數據開發(fā)工作經驗,有完整的大數據項目開發(fā)經驗者優(yōu)先。
2、具備離線、實時計算開發(fā)能力,熟練掌握數據倉庫模型設計方法輪,并具有實際模型設計及ETL開發(fā)經驗。
3、熟練掌握Hadoop生態(tài)相關的技術及開發(fā),如Flink、Hive on spark、Doris、CDH、REDIS、Dolphinscheduler、kafka等,有基于分布式存儲與計算平臺應用開
發(fā)、性能優(yōu)化經驗。
4、掌握一門活多門編程語言有限,如Java、Scala等。
5、掌握集群環(huán)境日常問題運維,如CDH, FLINK, Dolphinscheduler, Doris集群等。
6、對數據業(yè)務場景非常敏感,具備跨多部門協(xié)作的復雜數據項目開發(fā)經驗,有效結合業(yè)務和技術創(chuàng)新,形成完成的數據解決方案