責(zé)任描述:
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的整體架構(gòu)設(shè)計(jì),確保系統(tǒng)的高性能、高可用性和可擴(kuò)展性。2、制定技術(shù)路線(xiàn)圖,規(guī)劃云端數(shù)據(jù)中臺(tái)的技術(shù)演進(jìn)方向。
3、評(píng)估和選擇適合的大數(shù)據(jù)技術(shù)棧(如Hadoop、Spark、Flink、Kafka等)。
4、設(shè)計(jì)和實(shí)現(xiàn)數(shù)據(jù)采集、存儲(chǔ)、處理和分析的解決方案。
5、設(shè)計(jì)數(shù)據(jù)治理策略,確保數(shù)據(jù)質(zhì)量、安全性和合規(guī)性。
6、優(yōu)化數(shù)據(jù)存儲(chǔ)和計(jì)算性能,解決高并發(fā)、高負(fù)載場(chǎng)景下的技術(shù)問(wèn)題
任職要求:
1、精通大數(shù)據(jù)技術(shù)棧(如Hadoop、Spark、Flink、Kafka等)。
2、精通數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖架構(gòu)設(shè)計(jì),了解相關(guān)技術(shù)(如Hive、HBase、Iceberg等)
3、精通主流數(shù)據(jù)庫(kù)(如MySL、PostgreS0L、0racle等),具備SQL優(yōu)化經(jīng)驗(yàn)。
4、精通消息隊(duì)列(如Kafka、RabbitMQ等)和緩存技術(shù)(如Redis、Memcached等)