服務(wù)職責(zé) :
1、負責(zé)大數(shù)據(jù)集群的日常維護,包括監(jiān)控、告警響應(yīng)、告警處理等。
2、負責(zé)大數(shù)據(jù)集群的故障應(yīng)急處理、根因分析、優(yōu)化治理和隱患整改等。
3、負責(zé)大數(shù)據(jù)集群的租戶管理,包括存儲資源劃分、計算資源劃分和權(quán)限管控等。
4、負責(zé)大數(shù)據(jù)集群各組件的搭建、縮容、擴容、版本升級和遷移。
5、負責(zé)編寫運維相關(guān)的自動化腳本,監(jiān)控系統(tǒng)搭建、優(yōu)化,撰寫大數(shù)據(jù)平臺運維相關(guān)文檔。
6、負責(zé)大數(shù)據(jù)集群各組件BUG修復(fù)、安全漏洞修復(fù)。
7、大數(shù)據(jù)平臺7*24小時值班,重大節(jié)假日活動期間重保值守。
8、協(xié)助上層應(yīng)用完成異常作業(yè)優(yōu)化。
9、新技術(shù)棧、新架構(gòu)的研究,測試,部署和驗證。
服務(wù)要求 :
1、大學(xué)???年或大學(xué)本科5年或研究生3年以上通信、互聯(lián)網(wǎng)、計算機等專業(yè)領(lǐng)域工作經(jīng)驗。
2、具有專業(yè)領(lǐng)域一個及以上高級認證資質(zhì)者優(yōu)先。
3、精通Linux 基本命令,可對大數(shù)據(jù)集群底座環(huán)境進行性能優(yōu)化。
4、精通ansible、expect、shell等自動化工具。
5、具有CDH、CDP、HDP、開源Hadoop等主流大數(shù)據(jù)平臺的運營、維護、建設(shè)和升級經(jīng)驗。
6、精通JVM運行原理,并對常見的JVM性能問題進行深度優(yōu)化。
7、精通HDFS、Yarn、HBASE、Spark、Flink、kafka、zookeeper、Hudi、alluxio、Hive、Trino、Knox、Ranger、MySQL,Oceanbase、Sentry、Clickhouse、LDAP等的原理,可處理常見問題。
8、可使用Ranger、knox、Kerboers、iptables對Hadoop集群進行安全加固。 9、熟練使用Promethus、Grafana、zabbix、Ganglia等開源監(jiān)控工具的搭建和配置。
10、對Hadoop各組件有源碼級分析能力。
11、掌握SQL語言,可編寫Hive-SQL、MySQL-SQL、Spark-SQL、Flink-SQL。 12、對計算存儲分離、聯(lián)邦RBF、數(shù)據(jù)湖等架構(gòu)有深入了解。
13、具有較強的學(xué)習(xí)能力、邏輯思維能力、溝通能力、團隊協(xié)作能力,抗壓能力強。
14、熟練使用Microsoft Office、XMind、Visio等辦公軟件。