国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

職位概述：
負責將應用程序從現(xiàn)有 Cloudera 環(huán)境遷移至新的基于 Kubernetes 的數(shù)據(jù)平臺；具備扎實的數(shù)據(jù)工程實操開發(fā)技能，能在內部負責人指導下交付高質量的數(shù)據(jù)管道。
核心職責：
使用 Spark 3.5 和 Python/Scala 開發(fā)并優(yōu)化數(shù)據(jù)管道。
將現(xiàn)有 Hive、Spark 和 Control-M 作業(yè)遷移至基于 Airflow 和 DBT 的工作流。
整合數(shù)據(jù)管道與消息系統(tǒng)（Kafka、Solace）及對象存儲（S3、MinIO）。
排查并優(yōu)化 Kubernetes 環(huán)境中運行的分布式作業(yè)。
與內部負責人及架構師密切協(xié)作，落實最佳實踐。
設計并實現(xiàn)遷移 / 加速框架，實現(xiàn)端到端自動化遷移。
持續(xù)優(yōu)化框架，確保穩(wěn)定性、可擴展性，支持多種用例和場景。
配合各類數(shù)據(jù)應用，為遷移過程提供支持。
在約定時間內完成分配的遷移任務。
必備技能：
日常英文溝通流通
精通 Apache Spark（批處理 + 流處理）和 Hive。
熟練掌握 Python、Scala 或 Java。
了解編排工具（Airflow/Control-M）和 SQL 轉換框架（優(yōu)先 DBT）。
有 Kafka、Solace 及對象存儲（S3、MinIO）使用經(jīng)驗，熟悉 Docker/Kubernetes 部署。
具備數(shù)據(jù)湖倉格式（Iceberg、Delta Lake、Hudi）實操經(jīng)驗。