● 熟悉數據分析常用方法,如指標分析、漏斗分析等。
● 熟悉Hadoop大數據生態(tài)體系,熟悉HDFS讀寫流程、MR Shuffle流程、Yarn作業(yè)提交流程及調度策略,對HA集群、MR Shuffle的優(yōu)化有相關了解。
● 熟練運用Hive對數據進行查詢、統(tǒng)計等操作,對Hive優(yōu)化的思路與方法有相關的了解,了解Hive底層執(zhí)行原理。
● 熟悉Spark分布式計算引擎,熟悉 Spark Core 底層原理及 Spark 常用算子,熟悉 Spark 內存管理機制,能根據業(yè)務需求使用Spark SQL進行數據處理、查詢、統(tǒng)計。
● 熟悉 Oracle 、MySql 關系型數據庫,熟悉關系型數據庫的存儲過程和事務機制,了解數據庫的索引及優(yōu)化。
● 熟悉 Python 編程語言,能用pandas、numpy進行數據處理。
● 熟悉 Linux 系統(tǒng),掌握常用的 Linux 命令,能夠完成日常工作中 Shell 腳本的編寫。
● 熟悉永洪BI,能針對不同場景制作相關報表解決實際業(yè)務需求。
● 熟悉EXCEL,能通過EXCEL完成數據處理相關操作。