工作職責:
1、負責基于大數據平臺的數據處理和存儲平臺建設;
2、負責分布式存儲系統(tǒng)構建和智能搜索引擎;
3、負責分布式數據平臺框架下數據系統(tǒng)開發(fā)與新數據應用開發(fā)架構研究;
4、理解用戶數據統(tǒng)計、分析和挖掘應用場景,抽象為數據產品需求,不斷完善基礎數據平臺的建設;
5、負責大數據實施過程中相關技;術問題解決,包含數據采集、數據接入、數據遷移、數據轉換、數據安全;
6、完成與工作相關的技術文檔編寫工作。
職位要求:
1、具備較強的數據敏感度以及數據抽象能力;
2、熟悉Java及相關大數據架構技術,特別是ES搜索引擎,具備良好的編碼素養(yǎng)和習慣;
3、熟練掌握至少一種腳本語言,如Python、Shell等;
4、2年以上Hadoop項目或平臺實際研發(fā)經驗,如Zookeeper/HDFS/Hive/HBase/Spark/Impala/Gobblin/Flume/Kafka等其中一個或多個 ,以及GreenPlum,圖數據庫和搜索引擎;
5、自然語言處理經驗,分析文本情感傾向及打標簽;
6、強烈的責任心、積極的思考力、主動作為的習慣。