職位描述
數(shù)據(jù)倉庫數(shù)據(jù)庫開發(fā)
基本要求
負(fù)責(zé)基于Hadoop、Spark、Flink等技術(shù)的金融級(jí)數(shù)據(jù)平臺(tái)的規(guī)劃、建設(shè)和持續(xù)迭代。
主導(dǎo)數(shù)據(jù)倉庫、數(shù)據(jù)湖/湖倉一體等數(shù)據(jù)體系的設(shè)計(jì)與實(shí)施，包括ODS、DWD、DWS、ADS等數(shù)據(jù)分層建模，并熟悉Iceberg、Hudi等表格式。
負(fù)責(zé)數(shù)據(jù)采集、集成、清洗、加工的全鏈路開發(fā)，確保數(shù)據(jù)的準(zhǔn)確性、完整性和時(shí)效性。
實(shí)時(shí)與離線計(jì)算
精通Spark Streaming/Structured Streaming、Flink等實(shí)時(shí)計(jì)算框架，構(gòu)建低延遲、高可用的實(shí)時(shí)數(shù)據(jù)處理管道。
優(yōu)化Hive on Tez/Spark、Impala等離線數(shù)據(jù)處理作業(yè)，保障大規(guī)模數(shù)據(jù)計(jì)算任務(wù)的效率和穩(wěn)定性。
熟練運(yùn)用Kafka、Flume等組件，解決數(shù)據(jù)接入與集成問題。
性能優(yōu)化與治理
持續(xù)對(duì)Hive/Spark作業(yè)進(jìn)行性能調(diào)優(yōu)，具備解決數(shù)據(jù)傾斜、GC（垃圾回收）問題、SQL優(yōu)化等復(fù)雜技術(shù)難題的能力。
業(yè)務(wù)賦能與協(xié)作
深入理解金融業(yè)務(wù)（如風(fēng)控、交易、資產(chǎn)、營銷等），能將業(yè)務(wù)需求轉(zhuǎn)化為清晰的技術(shù)方案和數(shù)據(jù)模型。
與業(yè)務(wù)部門、數(shù)據(jù)分析師緊密協(xié)作，提供高質(zhì)量的數(shù)據(jù)支持和服務(wù)。
必備條件
- 學(xué)歷與經(jīng)驗(yàn)：統(tǒng)招本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，7年及以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，至少3年銀行業(yè)（背景。
- 技術(shù)棧：精通 Hadoop（HDFS/YARN）、Hive（尤其熟悉Hive on Tez）、Spark、Kafka、Flink。熟練使用 Impala, Hue 等Cloudera數(shù)據(jù)平臺(tái)組件。
- 數(shù)據(jù)架構(gòu)：深刻理解數(shù)據(jù)倉庫建模理論（如維度建模），具備大型數(shù)倉或指標(biāo)體系建設(shè)經(jīng)驗(yàn)。有數(shù)據(jù)湖/湖倉一體項(xiàng)目經(jīng)驗(yàn)者更佳。
- 編程能力：熟練掌握 Python 和 Shell 腳本編程，能夠進(jìn)行自動(dòng)化腳本開發(fā)和任務(wù)調(diào)度。
優(yōu)先考慮
- 具備 Hive/Spark作業(yè)性能調(diào)優(yōu) 實(shí)戰(zhàn)經(jīng)驗(yàn)，能獨(dú)立解決數(shù)據(jù)傾斜等疑難雜癥。
- 擁有 Spark Streaming/Structured Streaming 或 Flink 實(shí)時(shí)計(jì)算項(xiàng)目經(jīng)驗(yàn)。
- 熟悉 HBase,impala, Sqoop 等Hadoop生態(tài)其他組件，了解 Kerberos、Ranger 等安全認(rèn)證與權(quán)限管理機(jī)制。
負(fù)責(zé)基于Hadoop、Spark、Flink等技術(shù)的金融級(jí)數(shù)據(jù)平臺(tái)的規(guī)劃、建設(shè)和持續(xù)迭代。
主導(dǎo)數(shù)據(jù)倉庫、數(shù)據(jù)湖/湖倉一體等數(shù)據(jù)體系的設(shè)計(jì)與實(shí)施，包括ODS、DWD、DWS、ADS等數(shù)據(jù)分層建模，并熟悉Iceberg、Hudi等表格式。
負(fù)責(zé)數(shù)據(jù)采集、集成、清洗、加工的全鏈路開發(fā)，確保數(shù)據(jù)的準(zhǔn)確性、完整性和時(shí)效性。
實(shí)時(shí)與離線計(jì)算
精通Spark Streaming/Structured Streaming、Flink等實(shí)時(shí)計(jì)算框架，構(gòu)建低延遲、高可用的實(shí)時(shí)數(shù)據(jù)處理管道。
優(yōu)化Hive on Tez/Spark、Impala等離線數(shù)據(jù)處理作業(yè)，保障大規(guī)模數(shù)據(jù)計(jì)算任務(wù)的效率和穩(wěn)定性。
熟練運(yùn)用Kafka、Flume等組件，解決數(shù)據(jù)接入與集成問題。
性能優(yōu)化與治理
持續(xù)對(duì)Hive/Spark作業(yè)進(jìn)行性能調(diào)優(yōu)，具備解決數(shù)據(jù)傾斜、GC（垃圾回收）問題、SQL優(yōu)化等復(fù)雜技術(shù)難題的能力。
業(yè)務(wù)賦能與協(xié)作
深入理解金融業(yè)務(wù)（如風(fēng)控、交易、資產(chǎn)、營銷等），能將業(yè)務(wù)需求轉(zhuǎn)化為清晰的技術(shù)方案和數(shù)據(jù)模型。
與業(yè)務(wù)部門、數(shù)據(jù)分析師緊密協(xié)作，提供高質(zhì)量的數(shù)據(jù)支持和服務(wù)。
必備條件
- 學(xué)歷與經(jīng)驗(yàn)：統(tǒng)招本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，7年及以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，至少3年銀行業(yè)（背景。
- 技術(shù)棧：精通 Hadoop（HDFS/YARN）、Hive（尤其熟悉Hive on Tez）、Spark、Kafka、Flink。熟練使用 Impala, Hue 等Cloudera數(shù)據(jù)平臺(tái)組件。
- 數(shù)據(jù)架構(gòu)：深刻理解數(shù)據(jù)倉庫建模理論（如維度建模），具備大型數(shù)倉或指標(biāo)體系建設(shè)經(jīng)驗(yàn)。有數(shù)據(jù)湖/湖倉一體項(xiàng)目經(jīng)驗(yàn)者更佳。
- 編程能力：熟練掌握 Python 和 Shell 腳本編程，能夠進(jìn)行自動(dòng)化腳本開發(fā)和任務(wù)調(diào)度。
優(yōu)先考慮
- 具備 Hive/Spark作業(yè)性能調(diào)優(yōu) 實(shí)戰(zhàn)經(jīng)驗(yàn)，能獨(dú)立解決數(shù)據(jù)傾斜等疑難雜癥。
- 擁有 Spark Streaming/Structured Streaming 或 Flink 實(shí)時(shí)計(jì)算項(xiàng)目經(jīng)驗(yàn)。
- 熟悉 HBase,impala, Sqoop 等Hadoop生態(tài)其他組件，了解 Kerberos、Ranger 等安全認(rèn)證與權(quán)限管理機(jī)制。
工作地點(diǎn)
NEO企業(yè)大廈深圳市福田區(qū)車公廟NEO大廈A座26樓
相似職位
- 數(shù)據(jù)開發(fā)1-1.5萬
深圳 - 龍崗
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司 - 數(shù)據(jù)整合工程師1.2-2.2萬
深圳 - 南山
欒川縣宏邦礦業(yè)有限公司 深圳 - 羅湖
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司- 大數(shù)據(jù)開發(fā)工程師3-3.5萬
深圳 - 南山
合肥凱捷技術(shù)有限公司 - 數(shù)據(jù)開發(fā)工程師1.2-1.8萬
深圳 - 龍崗
深圳市龍崗區(qū)智城大數(shù)據(jù)有限公司 - 大數(shù)據(jù)開發(fā)工程師1.6-2.2萬
深圳 - 龍崗
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
劉云鳳/招聘專員
剛剛活躍立即溝通
紫金支點(diǎn)深圳市紫金支點(diǎn)技術(shù)股份有限公司（以下簡稱紫金技術(shù)）成立于1992年，注冊資本11200萬元，長期致力于中國金融電子化建設(shè)，是目前國內(nèi)金融行業(yè)資深的系統(tǒng)集成商和整體解決方案提供商，同時(shí)也是國內(nèi)金融自助設(shè)備最主要的供應(yīng)商和服務(wù)商之一。公司總部設(shè)在深圳市軟件產(chǎn)業(yè)基地，擁有北京紫金、上海紫金、南京紫津融暢三個(gè)全資子公司，截至2020年在廣州、武漢、沈陽、鄭州等全國各個(gè)城市設(shè)立了逾三百個(gè)辦事處，確保為當(dāng)?shù)丶爸苓吙蛻籼峁└咝?、專業(yè)、全面的技術(shù)支持與維護(hù)服務(wù)。紫金技術(shù)是“國家級(jí)高新技術(shù)企業(yè)”、“國家規(guī)劃布局內(nèi)重點(diǎn)軟件企業(yè)”、“國家軟件百強(qiáng)企業(yè)”，2002年通過了ISO9000質(zhì)量體系認(rèn)證，2010年通過了ISO20000服務(wù)體系認(rèn)證,2014年獲得ITSS信息技術(shù)服務(wù)運(yùn)行維護(hù)標(biāo)準(zhǔn)符合性證書，2015年通過ISO/IEC 27001:2013信息安全管理體系認(rèn)證,且被授予“2015中國自主可靠企業(yè)核心軟件品牌”稱號(hào)，2017年通過了CMMI5級(jí)評(píng)估和認(rèn)證，榮獲2017中國軟件和信息技術(shù)服務(wù)綜合競爭力百強(qiáng)企業(yè)稱號(hào)。同時(shí)也是國際標(biāo)準(zhǔn)化委員會(huì)CEN/XFS的核心成員，在XFS標(biāo)準(zhǔn)應(yīng)用領(lǐng)域具有領(lǐng)先優(yōu)勢，為標(biāo)準(zhǔn)的制定和在中國地區(qū)的應(yīng)用發(fā)揮著積極而重要的作用。成立至今，紫金人始終堅(jiān)持“品質(zhì)為先，服務(wù)為本”的品牌理念，順應(yīng)中國金融行業(yè)變革趨勢，以匠人之心努力為客戶創(chuàng)造價(jià)值：軟件開發(fā)方面，紫金技術(shù)持續(xù)創(chuàng)新、自主研發(fā)，充分利用XFS標(biāo)準(zhǔn)組織核心成員的優(yōu)勢，為廣大金融客戶提供了百余種軟件產(chǎn)品，并憑借其先進(jìn)性、實(shí)用性及可靠性在業(yè)界享有良好聲譽(yù)。在自助設(shè)備成為各家銀行激烈競爭中必不可少的戰(zhàn)略性手段和工具的今天，紫金ATMC跨平臺(tái)軟件和自助設(shè)備運(yùn)行管理軟件等已經(jīng)成為銀行自助渠道建設(shè)從成本中心向利潤中心轉(zhuǎn)型的有力工具，目前已在中國建設(shè)銀行、中國光大銀行、中國工商銀行（亞洲）、交通銀行等近60家銀行實(shí)施，穩(wěn)定運(yùn)行在30萬臺(tái)設(shè)備上，覆蓋設(shè)備廠商品牌超過30個(gè)，覆蓋機(jī)器型號(hào)近200個(gè)，覆蓋客戶業(yè)務(wù)超過200項(xiàng)。產(chǎn)品的先進(jìn)性、創(chuàng)新性、穩(wěn)定性等得到各用戶的一致好評(píng)。系統(tǒng)集成方面，紫金技術(shù)具有“國家信息系統(tǒng)集成及服務(wù)一級(jí)資質(zhì)”，同時(shí)擁有國際和國內(nèi)各先進(jìn)IT企業(yè)的最高代理資質(zhì)，是IBM解決方案提供商、CISCO金牌合作伙伴、F5 Networks中國地區(qū)金牌代理、ORACLE金牌合作伙伴、JUNIPER精英合作伙伴、H3C銀牌代理及四星級(jí)服務(wù)商、華為銀牌經(jīng)銷商、邁普戰(zhàn)略合作伙伴、銳捷戰(zhàn)略合作伙伴及Brocade、Polycom、啟明星辰、衛(wèi)士通等廠商的認(rèn)證服務(wù)商。技術(shù)服務(wù)方面，業(yè)務(wù)線條涵蓋現(xiàn)金與非現(xiàn)金業(yè)務(wù)，依托ISO20000服務(wù)管理體系和ITSS信息技術(shù)服務(wù)運(yùn)維資質(zhì)，通過“IT服務(wù)標(biāo)準(zhǔn)化”來完善自身的信息化服務(wù)平臺(tái)。完備的服務(wù)管理渠道及流程、經(jīng)驗(yàn)豐富、意識(shí)良好的服務(wù)團(tuán)隊(duì)、遍及全國的服務(wù)網(wǎng)點(diǎn)、現(xiàn)代化的在線服務(wù)管理系統(tǒng)，多層次的軟件支持，專業(yè)的培訓(xùn)體系，都成為紫金技術(shù)打造“優(yōu)質(zhì)品牌服務(wù)”戰(zhàn)略發(fā)展的有力支撐。自2000年率先將日立存取款一體機(jī)引進(jìn)國內(nèi)市場以來，共承擔(dān)該品牌自助設(shè)備在國內(nèi)約一半以上份額的服務(wù)工作，維護(hù)總量逾6.3萬臺(tái)，超過五十家銀行客戶。除此之外，還具備維護(hù)NCR、德利多富、東信、廣電、御銀、迪堡、怡化、恒銀等多品牌設(shè)備及清機(jī)外包、運(yùn)維外包的服務(wù)能力和經(jīng)驗(yàn)。未來，紫金技術(shù)將繼續(xù)為中國金融電子化事業(yè)默默耕耘，懷感恩之心，以現(xiàn)代化手段承接并整合傳統(tǒng)業(yè)務(wù)，助力創(chuàng)新智能轉(zhuǎn)型，為金融領(lǐng)域客戶的發(fā)展與壯大貢獻(xiàn)力量。
公司主頁