數(shù)據(jù)工程師(智慧倉儲模塊)
1. 數(shù)據(jù)采集與邊緣計(jì)算
?熟悉物聯(lián)網(wǎng)(IoT)設(shè)備(如 RFID、傳感器、智能攝像頭)的數(shù)據(jù)采集與協(xié)議解析(如 MQTT、OPC UA)。
?掌握邊緣計(jì)算框架(如 NVIDIA Jetson、AWS Greengrass),能在本地完成數(shù)據(jù)預(yù)處理(如降噪、特征提?。┮越档驮贫素?fù)載。
2. 大數(shù)據(jù)處理與存儲
?精通分布式計(jì)算平臺(Hadoop、Spark、Flink),尤其擅長處理倉儲場景中的時(shí)序數(shù)據(jù)(如庫存波動、設(shè)備日志)。
?熟練使用關(guān)系型數(shù)據(jù)庫(MySQL、PostgreSQL)和NoSQL 數(shù)據(jù)庫(Redis、Cassandra),具備 SQL 優(yōu)化和索引設(shè)計(jì)經(jīng)驗(yàn)。
?熟悉數(shù)據(jù)湖 / 倉架構(gòu)(如 Delta Lake、Hive),能構(gòu)建倉儲數(shù)據(jù)資產(chǎn)目錄,支持多源異構(gòu)數(shù)據(jù)融合(如 WMS、ERP、IoT 數(shù)據(jù))。
3. 機(jī)器學(xué)習(xí)與智能算法
?掌握預(yù)測模型(LSTM、Prophet)用于庫存需求預(yù)測,或優(yōu)化算法(遺傳算法、強(qiáng)化學(xué)習(xí))實(shí)現(xiàn)貨位分配、路徑規(guī)劃。
?熟悉計(jì)算機(jī)視覺技術(shù)(如 YOLO、ResNet),能通過圖像識別完成貨物質(zhì)檢或盤點(diǎn)。
4. 實(shí)時(shí)處理與流計(jì)算
?精通流數(shù)據(jù)處理框架(Apache Kafka、Flink),能設(shè)計(jì)毫秒級響應(yīng)的異常檢測系統(tǒng)(如庫存突增預(yù)警、設(shè)備故障預(yù)測)。
?熟悉低延遲架構(gòu)(如 Kafka Connect+Flink SQL),支持實(shí)時(shí)數(shù)據(jù)與歷史數(shù)據(jù)的關(guān)聯(lián)分析(如實(shí)時(shí)訂單與庫存水位的聯(lián)動)。
5. 數(shù)據(jù)治理與質(zhì)量管控
?制定數(shù)據(jù)標(biāo)準(zhǔn)(如物料編碼規(guī)范、訂單狀態(tài)定義)和質(zhì)量規(guī)則(如完整性校驗(yàn)、異常值清洗),確保數(shù)據(jù)可用率達(dá) 99% 以上。
?熟悉數(shù)據(jù)血緣與影響分析工具(如 Apache Atlas),能追溯數(shù)據(jù)變更對業(yè)務(wù)指標(biāo)的影響(如某批傳感器數(shù)據(jù)異常導(dǎo)致庫存預(yù)測偏差)。