二、職位描述:
我們正在尋找一位專注于多模態(tài)文檔解析的 RAG 算法工程師,加入我們的前沿技術(shù)團隊。你將專注于處理和解析各種多模態(tài)文檔 (如 PDF、PPT、網(wǎng)頁等),從中提取文本、圖像、表格等信息,構(gòu)建高質(zhì)量的知識庫,為 RAG 系統(tǒng)提供豐富的知識來源。你將有機會探索先進(jìn)的文檔解析技術(shù),解決實際業(yè)務(wù)場景中的復(fù)雜文檔處理挑戰(zhàn),并提升 RAG 系統(tǒng)對非結(jié)構(gòu)化數(shù)據(jù)的理解能力。
【崗位職責(zé)】:
1、多模態(tài)文檔解析技術(shù)研究與選型: 研究和選型各種多模態(tài)文檔解析技術(shù),包括但不限于 OCR (光學(xué)字符識別)、版面分析、表格識別、圖像理解、信息抽取等技術(shù)。
2、文檔解析流程設(shè)計與開發(fā): 設(shè)計和開發(fā)高效、穩(wěn)定的多模態(tài)文檔解析流程,能夠處理各種復(fù)雜格式的文檔,并從中提取結(jié)構(gòu)化和非結(jié)構(gòu)化信息。
3、解析算法優(yōu)化與定制: 針對不同類型的文檔和業(yè)務(wù)需求,優(yōu)化和定制文檔解析算法,提升解析準(zhǔn)確率和效率。
4、知識庫構(gòu)建與數(shù)據(jù)清洗: 將解析后的文檔信息構(gòu)建成結(jié)構(gòu)化的知識庫,并進(jìn)行數(shù)據(jù)清洗、去噪、標(biāo)準(zhǔn)化等處理,保證知識庫質(zhì)量。
5、與 RAG 系統(tǒng)集成: 將文檔解析模塊與 RAG 系統(tǒng)有效集成,確保解析后的知識能夠被 RAG 系統(tǒng)檢索和利用。
6、文檔解析性能優(yōu)化: 針對大規(guī)模文檔處理場景,優(yōu)化文檔解析性能,包括解析速度、資源消耗等。
7、技術(shù)文檔編寫與分享: 撰寫技術(shù)文檔、參與技術(shù)分享,沉淀文檔解析經(jīng)驗,促進(jìn)團隊技術(shù)積累。
【任職要求】:
1、計算機科學(xué)、圖像處理、自然語言處理或相關(guān)專業(yè)本科及以上學(xué)歷。
2、熟悉多模態(tài)文檔解析技術(shù),包括 OCR、版面分析、表格識別、圖像理解、信息抽取等。
3、有使用和優(yōu)化開源文檔解析工具 (如 Tesseract, PaddleOCR, LayoutParser, PDFMiner 等) 的經(jīng)驗。
4、了解 RAG (Retrieval-Augmented Generation) 技術(shù)原理,有 RAG 系統(tǒng)或知識庫構(gòu)建經(jīng)驗者優(yōu)先。
5、熟悉圖像處理、計算機視覺、自然語言處理 (NLP) 常用技術(shù)。
6、熟練掌握 Python 編程語言,熟悉常用的圖像處理和 NLP 相關(guān)庫 (如 OpenCV, Pillow, PyTesseract, SpaCy, Transformers 等)。
7、具備處理各種復(fù)雜文檔格式 (如 PDF, PPT, Word, HTML, 網(wǎng)頁等) 的經(jīng)驗。
8、良好的問題解決能力和動手能力,能夠獨立完成文檔解析模塊的開發(fā)和優(yōu)化。
9、優(yōu)秀的溝通能力和團隊合作精神。
10、對文檔解析技術(shù)發(fā)展趨勢保持關(guān)注,樂于學(xué)習(xí)和探索新技術(shù)。
【加分項】:
1、有大規(guī)模文檔解析項目經(jīng)驗者優(yōu)先。
2、有處理特定行業(yè)文檔 (如法律文檔、財務(wù)報表、醫(yī)療報告等) 的經(jīng)驗。
3、熟悉深度學(xué)習(xí)在文檔解析中的應(yīng)用,如基于深度學(xué)習(xí)的 OCR、版面分析模型。
4、在文檔解析、圖像處理、NLP 相關(guān)領(lǐng)域發(fā)表過學(xué)術(shù)論文或有開源項目貢獻(xiàn)者優(yōu)先。
5、對知識圖譜構(gòu)建和應(yīng)用有了解者優(yōu)先。