二、職位描述:
我們正在尋找一位專注于多模態(tài)文檔解析的 RAG 算法工程師,加入我們的前沿技術團隊。你將專注于處理和解析各種多模態(tài)文檔 (如 PDF、PPT、網(wǎng)頁等),從中提取文本、圖像、表格等信息,構建高質量的知識庫,為 RAG 系統(tǒng)提供豐富的知識來源。你將有機會探索先進的文檔解析技術,解決實際業(yè)務場景中的復雜文檔處理挑戰(zhàn),并提升 RAG 系統(tǒng)對非結構化數(shù)據(jù)的理解能力。
【崗位職責】:
1、多模態(tài)文檔解析技術研究與選型: 研究和選型各種多模態(tài)文檔解析技術,包括但不限于 OCR (光學字符識別)、版面分析、表格識別、圖像理解、信息抽取等技術。
2、文檔解析流程設計與開發(fā): 設計和開發(fā)高效、穩(wěn)定的多模態(tài)文檔解析流程,能夠處理各種復雜格式的文檔,并從中提取結構化和非結構化信息。
3、解析算法優(yōu)化與定制: 針對不同類型的文檔和業(yè)務需求,優(yōu)化和定制文檔解析算法,提升解析準確率和效率。
4、知識庫構建與數(shù)據(jù)清洗: 將解析后的文檔信息構建成結構化的知識庫,并進行數(shù)據(jù)清洗、去噪、標準化等處理,保證知識庫質量。
5、與 RAG 系統(tǒng)集成: 將文檔解析模塊與 RAG 系統(tǒng)有效集成,確保解析后的知識能夠被 RAG 系統(tǒng)檢索和利用。
6、文檔解析性能優(yōu)化: 針對大規(guī)模文檔處理場景,優(yōu)化文檔解析性能,包括解析速度、資源消耗等。
7、技術文檔編寫與分享: 撰寫技術文檔、參與技術分享,沉淀文檔解析經(jīng)驗,促進團隊技術積累。
【任職要求】:
1、計算機科學、圖像處理、自然語言處理或相關專業(yè)本科及以上學歷。
2、熟悉多模態(tài)文檔解析技術,包括 OCR、版面分析、表格識別、圖像理解、信息抽取等。
3、有使用和優(yōu)化開源文檔解析工具 (如 Tesseract, PaddleOCR, LayoutParser, PDFMiner 等) 的經(jīng)驗。
4、了解 RAG (Retrieval-Augmented Generation) 技術原理,有 RAG 系統(tǒng)或知識庫構建經(jīng)驗者優(yōu)先。
5、熟悉圖像處理、計算機視覺、自然語言處理 (NLP) 常用技術。
6、熟練掌握 Python 編程語言,熟悉常用的圖像處理和 NLP 相關庫 (如 OpenCV, Pillow, PyTesseract, SpaCy, Transformers 等)。
7、具備處理各種復雜文檔格式 (如 PDF, PPT, Word, HTML, 網(wǎng)頁等) 的經(jīng)驗。
8、良好的問題解決能力和動手能力,能夠獨立完成文檔解析模塊的開發(fā)和優(yōu)化。
9、優(yōu)秀的溝通能力和團隊合作精神。
10、對文檔解析技術發(fā)展趨勢保持關注,樂于學習和探索新技術。
【加分項】:
1、有大規(guī)模文檔解析項目經(jīng)驗者優(yōu)先。
2、有處理特定行業(yè)文檔 (如法律文檔、財務報表、醫(yī)療報告等) 的經(jīng)驗。
3、熟悉深度學習在文檔解析中的應用,如基于深度學習的 OCR、版面分析模型。
4、在文檔解析、圖像處理、NLP 相關領域發(fā)表過學術論文或有開源項目貢獻者優(yōu)先。
5、對知識圖譜構建和應用有了解者優(yōu)先。