近日，2024中國圖象圖形大會在西安開幕。本屆大會由中國圖象圖形學(xué)學(xué)會主辦，空軍軍醫(yī)大學(xué)、西安交通大學(xué)、西北工業(yè)大學(xué)承辦，通過二十多場論壇、百余項(xiàng)成果，集中展示了生成式人工智能、大模型、機(jī)器學(xué)習(xí)、類腦計(jì)算等多個圖像圖形領(lǐng)域的進(jìn)展。

大模型技術(shù)正隨著科技革新實(shí)現(xiàn)廣泛應(yīng)用，滿足多行業(yè)圖像處理需求。大會期間，由CSIG文檔圖像分析與識別專委會與上海合合信息科技股份有限公司聯(lián)合主辦了《大模型技術(shù)及其前沿應(yīng)用》論壇，來自華南理工大學(xué)、上海交通大學(xué)、清華大學(xué)、復(fù)旦大學(xué)、上海人工智能實(shí)驗(yàn)室、研究機(jī)構(gòu)及企業(yè)的專家代表就大模型技術(shù)在圖像領(lǐng)域的發(fā)展、應(yīng)用進(jìn)行了深入研討。

大模型一路“高歌猛進(jìn)”的背后，隱藏著一場關(guān)于模型訓(xùn)練語料的“能源危機(jī)”?，F(xiàn)階段，大量的高質(zhì)量語料數(shù)據(jù)存在于書籍、論文、研報、企業(yè)文檔等文檔之中，復(fù)雜的版面結(jié)構(gòu)制約了大模型的訓(xùn)練語料處理及大模型文檔問答的應(yīng)用能力。文檔解析技術(shù)的進(jìn)步，讓機(jī)器能夠識別文檔中的多種元素，更好地處理文本、表格、圖像等多類型數(shù)據(jù)，還原文檔閱讀順序，加速大模型訓(xùn)練與應(yīng)用。論壇上，合合信息智能創(chuàng)新事業(yè)部研發(fā)總監(jiān)常揚(yáng)分享了智能文檔處理技術(shù)在文檔解析領(lǐng)域的工作，給與會者帶來了新的技術(shù)視角。

“文檔解析的難點(diǎn)在于如何準(zhǔn)確識別文檔中的各個元素，并理解其之間的邏輯關(guān)系，需要關(guān)注'物理版面分析'和'邏輯版面分析。' ”據(jù)常揚(yáng)介紹，物理版面分析側(cè)重于視覺特征、文檔布局，主要任務(wù)是把相關(guān)性高的文字聚合到一個區(qū)域，比如一個段落，一個表格等等，并選用目標(biāo)檢測任務(wù)進(jìn)行建模，使用基于回歸的單階段檢測模型進(jìn)行擬合，從而獲得文檔中各種各樣的布局方式；邏輯版面分析側(cè)重于對語義特征的分析，主要任務(wù)是把不同的文字塊根據(jù)語義建模，例如通過語義的層次關(guān)系，形成一個目錄樹結(jié)構(gòu)。

“我們研究過程中發(fā)現(xiàn)，真實(shí)世界的文檔有著極為豐富的布局類型，沒法單純地用單欄，雙欄、三欄等類別去定義。”常揚(yáng)表示，近年來的開放詞匯目標(biāo)檢測（OVD），視覺語義對齊（Alignment）等工作，以及生成式模型等前沿進(jìn)展，將給版面分析帶來新的研究思路。