中國青海研究團隊在《復雜與智能系統(tǒng)》（Complex & Intelligent Systems）期刊發(fā)表研究，介紹一種名為MHCNet的多通道模態(tài)融合超圖卷積神經(jīng)網(wǎng)絡。該模型專為藏藥植物識別設計，在自建的圖文配對數(shù)據(jù)集上實現(xiàn)了98.11%的分類準確率。

藏藥識別面臨小目標易被遮擋、強光噪聲干擾紋理細節(jié)以及標注數(shù)據(jù)量有限等挑戰(zhàn)。MHCNet的視覺分支采用改進的DenseNet121架構，增強密集連接以保留特征流，提升對微小目標和強光照環(huán)境的魯棒性。文本分支則調用預訓練的中文BERT模型，提取藥師與從業(yè)者實際書寫描述中的上下文語義特征。

與傳統(tǒng)簡單拼接圖文向量不同，MHCNet在特征層進行模態(tài)融合，并針對圖像特征、文本特征及融合特征分別計算曼哈頓距離相似度。基于這些相似度構建三張獨立的超圖，利用超邊可同時連接多個樣本的特性，捕捉成對連接難以體現(xiàn)的群體級結構關聯(lián)。模型采用多通道超圖神經(jīng)網(wǎng)絡進行協(xié)同學習，有效避免早期融合與多層傳播導致的“過平滑”問題，保持視覺與語言特征的互補優(yōu)勢。

針對細粒度識別難題，該架構在首個超圖卷積層后引入前饋網(wǎng)絡，迭代優(yōu)化并動態(tài)調整超圖結構的重建過程。模型在訓練過程中持續(xù)更新樣本間的歸屬關系，彌補了靜態(tài)超圖構造對細微特征刻畫不足的問題。研究團隊使用反映實際拍攝與記錄條件的自建數(shù)據(jù)集進行評估，結果顯示該模型能有效捕獲跨模態(tài)高階相關性。

此項工作由青海民族大學人工智能科學與技術學院與國家民委人工智能應用技術重點實驗室的研究人員完成，聯(lián)合青海省藏醫(yī)院開展。項目獲青海省重點研發(fā)與成果轉化專項、青海省自然科學基金及國家自然科學基金資助。該圖文分類技術可為藥房質量控制、標本館數(shù)字化、偏遠地區(qū)臨床輔助及商業(yè)供應鏈防偽提供驗證支持，也為其他依賴圖文配對的細粒度識別任務提供了可復用的多模態(tài)架構參考。