近日，信息科學與工程學院張亮教授農業智能學習與計算團隊蘆旭博士在《IEEE Transactions on Multimedia》在線發表了題為“Multi-Facet Weighted Asymmetric Multi-Modal Hashing Based on Latent Semantic Distribution”的研究論文。

隨著互聯網的快速發展，大規模、高維的多模態數據已經滲透到社交網絡和存儲媒體中，給多媒體數據檢索帶來了重大挑戰。在大多數多媒體檢索應用中，提高檢索精度和減少存儲消耗是重要問題。目前，哈希技術因其對大規模數據檢索的支持而備受關注，其目標是將高維特征空間中的原始數據映射到低維漢明空間中的緊湊哈希碼中，從而保留原始數據的語義相似性（或距離）。哈希技術采用漢明距離準則，通過簡單的異或運算來估計實例之間的相似性，從而大大加快了計算速度，節省了存儲空間。

目前，多模態哈希算法因其能夠配置互補的多模態融合并支持快速的多媒體檢索而受到越來越多的關注。然而，現有方法中廣泛采用的“粗粒度”模態加權策略總是忽略了不同特征的獨特貢獻，并受到參數調整的困擾。此外，傳統的監督方法通常采用“硬語義”來反映數據與標簽之間的邏輯關系，但未能深入研究類別對數據的描述程度。針對這些問題，本文提出了一種基于潛在語義分布的多角度加權非對稱多模態哈希方法（FISMH）。該方法包含一個多角度加權多模態融合模塊，利用模態和特征權重來實現多模態融合；一個基于潛在語義分布的非對稱哈希學習模塊，利用成對相似性和語義分布來指導哈希學習，并通過非對稱形式避免了具有挑戰性的成對分解。語義分布是從特征空間的固有信息中學習的，可以進一步保留類內關系；利用離散哈希優化來減少量化損失并直接學習哈希碼。大量實驗表明，該方法優于現有的有監督和無監督多模態哈希方法，展示了其卓越性能。

本文的合作者還有空天信息大學張化祥教授，山東師范大學劉麗教授，山東農業大學牟少敏教授、寧立新博士。該研究得到了國家自然科學基金項目、山東省泰山學者項目、山東省自然科學基金重大基礎研究項目、山東省科技型中小企業創新能力提升項目的資助。

原文鏈接：https://ieeexplore.ieee.org/document/10428107

編      輯：萬    千 

審      核：賈    波