多模態搜尋：探索多語言路徑

Nurrmohammad

深度神經網路是強大的工具，在視覺語言領域的交叉領域有許多可能的應用。電腦視覺和自然語言處理領域的許多應用面臨的主要挑戰之一是建立超越單一語言且可以一次處理多種模式的系統。 這些系統能夠整合來自多個來源和跨多種語言的訊息，稱為多模式多語言系統。在這項工作中，我們回顧了用於建立多功能搜尋系統的各種人工智慧方法的功能。我們也展示了多模式多語言演示搜尋系統的結果。 什麼是多式聯運系統？ 多模式系統聯合利用多種模式中存在的訊息，例如文字和視覺訊息。這些系統，也稱為跨模態系統，學習在定義的任務範圍內關聯多模態特徵。 更具體地，多模式搜尋引擎允許根據相關文件與多個特徵空間中的查詢的相似性從資料庫檢索相關文件。這些特徵空間可以採用多種形式，例如文字、圖像、音訊或視訊。 「

如果搜尋引擎的底層機制能夠同時處理不同的輸入模式，那麼它就是一個多模式系統。」 為什麼多 丹麥 電話號碼 式聯運系統很重要？ 各種資料量的爆炸性增長使得設計有效的跨模式搜尋引擎以從根本上改善檢索系統範圍內的搜尋體驗成為可能並且有必要。 一個有趣的多模式系統正在建立一個搜尋引擎，使用戶能夠透過多模式搜尋介面表達他們的輸入查詢。由於目標是檢索與多模式輸入查詢相關的圖像，搜尋引擎的使用者介面和幕後系統應該能夠結合處理文字和視覺模式。 例如，搜尋查詢可以採用「給我類似這張圖片的東西，但我希望它是黑色的」的形式。如下圖所示，使用者向搜尋引擎提供 1) 她正在尋找的裙子的圖像，以及 2) 文字或其他輸入形式，以指示所需的顏色。這種表達方式類似人類的溝通方式，將帶來更好的搜尋體驗。



執行此搜尋時，輸入圖像是一條白色連身裙，如下圖所示。這是查詢的第一部分，對應於多模式查詢的視覺部分。 此查詢的第二部分由所需的顏色（即文字輸入）組成。在這種情況下，用戶正在尋找“黑色”的衣服。返回的結果是電商商店中出售的服裝的圖像。多模態查詢的結果如下圖所示。 鑑於每種模態的豐富性和多樣性，設計多模態系統需要努力彌合各種模態之間的差距，包括圖像、文字、視訊和音訊資料。將文字和視覺模態編碼到聯合嵌入空間是橋接不同模態世界的一種方法。 雖然圖像與語言無關，但搜尋詞是特定於語言的。單語視覺語言系統限制了這些系統在國際應用上的實用性。一般來說，這些單語系統僅限於英語。現在讓我們在文字和視覺檢索系統的背景下研究跨語言方法。 透過觀看我們的網路故事 來了解更多關於多模式搜尋的資訊。 什麼是多語言系統？ 讓我們來看看電腦視覺和自然語言處理交叉領域的眾多關鍵挑戰之一。