阿里達摩院結合高德發布多模態天文文本預鍛煉模型MGeo

2月21日，達摩院結合高德發布業界首個多模態天文文本預鍛煉模型MGeo，其可充沛了解地圖上的每一個元素，并精準完成地圖搜索、天文位置剖析等任務。MGeo是阿里通義模型系列旗下的新模型，目前已在魔搭社區開放。

天文文本信息處置是導航軟件、物流以及批發等行業的根底。但是，目前傳統天文文本AI算法關于天文信息的了解仍局限在經緯度以及經緯度的遠近上，無法像人類一樣了解地圖上的元素，該辦法難以精準表示景區、園區、商業街等大型天文實體的詳細外形，以及不同地圖元素之間復雜的臨近、包含等關系。

針對上述問題，達摩院結合高德提出天文文本多模態模型，運用對立MLM預鍛煉、句子對預鍛煉及多模態預鍛煉三大技術，并用多任務預鍛煉將這三種預鍛煉任務停止動態組合，終鍛煉得到合適于多類天文文本任務的預鍛煉底座MGeo。該模型具有豐厚的天文學問，能像人類一樣跨模態了解地圖與天文文本的信息，相關研討成果已被EMNLP、AAAI等國際頂級會議收錄。

MGeo像人類一樣具備跨模態了解才能，可辨認地圖元素之間的位置關系

據悉，高德基于MGeo研發了全新的模型，不只顯著進步泛化語義的表示才能，還可精確辨認不同地圖元素之間的位置關系，有效提升用戶的搜索體驗。例如，當用戶在杭州輸入“星光薈對面中國美術”時，MGeo能依據位置關系精確定位到中國美術學院象山校區，而傳統BERT模型則給出了錯誤定位結果；此外，在用戶書寫有誤的狀況下，該模型也能匹配正確的結果。該才能已逐漸在高德灰度上線。

在四平市搜索“傭兵小區”，高德可精確定位“擁軍社區”

達摩院言語技術實驗室擔任人黃非表示：“天文信息與AI的交融已是業界公認的趨向，但傳統AI比方文本處置在天文信息應用場景中有一定局限性 ，我們需求讓AI學習人類關于空間信息的了解范式，例如，經過地圖中的天文實體以及他們之間的關系來斷定天文文本中各個元素的歸屬以及指向?！?/p>

作為早投入預鍛煉言語模型研討的團隊之一，達摩院研發了阿里通義AliceMind，該體系涵蓋預鍛煉模型、多言語預鍛煉模型、超大中文預鍛煉模型等，具備閱讀了解、機器翻譯、對話問答、文檔處置等多種才能，該模型體系已斬獲36項國際賽事冠軍。