在第二屆拯救者杯OPENAIGC開發(fā)者大賽中，涌現(xiàn)出一批技術(shù)突出、創(chuàng)意卓越的作品。為了讓這些優(yōu)秀項目被更多人看到，我們特意開設(shè)了優(yōu)秀作品報道專欄，旨在展示其獨特之處和開發(fā)者的精彩故事

無論您是技術(shù)專家還是愛好者，希望能帶給您不一樣的知識和啟發(fā)。讓我們一起探索AIGC的無限可能，見證科技與創(chuàng)意的完美融合！

創(chuàng)未來AI應(yīng)用賽-企業(yè)組優(yōu)秀作品

作品名稱：廣目多聞--基于多模態(tài)大模型的文旅游覽助手

參賽團隊：上海墀圣信息技術(shù)有限公司天山長歌

作品簡介

本項目是一款基于多模態(tài)大模型，為用戶提供AI導(dǎo)游服務(wù)的應(yīng)用方案。本方案可以根據(jù)用戶提供的博物館展品照片、基于預(yù)先標出的值得關(guān)注的部分，為用戶提供導(dǎo)游和問答互動，讓游客便捷地獲取相關(guān)知識、典故、軼事，增加游覽興趣，尤其是可作為研學(xué)用戶的高效助手，在上線后繼續(xù)拓展海外市場。

項目設(shè)計

本項目提出了一款可根據(jù)用戶拍攝的博物館文物與展品照片，使用戶可以和多模態(tài)模型互動，獲取導(dǎo)覽內(nèi)容，達到導(dǎo)游的目的。功能主要有：

用戶側(cè)：

用戶拍攝展品照片后，在交互界面上傳，獲得展品上的”重點區(qū)域“標識

導(dǎo)覽內(nèi)容包括：

博物館在后臺編輯的內(nèi)容介紹

網(wǎng)絡(luò)上關(guān)于該展品及區(qū)域的介紹

專業(yè)資料和書籍對該展品及區(qū)域的介紹

“重點區(qū)域”也可以通過用戶的推薦而生成。用戶點擊生成遮罩，提交導(dǎo)覽內(nèi)容和簡介，經(jīng)審核和用戶匿名投票后，達到標準的展示為新的”值得關(guān)注的區(qū)域“。通過交互滿足社交性、趣味性、娛樂性，增加用戶參與度和使用粘性。

管理側(cè)：

博物館管理方在后臺可新增、編輯、刪除所屬的展品、”重點區(qū)域“信息，保證專業(yè)性和嚴肅性。

核心技術(shù)和創(chuàng)新點

主要使用如下多模態(tài)技術(shù)：

Segment Anything進行遮罩選取與分割

ImageBind+Lora進行圖像編碼和文本標題簡介的拉齊

基于Qwen-14B的RAG系統(tǒng)，結(jié)合文本標題簡介，提供經(jīng)審核的、嚴肅的學(xué)術(shù)性介紹和用戶互動功能

在RAG系統(tǒng)上的Agent，搜集更多其它信息用戶互動

技術(shù)成果和突破

對齊了多模態(tài)編碼、圖像識別、大模型文本生成內(nèi)容的功能；

將多模態(tài)不僅作為大模型的黑盒子使用，而且拆分出來滿足用戶的個性化需求；

使用openvino，加速文本生成，使用戶體驗更好。

未來發(fā)展

本項目后面會拓展到自然景觀的應(yīng)用，面向外部條件更復(fù)雜的戶外景觀，在光照、惡劣天氣等情況下實現(xiàn)落地。

另一方面迭代多模態(tài)大模型的版本和量化方式，使生成的速度和性能不斷提升

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 廣目多聞--基于多模態(tài)大模型的文旅游覽助手 | OPENAIGC開發(fā)者大賽企業(yè)組優(yōu)秀作品