在第二屆拯救者杯OPENAIGC開發(fā)者大賽中，涌現(xiàn)出一批技術(shù)突出、創(chuàng)意卓越的作品。為了讓這些優(yōu)秀項目被更多人看到，我們特意開設了優(yōu)秀作品報道專欄，旨在展示其獨特之處和開發(fā)者的精彩故事。
無論您是技術(shù)專家還是愛好者，希望能帶給您不一樣的知識和啟發(fā)。讓我們一起探索AIGC的無限可能，見證科技與創(chuàng)意的完美融合！

創(chuàng)未來AI應用賽-高校組金獎

作品名稱：基于混合大語言模型與多模態(tài)的全過程通用AI Agent（以數(shù)據(jù)科學全過程分析為例）

參賽團隊：悉尼大學計算機學院斯塔克工業(yè)

作品簡介

你能用ChatGPT進行完整的數(shù)據(jù)分析嗎？可以。但如果我們使用語音命令而不是鍵盤來控制整個過程呢？這正是我們的目標。在漫威電影《鋼鐵俠》中，托尼·斯塔克用語音命令指示J.A.R.V.I.S.尋找新元素以供弧形反應堆使用。我們的項目雖然沒有那么先進，但想象一下能夠通過語音對話來指揮一個AI系統(tǒng)，并讓它自動完成簡單的機器學習數(shù)據(jù)分析，這將是多么激動人心！

該項目的當前階段集中于設計和開發(fā)一個能夠執(zhí)行基于機器學習的任務（如通過數(shù)據(jù)分析預測天氣狀況或股票價格）的語音控制AI代理。該項目將涵蓋數(shù)據(jù)科學生命周期的所有階段，包括數(shù)據(jù)收集、清洗、分析和建模。

應用背景

該項目立足于當前市場上大模型的生產(chǎn)端與應用端缺乏供應鏈連接的問題，創(chuàng)新地引入AI工程化的概念，架起原生大模型與生產(chǎn)應用之間的橋梁。該項目目前正在第二階段，展示項目為第一階段，以數(shù)據(jù)科學分析任務為例。

技術(shù)架構(gòu)和實現(xiàn)

1. 原生自研高級 RAG 技術(shù)，有效解決外部知識庫數(shù)據(jù)理解和 Information retrieval（非采用 Langchain, LlamaIndex 等封裝好的框架，使全流程透明可控）

2. LLM agnostic - 支持任何原生大模型的 Embedding 和 Text completion (HuggingFace Transformers、Sentence Transformer、GPT, Llama 等）

3. Database agnostic - 支持任何向量數(shù)據(jù)庫和 Knowledge base

4. 增強版記憶機制 - 比 ChatGPT 的 memory 更有效更可控

5. 語音對話 - 基于先進的 TTS 和 STT 模型，整個對話過程可用語音控制

6. Agent - 自研 Agent 框架，在覆蓋特定領(lǐng)域任務的全生命周期外，力求 Agent 在任務執(zhí)行過程中對 Token 的消耗降本增效...

應用價值

本項目主要專注于基于 RAG 和 Agent 的基礎技術(shù)研究，專注于通用之上的專用、隱私，并無特定的限制，理論上，當前大模型能夠被應用到的地方（多種自然語言處理任務，如問答系統(tǒng)、文檔生成、智能助手、信息檢索和知識圖譜填充等），本項目都可以用于加強現(xiàn)有大模型的能力。

當前項目展示以數(shù)據(jù)科學的分析任務全流程為例，完全由 Agent 計劃并執(zhí)行，覆蓋數(shù)據(jù)科學任務的全生命周期、支持對每個階段內(nèi)執(zhí)行的任務進行調(diào)整并重新執(zhí)行。未來會加入更多流程，如數(shù)學分析、化學分析、軟件工程等。

未來發(fā)展

RAG 技術(shù)才剛剛開始興起，與大語言模型相輔相成，即便是未來大模型支持的文本輸入窗口無限增大，成本是需要考慮的，數(shù)據(jù)隱私也是需要考慮的，而 RAG 作為外部的知識檢索和存取技術(shù)，支持本地部署，且不會消耗太多額外的算力，相比本地部署大模型，RAG 的性價比更高。

借助于 RAG 的優(yōu)勢，加上我們與 Agent 的整合，我們希望該系統(tǒng)的能力會進一步增強，具體可以體現(xiàn)在：信息檢索和召回更準確、token消耗量更小、每一步流程更透明可控。同時，語音交互也為未來的空間計算提供了基礎。

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > OPENAIGC開發(fā)者大賽高校組金獎 | 基于混合大語言模型與多模態(tài)的全過程通用AI Agent