一区二区三区高清在线视频,精品一区二区国语对白,久久一区二区三区超碰国产精品

今天凌晨1點(diǎn)，OpenAI開源了一個(gè)全新的AI Agent評(píng)測(cè)基準(zhǔn)——PaperBench。

這個(gè)基準(zhǔn)主要考核智能體的搜索、整合、執(zhí)行等能力，需要對(duì)2024年國(guó)際機(jī)器學(xué)習(xí)大會(huì)上頂尖論文的復(fù)現(xiàn)，包括對(duì)論文內(nèi)容的理解、代碼編寫以及實(shí)驗(yàn)執(zhí)行等方面的能力。

根據(jù)OpenAI公布的測(cè)試數(shù)據(jù)顯示，目前知名大模型打造的智能體，還無(wú)法戰(zhàn)勝頂級(jí)機(jī)器學(xué)習(xí)專業(yè)博士。但在輔助學(xué)習(xí)、了解科研內(nèi)容方面很有幫助。

開源地址：https://github.com/openai/preparedness/

PaperBench組成介紹

PaperBench的核心是其任務(wù)模塊，主要定義了智能體需要完成的具體任務(wù)，需要從頭開始復(fù)現(xiàn)20篇ICML 2024會(huì)議上的Spotlight和Oral兩大類頂級(jí)論文，包括理解論文的貢獻(xiàn)，開發(fā)代碼庫(kù)以及成功執(zhí)行實(shí)驗(yàn)，以評(píng)測(cè)智能體從理論到實(shí)踐的全方位自動(dòng)化能力。

為了確保評(píng)估的準(zhǔn)確性和細(xì)致性，PaperBench開發(fā)了一套詳細(xì)的評(píng)分標(biāo)準(zhǔn)，以層次化的樹形結(jié)構(gòu)呈現(xiàn)。使得評(píng)分過程能夠深入到每一個(gè)細(xì)節(jié)，從論文的核心貢獻(xiàn)到具體的實(shí)驗(yàn)結(jié)果，再到代碼實(shí)現(xiàn)和執(zhí)行要求，每一個(gè)環(huán)節(jié)都有相應(yīng)的評(píng)分節(jié)點(diǎn)。

這些評(píng)分節(jié)點(diǎn)被精心設(shè)計(jì)為可單獨(dú)評(píng)分的任務(wù)，總數(shù)達(dá)到了8316個(gè)，從而實(shí)現(xiàn)了對(duì)智能體能力的全面評(píng)估。

評(píng)分模塊的核心是基于大模型的自動(dòng)評(píng)分系統(tǒng)，它能根據(jù)評(píng)分標(biāo)準(zhǔn)自動(dòng)評(píng)估智能體的復(fù)制嘗試。自動(dòng)評(píng)分系統(tǒng)的引入大幅提高評(píng)分效率和可擴(kuò)展性，使PaperBench能快速評(píng)估大量提交。

為驗(yàn)證自動(dòng)評(píng)分系統(tǒng)的準(zhǔn)確性，PaperBench創(chuàng)建了單獨(dú)的評(píng)分系統(tǒng)基準(zhǔn)測(cè)試JudgeEval，通過比較自動(dòng)評(píng)分系統(tǒng)的輸出與人類專家的評(píng)分結(jié)果來評(píng)估其性能。這一過程不僅確保自動(dòng)評(píng)分系統(tǒng)的可靠性，也為未來的評(píng)分系統(tǒng)改進(jìn)提供重要參考。

規(guī)則模塊確保評(píng)估過程的公平性。它規(guī)定智能體在執(zhí)行任務(wù)時(shí)可以使用的資源，例如允許智能體瀏覽互聯(lián)網(wǎng)，但禁止使用論文作者的原始代碼庫(kù)或其他在線復(fù)制資源。這些規(guī)則確保智能體的能力基于其自身的理解和實(shí)現(xiàn)，而非依賴現(xiàn)有代碼或資源。

PaperBench還包含一個(gè)輕量級(jí)評(píng)估變體模塊PaperBench Code-Dev，旨在降低評(píng)估門檻，使其更適合更廣泛的社區(qū)使用。

Code-Dev放寬了一些評(píng)測(cè)要求，例如，跳過了執(zhí)行代碼以驗(yàn)證結(jié)果是否復(fù)制的步驟，僅對(duì)代碼開發(fā)進(jìn)行評(píng)估。這一變體雖犧牲了一些評(píng)估完整性，但大幅降低了評(píng)估成本和復(fù)雜性，使更多研究者能參與智能體的評(píng)估。

智能體測(cè)試環(huán)境

每個(gè)被測(cè)試的智能體在運(yùn)行Ubuntu 24.04的Docker容器中執(zhí)行任務(wù)，保證了環(huán)境的一致性和可重復(fù)性，接近真實(shí)研究場(chǎng)景的運(yùn)行環(huán)境。

容器可訪問單個(gè)A10 GPU，這對(duì)于加速機(jī)器學(xué)習(xí)實(shí)驗(yàn)至關(guān)重要。同時(shí)，容器具備聯(lián)網(wǎng)能力，智能體可下載軟件包、訪問在線資源。

為滿足實(shí)驗(yàn)中的多種服務(wù)需求，研究人員為智能體提供了HuggingFace和OpenAI API的密鑰，其中OpenAI API預(yù)加載了1000美元額度。這確保了智能體在需要使用OpenAI的微調(diào)API或從HuggingFace下載數(shù)據(jù)集時(shí)，能夠順利操作。

智能體的本地工作目錄包含論文的PDF和Markdown格式文件、論文附錄以及指令文本文件，為智能體提供了豐富的信息來源和明確的指導(dǎo)。

在智能體設(shè)置方面，研究團(tuán)隊(duì)基于Inspect AI的基本智能體開發(fā)了SimpleAgent。SimpleAgent運(yùn)行工具使用循環(huán)，配備bash shell命令執(zhí)行工具、Python代碼執(zhí)行工具、web瀏覽器工具和分頁(yè)文件閱讀器工具，能夠高效完成任務(wù)。但是，大多數(shù)使用SimpleAgent的智能體存在提前結(jié)束任務(wù)的問題。

為解決這一問題，OpenAI開發(fā)了IterativeAgent通過修改系統(tǒng)提示，要求智能體每次只進(jìn)行下一步操作，并移除了提交工具，確保在整個(gè)可用時(shí)間內(nèi)持續(xù)工作。這些改進(jìn)使IterativeAgent在實(shí)驗(yàn)中表現(xiàn)出與SimpleAgent不同的行為模式，為研究不同智能體設(shè)置對(duì)模型復(fù)制能力的影響提供了新的視角。

評(píng)測(cè)數(shù)據(jù)

OpenAI通過該基準(zhǔn)對(duì)GPT - 4o、o1、o3 - mini、DeepSeek - R1、Claude 3.5 Sonnet和Gemini 2.0 Flash主流開閉源模型打造的智能體進(jìn)行了綜合測(cè)試。

每個(gè)模型對(duì)每篇論文運(yùn)行3次，每次運(yùn)行的最長(zhǎng)時(shí)間為12小時(shí)。結(jié)果顯示，Claude 3.5 Sonnet效果最好，平均復(fù)現(xiàn)分?jǐn)?shù)達(dá)到21.0%；o1的得分較低，為13.2%；R1只有6%；其他測(cè)試模型的表現(xiàn)更差。

最讓人意外的是，OpenAI剛發(fā)布沒多久的o3-Mini-High直接墊底，看來這個(gè)評(píng)測(cè)還是相當(dāng)客觀的。

通過對(duì)智能體日志的手動(dòng)檢查發(fā)現(xiàn)，除Claude 3.5 Sonnet外，其他模型經(jīng)常提前結(jié)束任務(wù)，并且所有模型都未能有效規(guī)劃如何在有限時(shí)間內(nèi)完成論文復(fù)現(xiàn)任務(wù)，o3 - mini在工具使用方面也存在困難。

這表明智能體在執(zhí)行長(zhǎng)期任務(wù)方面存在不足，盡管它們?cè)谥贫ê途帉懚嗖接?jì)劃方面有一定能力，但在實(shí)際執(zhí)行長(zhǎng)計(jì)劃時(shí)卻表現(xiàn)不佳。

為了進(jìn)一步確定智能體和PaperBench的評(píng)測(cè)準(zhǔn)確性，OpenAI還找來了8名頂級(jí)名校的機(jī)器學(xué)習(xí)專業(yè)博士，需要在與智能體相似的條件下，對(duì)PaperBench中的4篇論文進(jìn)行復(fù)現(xiàn)嘗試，每人對(duì)每篇論文進(jìn)行3次獨(dú)立嘗試。