视频一区二区在线观看,久久er精品视频,国产精品二区三区

11月30日，開源生成式AI平臺(tái)Together AI在官網(wǎng)宣布，獲得1.025億美元（約7.3億元）A輪融資。本次由凱鵬華盈 (Kleiner Perkins) 領(lǐng)投，英偉達(dá)、Emergence Capital、 NEA、Prosperity 7、Greycroft等跟投。

公開資料顯示，Together AI創(chuàng)立于2022年6月，總部位于美國舊金山硅谷。曾在今年5月15日獲得2000萬美元種子輪融資，是大模型開源領(lǐng)域發(fā)展非常快的一家企業(yè)。

產(chǎn)品方面，Together AI堅(jiān)信開源才是大模型的未來，自成立以來便發(fā)布了多個(gè)受到企業(yè)、開發(fā)者好評(píng)的開源產(chǎn)品。

分別是類ChatGPT開源模型RedPajama-INCITE，開源30萬億訓(xùn)練數(shù)據(jù)集RedPajama-Data-v2，開源大語言模型訓(xùn)練、推理加速器FlashAttention v2。

下面，「AIGC開放社區(qū)」將介紹這些主打開源產(chǎn)品并附帶地址。

RedPajama-INCITE：是Together AI在今年5月初發(fā)布的一款類ChatGPT開源模型，主要包括30億、70億兩種參數(shù)，特點(diǎn)是功能強(qiáng)大算力消耗低，可在筆記本、普通顯卡運(yùn)行，適用于中小企業(yè)和個(gè)人開發(fā)者。

30億參數(shù)開源地址：https://huggingface.co/togethercomputer/RedPajama-INCITE-Base-3B-v1

70億參數(shù)開源地址：https://huggingface.co/togethercomputer/RedPajama-INCITE-Chat-7B-v0.1

RedPajama-Data-v2：今年3月Together AI首次開源了1萬億訓(xùn)練數(shù)據(jù)集，受到開發(fā)者的極大好評(píng)下載量近20萬次。

最近，又開源了專門用于訓(xùn)練大語言模型的30萬億訓(xùn)練數(shù)據(jù)集RedPajama-Data-v2，這也是目前最大的開源數(shù)據(jù)集。

該數(shù)據(jù)集包含1000 億個(gè)文本文檔，其中300億文檔已進(jìn)行了標(biāo)記，支持英語、法語、西班牙語、德語和意大利語5種語言。

30萬億開源訓(xùn)練數(shù)據(jù)集

github地址：https://github.com/togethercomputer/RedPajama-Data

Huggingface地址：https://huggingface.co/datasets/togethercomputer/RedPajama-Data-V2

FlashAttention v2：這是Together AI首席科學(xué)家Tri Dao博士，在今年7月17日發(fā)布的一款大語言模型訓(xùn)練、推理加速器，已經(jīng)被 OpenAI、Anthropic、Meta等知名科技巨頭使用，其性能可見一斑。

FlashAttention-2將大語言模型的訓(xùn)練和微調(diào)效率提高了4倍，并在 NVIDIA A100上的訓(xùn)練中實(shí)現(xiàn)了72%的模型 FLOP 利用率。

幾乎成為Transformer 架構(gòu)模型使用最多的訓(xùn)練、推理加速器，支持100多種主流大語言模型。

FlashAttention v2開源地址：https://github.com/Dao-AILab/flash-attention

此外，隨著ChatGPT的影響不斷擴(kuò)大受眾用戶、初創(chuàng)企業(yè)呈指數(shù)級(jí)增長，Together AI還新增了全新的生成式AI云平臺(tái)服務(wù)。

Together AI與英偉達(dá)、 Crusoe Cloud、Vultr等伙伴進(jìn)行合作，在歐美地區(qū)運(yùn)營了一個(gè)云計(jì)算中心，為生成式AI初創(chuàng)企業(yè)提供推理、訓(xùn)練等服務(wù)。例如，剛獲得5500萬美元融資的文生視頻平臺(tái)Pika Labs，便是他們的忠實(shí)用戶。

本文素材來源Together AI官網(wǎng)，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：