国产精品久久久久国产a级,亚洲欧美一级,91se在线

作者：James Kobielus是Wikibon的數(shù)據(jù)科學(xué)、深度學(xué)習(xí)和應(yīng)用軟件開發(fā)首席分析師。之前，James是IBM的數(shù)據(jù)科學(xué)宣傳官。

如果這種方法深入人心，它有可能徹底顛覆數(shù)據(jù)科學(xué)界的標(biāo)準(zhǔn)實(shí)踐或做法。

數(shù)據(jù)科學(xué)的發(fā)展已遠(yuǎn)超出了科學(xué)領(lǐng)域。現(xiàn)在，它是許多顛覆性業(yè)務(wù)應(yīng)用系統(tǒng)的核心和靈魂。

無論在什么地方，企業(yè)數(shù)據(jù)科學(xué)實(shí)踐或做法已在24x7全天候DevOps工作流程中變成了工業(yè)化。在這種趨勢(shì)下，圍繞AI的機(jī)器學(xué)習(xí)DevOps管道中的幾乎每個(gè)過程都實(shí)現(xiàn)了自動(dòng)化。

AI神經(jīng)網(wǎng)絡(luò)算法的建模實(shí)現(xiàn)自動(dòng)化

建模是邁向端到端數(shù)據(jù)科學(xué)管道自動(dòng)化這個(gè)過程中的下一個(gè)、也許是最終的里程碑。現(xiàn)在，大多數(shù)數(shù)據(jù)科學(xué)工具包已經(jīng)含有用于使模型特征工程和超參數(shù)調(diào)整實(shí)現(xiàn)自動(dòng)化的工具。這種趨勢(shì)下的下一批里程碑之一（有時(shí)名為AutoML）就是開發(fā)標(biāo)準(zhǔn)的“神經(jīng)架構(gòu)搜索”（neural architecture search）方法。這是指用于使這項(xiàng)任務(wù)實(shí)現(xiàn)自動(dòng)化的一套工具和方法：為屬于AI機(jī)器學(xué)習(xí)模型核心的卷積、循環(huán)及其他神經(jīng)網(wǎng)絡(luò)架構(gòu)創(chuàng)建經(jīng)過優(yōu)化的架構(gòu)。

實(shí)際上，神經(jīng)架構(gòu)搜索需要定制機(jī)器學(xué)習(xí)模型的算法“神經(jīng)元”的結(jié)構(gòu)、權(quán)重和超參數(shù)，以便使這些算法神經(jīng)元更準(zhǔn)確、更快速、更高效地執(zhí)行數(shù)據(jù)驅(qū)動(dòng)的推理。通過針對(duì)最嚴(yán)峻的AI挑戰(zhàn)，自動(dòng)構(gòu)建新穎的神經(jīng)架構(gòu)，它可以帶來準(zhǔn)確性、效率和速度都前所未有的AI應(yīng)用軟件。通過使傳統(tǒng)上使用手動(dòng)技術(shù)執(zhí)行的耗時(shí)、容易出錯(cuò)的神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)流程實(shí)現(xiàn)自動(dòng)化，它可以把數(shù)據(jù)科學(xué)家解放出來，利用他們的創(chuàng)造力，將更具顛覆性的智能做入到從云微服務(wù)到邊緣設(shè)備的一切中。

隨著神經(jīng)架構(gòu)搜索從研發(fā)領(lǐng)域進(jìn)入到企業(yè)數(shù)據(jù)科學(xué)家的工作平臺(tái)，它有望徹底改變構(gòu)建和優(yōu)化AI應(yīng)用軟件以實(shí)現(xiàn)預(yù)期目的的實(shí)踐或做法。它有望大大減少針對(duì)預(yù)期用途訓(xùn)練機(jī)器學(xué)習(xí)模型這一需求，因而可以減少AI開發(fā)人員利用數(shù)據(jù)湖的大量計(jì)算、內(nèi)存和存儲(chǔ)資源這一需求。它還可以提高數(shù)據(jù)科學(xué)家的工作效率，指導(dǎo)他們的決策：無論是基于線性回歸和隨機(jī)森林算法之類的既有算法來構(gòu)建機(jī)器學(xué)習(xí)模型，還是基于任何更新穎、更高級(jí)的神經(jīng)網(wǎng)絡(luò)算法來構(gòu)建機(jī)器學(xué)習(xí)模型。

探究神經(jīng)架構(gòu)搜索的各種算法方法

研究文獻(xiàn)表明，在實(shí)驗(yàn)室環(huán)境下，神經(jīng)架構(gòu)搜索方法的表現(xiàn)已經(jīng)比手動(dòng)設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)更勝一籌。諸多技術(shù)方法已應(yīng)用于諸如圖像分類、對(duì)象檢測(cè)和語義分割之類的AI任務(wù)，它們包括如下：

進(jìn)化算法：自1990年代以來，這類算法就一直是神經(jīng)架構(gòu)搜索的基礎(chǔ)；實(shí)際上，它們現(xiàn)在被OpenAI、優(yōu)步實(shí)驗(yàn)室、Sentient Labs、DeepMind和谷歌Brain團(tuán)隊(duì)用于各種AutoML項(xiàng)目。研究人員歷來使用進(jìn)化算法來改進(jìn)神經(jīng)架構(gòu)和權(quán)重。他們進(jìn)化出了一組模型，并且在每個(gè)步驟中從該模型組中抽取至少一個(gè)模型，通過對(duì)其進(jìn)行突變，充當(dāng)自動(dòng)生成后代模型的父模型。就神經(jīng)架構(gòu)搜索而言，突變需要添加或刪除層、更改層的超參數(shù)、添加跳過連接（skip connection）以及更改訓(xùn)練超參數(shù)。在訓(xùn)練后代模型后，評(píng)估其適用性（應(yīng)用于驗(yàn)證數(shù)據(jù)集），并在適當(dāng)時(shí)添加到模型組中。
強(qiáng)化學(xué)習(xí)：在過去幾年里，這類算法在新的神經(jīng)架構(gòu)搜索項(xiàng)目中很流行。用強(qiáng)化學(xué)習(xí)的術(shù)語來說，神經(jīng)架構(gòu)的生成是代理的行為，代理的回報(bào)基于對(duì)經(jīng)過訓(xùn)練的架構(gòu)處理未見過數(shù)據(jù)的性能的評(píng)估。不同的強(qiáng)化學(xué)習(xí)方法以不同的方式優(yōu)化代理的神經(jīng)架構(gòu)搜索策略，并以不同的方式對(duì)架構(gòu)、超參數(shù)、權(quán)重和狀態(tài)進(jìn)行編碼。一些項(xiàng)目不用明確的權(quán)重訓(xùn)練就可以報(bào)告可接受的結(jié)果。這些方法往往會(huì)在很長(zhǎng)一段時(shí)間內(nèi)使用大量的計(jì)算資源來獲得結(jié)果，不過研究人員繼續(xù)降低計(jì)算成本，并進(jìn)一步提升性能。
基于梯度的方法：這類算法通過對(duì)驗(yàn)證數(shù)據(jù)（用于網(wǎng)絡(luò)架構(gòu)）和訓(xùn)練數(shù)據(jù)（用于權(quán)重）進(jìn)行隨機(jī)梯度下降步驟的交替來執(zhí)行神經(jīng)架構(gòu)搜索。這種方法可擴(kuò)展到數(shù)百萬個(gè)權(quán)重以及擁有復(fù)雜超參數(shù)的高度連接的架構(gòu)。最近的神經(jīng)進(jìn)化方法還依賴基于梯度的方法來優(yōu)化權(quán)重。
貝葉斯優(yōu)化：從本世紀(jì)初開始，這類算法一直是神經(jīng)架構(gòu)搜索的流行方法。它已被用來創(chuàng)建用于計(jì)算機(jī)視覺和數(shù)據(jù)增強(qiáng)的最佳神經(jīng)網(wǎng)絡(luò)架構(gòu)。
隨機(jī)搜索：這類算法使用基于樹的模型來有效搜索高維度條件空間，以優(yōu)化神經(jīng)架構(gòu)及其超參數(shù)。

向神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索投入敏捷和海量的計(jì)算資源

還有其他研究人員從一組初始的神經(jīng)網(wǎng)絡(luò)架構(gòu)開始入手，然后將其發(fā)展成一種能夠?qū)Σ煌瑪?shù)據(jù)類型進(jìn)行各種推斷的單一架構(gòu)。這方面進(jìn)行嘗試的一個(gè)項(xiàng)目是美國(guó)能源部橡樹嶺國(guó)立實(shí)驗(yàn)室搞的。該實(shí)驗(yàn)室的MENNDL項(xiàng)目可以自動(dòng)發(fā)現(xiàn)、生成和測(cè)試與任何特定的AI建模挑戰(zhàn)有關(guān)的數(shù)百萬個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)。

目前，該實(shí)驗(yàn)室的研究人員使用MENNDL自動(dòng)構(gòu)建神經(jīng)網(wǎng)絡(luò)以分析癌癥掃描結(jié)果。 MENNDL實(shí)現(xiàn)了一個(gè)基于Python的框架，通過重新組合此類架構(gòu)的可重用組件來生成新的神經(jīng)網(wǎng)絡(luò)。它創(chuàng)建新神經(jīng)網(wǎng)絡(luò)架構(gòu)的速度比以前的手動(dòng)過程快16倍。MENNDL是計(jì)算密集型的，在一臺(tái)含有4608個(gè)節(jié)點(diǎn)的1.3 exaflop超級(jí)計(jì)算機(jī)上運(yùn)行，每個(gè)節(jié)點(diǎn)包含兩個(gè)IBM POWER9 CPU和六個(gè)英偉達(dá)Volta GPU。典型的MENNDL作業(yè)在這臺(tái)超級(jí)計(jì)算機(jī)上的總共9216個(gè)CPU和27648個(gè)GPU上運(yùn)行處理混合精度浮點(diǎn)運(yùn)算的代碼。

在為特定數(shù)據(jù)集創(chuàng)建的數(shù)百萬個(gè)潛在架構(gòu)中，MENNDL根據(jù)神經(jīng)網(wǎng)絡(luò)的大小、訓(xùn)練所需的計(jì)算密集強(qiáng)度以及在掃描中檢測(cè)腫瘤的準(zhǔn)確性來選擇最佳的架構(gòu)。然后它選擇的模型通過單獨(dú)的工具加以高強(qiáng)度訓(xùn)練，這些工具針對(duì)特定的推理挑戰(zhàn)來優(yōu)化模型。這些模型又由研究人員存儲(chǔ)起來，以便為各種各樣的應(yīng)用挑戰(zhàn)構(gòu)建可重用的神經(jīng)網(wǎng)絡(luò)架構(gòu)庫(kù)。

挖掘神經(jīng)網(wǎng)絡(luò)修剪的潛力

最有前途的神經(jīng)架構(gòu)搜索方法之一需要找到用于事先“修剪”神經(jīng)網(wǎng)絡(luò)的最佳方法。或者，一些研究人員從稀疏網(wǎng)絡(luò)開始入手，僅在必要時(shí)添加連接和其他復(fù)雜性。

這些方法在文獻(xiàn)中越來越明顯，它們生成的稀疏神經(jīng)網(wǎng)絡(luò)僅保留一小部分的連接，而在推理任務(wù)方面與完整的未修剪網(wǎng)絡(luò)相比保持了與之相似甚至更好的性能。它們一開始就提高了神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和效率，避免或大大減少了在部署之前對(duì)其進(jìn)行訓(xùn)練的需求。

麻省理工學(xué)院（MIT）的最新研究使用修剪技術(shù)顯著減少了進(jìn)行神經(jīng)架構(gòu)搜索所需的計(jì)算能力。研究人員已開發(fā)出了一種神經(jīng)架構(gòu)搜索算法，該算法可以直接學(xué)習(xí)針對(duì)目標(biāo)硬件平臺(tái)的專門的卷積神經(jīng)網(wǎng)絡(luò)――僅需200個(gè)GPU小時(shí)即可處理完海量圖像數(shù)據(jù)集，這有望讓這些類型的算法支持廣泛得多的應(yīng)用領(lǐng)域。

為了實(shí)現(xiàn)這一目標(biāo)，他們開發(fā)了修剪不必要的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)組件的方法，因而縮短了計(jì)算時(shí)間，只需要一小部分的硬件內(nèi)存即可運(yùn)行神經(jīng)架構(gòu)搜索算法。每個(gè)輸出的網(wǎng)絡(luò)在特定的硬件平臺(tái)上（比如CPU和GPU）運(yùn)行起來都比傳統(tǒng)手動(dòng)方法設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)來得高效。

神經(jīng)架構(gòu)搜索算法可以在較小的代理數(shù)據(jù)集上運(yùn)行，并將學(xué)習(xí)到的網(wǎng)絡(luò)快速轉(zhuǎn)移到生產(chǎn)環(huán)境中的較大數(shù)據(jù)集，準(zhǔn)確性并不損耗。為了達(dá)到這種速度和效率，研究人員開發(fā)出了一種名為“路徑級(jí)二值化”（path-level binarization）的技術(shù)，該技術(shù)一次僅存儲(chǔ)一個(gè)采樣的神經(jīng)網(wǎng)絡(luò)路徑，再結(jié)合路徑級(jí)修剪，可以自動(dòng)調(diào)整路徑的概率以同時(shí)優(yōu)化準(zhǔn)確性和效率。該方法還使用每個(gè)目標(biāo)硬件平臺(tái)上的延遲作為反饋信號(hào)來優(yōu)化架構(gòu)。

如果這種方法深入人心，它有可能徹底顛覆數(shù)據(jù)科學(xué)界的標(biāo)準(zhǔn)實(shí)踐或做法。正如本文所討論的那樣，它有望大幅減少神經(jīng)網(wǎng)絡(luò)的大小，提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性和效率，并使任何人都能夠構(gòu)建高度優(yōu)化的網(wǎng)絡(luò)，無需使用龐大的服務(wù)器集群和數(shù)據(jù)湖。

隨著這股趨勢(shì)愈演愈烈，有一天可能會(huì)消除像谷歌、亞馬遜和微軟這些公司在構(gòu)建先進(jìn)復(fù)雜的AI方面所擁有的與超大規(guī)模計(jì)算有關(guān)的優(yōu)勢(shì)。在此過程中，它可能加快AI的持續(xù)大眾化，因而哪怕一個(gè)人的小公司也能開發(fā)出令人震驚的創(chuàng)新，這些創(chuàng)新以前憑借它們可憐的資源是不可能取得的。

特別聲明：

文章來源：云頭條

原文鏈接：https://mp.weixin.qq.com/s/yk7YaMVTBYiqBoVSw6Y_5g

RPA中國(guó)推薦閱讀，轉(zhuǎn)載此文是出于傳遞更多信息之目的。如有來源標(biāo)注錯(cuò)誤或侵權(quán)，請(qǐng)聯(lián)系更正或刪除，謝謝。

繼續(xù)閱讀：AI 人工智能