1 個 AI 模型 = 5 輛汽車終身碳排量,AI 為何如此耗能?

資料大小: 112.87KB

所需積分: 0

下載次數:

用戶評論: 0條評論,查看

上傳日期: 2021-01-23

上 傳 者: 發燒友他上傳的所有資料

資料介紹

標簽:自然語言處理(218)AI(17212)神經網絡(2809)

整理|彎月責編|鄭麗媛
出品|CSDN(ID:CSDNnews)

根據最新的研究結果,訓練一個普通的AI模型消耗的能源相當于五輛汽車一生排放的碳總量,而BERT模型的碳排放量約為1400磅二氧化碳,這相當于一個人來回坐飛機橫穿美國。為何AI模型會如此費電,它們與傳統的數據中心計算有何不同?

訓練效率低下

傳統數據中心負責處理的工作包括視頻流,電子郵件和社交媒體。AI所需的計算量則更多,因為它需要讀取大量的數據、持續學習,直到完成訓練。

與人類的學習方式相比,AI的訓練效率非常低下。現代AI使用人工神經網絡,這是模擬人腦神經元的數學計算。每兩個相鄰神經元的連接強度都是神經網絡上的一個參數,名叫權重。神經網絡的訓練則需要從隨機權重開始,一遍遍地運行和調整參數,直到輸出與正確答案一致為止。

常見的一種訓練語言神經網絡的方法是,從維基百科和新聞媒體網站下載大量文本,然后把一些詞語遮擋起來,并要求AI猜測被遮擋起來的詞語。剛開始的時候,AI會全部搞錯,但是,經過不斷地調整后,AI會逐漸學習數據中的模式,最終整個神經網絡都會變得非常準確。

相信你聽說過BERT模型,基于變換器的雙向編碼器表示技術(BidirecTIonalEncoderRepresentaTIonsfromTransformers,簡稱BERT),這是一項由Google提出的自然語言處理(NLP)的預訓練技術。該模型使用了來自維基百科和其他文章的33億個單詞,而且在整個訓練期間,BERT讀取了該數據集40次。相比之下,一個5歲的孩子學說話只需要聽到4500萬個單詞,比BERT少3000倍。

尋找最佳結構

語言模型構建成本如此之高的原因之一在于,在開發模型期間,上述訓練過程需要反復多次。因為研究人員需要將神經網絡調整到最優,即確定神經元的個數、神經元之間的連接數以及各個權重。他們需要反復嘗試很多組合,才能提高神經網絡的準確度。相比之下,人類的大腦不需要尋找最佳結構,經過幾億年的進化,人類大腦已具備這種結構。

隨著各大公司和學術界在AI領域的競爭愈演愈烈,不斷提高技術水平的壓力也越來越大。在自動翻譯等難度巨大的任務中,如果能將準確度提高1%,也將被視為重大的進步,可以作為宣傳產品的籌碼。然而,為了獲得這1%的提升,研究人員需要嘗試成千上萬的結構來訓練模型,直到找到最佳模型。

隨著模型不斷發展,模型的復雜度逐年攀高。另一款與BERT類似的最新語言模型GPT-2,其神經網絡包含15億個權重。而GPT-3由于其高精度,引起了業界的轟動,但其權重高達1750億個。

此外,AI模型的訓練需要在專用硬件(例如圖形處理器)上進行,這些硬件的功耗普遍高于傳統CPU。如果你的筆記本電腦加載了優質的顯卡,可以玩很多高端游戲,那么你肯定會注意到這臺機器產生的熱量也比普通電腦高很多。

所有這些都表明,開發先進的AI模型需要大量的碳排放量。除非我們能夠利用百分百可再生能源,否則真的懷疑AI的進步與減少溫室氣體排放以及減緩氣候變化,孰重孰輕?是否真的可以功過相抵?

最后,開發AI的耗資如此巨大,能夠承擔得起各項費用的公司與機構實在少之又少,最終究竟應該開發哪種模型的決定權無疑也落到了這群人的手中。

AI模型訓練應該適可而止

本文并不是要否定人工智能研究的未來,只不過在訓練AI模型的時候,我們需要采用更高效的方法,而且應該做到適可而止。

隨著AI模型訓練方法的效率提升,相信訓練的成本也會下降。同時,我們需要在訓練模型的成本和使用模型的成本之間權衡取舍。例如,在AI模型準確度到達一定高度后,每提升1%都需要付出巨大的精力,而實際得到的收益卻很少。不追求極致,更多地使用“適可而止”的模型,不僅可以降低碳排放量,而且也能為我們帶來更大獲益。

參考鏈接:https://levelup.gitconnected.com/test-driven-development-is-overrated-ad9f0491c11d

本文轉自:CSDN,轉載此文目的在于傳遞更多信息,版權歸原作者所有。

用戶評論

查看全部 條評論

發表評論請先 , 還沒有賬號?免費注冊

發表評論

用戶評論
技術交流、我要發言! 發表評論可獲取積分! 請遵守相關規定。
上傳電子資料
ag街机斗三公有假吗 哪个平台有5分钟幸运快三 极速赛车app官网 ab视讯-官方 mg平台下载网址 广西快3开奖结果今天 淘宝快3秘籍 湖北快三豹子规律分析 甘肃快3开奖现场直播 搜索 甘肃快3开奖结果 天下彩天空彩兔费资料 bg真人骰子 bg视讯厅介绍 上海天天彩选4最新开奖结果 热购彩票官方网站-Welcome 悟空彩票官方网站-Welcome 壹贰博官方网站-Welcome