 |
2020年5月底OpenAI發布了有史以來最強的NLP預訓練模型GPT-3，最大的GPT-3模型參數達到了1750億個參數。論文《Language Models are Few-Shot Learners》長達74頁已發布在arXiv。
有網友估算最大的GPT-3模型大小大約有700G，這個大小即使OpenAI公開模型，我們一般的電腦也無法使用。一般需要使用分布式集群才能把這個模型跑起來。雖然OpenAI沒有公布論文的花費，不過有網友估計這篇論文大約花費了上千萬美元用於模型訓練。
如此驚人的模型在模型的設計上和訓練上有什麼特別之處嗎？答案是沒有。作者表示GPT-3的模型架構跟GPT-2是一樣的，隻是使用了更多的模型參數。模型訓練也跟GPT-2是一樣的，使用預測下一個詞的方式來訓練語言模型，隻不過GPT-3訓練時使用了更多的數據。
既然這樣，那這隻怪獸特別之處是什麼？GPT-3論文的核心在於下圖：
 |
|
| 資料獲取 | |
| 新聞資訊 | |
| == 最新資訊 == | |
| » 國標《智慧城市 智慧多功能杆 服務功能與 | |
| » 人工智能之數據挖掘2020年第9期 | |
| » 噴霧消毒殺菌機器人 | |
| » 中國通信學會發布《全球人工智能基礎設施戰 | |
| » 創澤集團受邀參加工信部 AI 精準賦能中 | |
| » 人工智能案例 依圖科技：不斷崛起的AI | |
| » 2020年麵向人工智能新基建的知識圖譜行 | |
| » 破解AI工程化難題，AI中台助力企業智能 | |
| » 淺析我國消防機器人發展現狀與趨勢 | 山 | |
| » 【華為出品】智能體白皮書2020 | |
| » “先行示範•智贏未來” 創澤 | |
| » 創澤集團牽頭起草的全國首個《應用於滅菌消 | |
| » 創澤集團智能機器人新品發布會！多款自主研 | |
| » AIIA2020人工智能開發者大會開幕 | |
| » 人工智能人才發展報告：亞太地區創新與招聘 | |
| == 機器人推薦 == | |
服務機器人(迎賓、講解、導診...) |
|
智能消毒機器人 |
|
安防巡檢機器人 |
|
人工智能垃圾站 |
 |
| 機器人招商 Disinfection Robot 機器人公司 機器人應用 智能醫療 物聯網 機器人排名 機器人企業 機器人政策 教育機器人 迎賓機器人 機器人開發 獨角獸 消毒機器人品牌 消毒機器人 合理用藥 地圖 |
