會議大約持續了四十分鐘左右,陳宇給各大開發團隊都佈置好了任務。伏魔府 www.fumofu.com
公司技術部門的項目組也不少,涉及到自然語言處理、推薦系統、圖像生成、深度強化學習、計算機視覺、機械人技術。
量化資本,外界都把該公司認定為一家投資管理公司,實際上是偽裝成投資管理公司的高科技公司。
隨着會議結束,其它人都離開了會議室,就只剩下了方鴻和陳宇兩人。
「你定的發展路線我認為沒有沒問題。」方鴻笑着說道「不過也不能放緩,我這裏有可靠消息,谷歌那邊,他們的人工智能實驗室gp在一次內部會議上提出了一個想法,即讓機器能夠『學習』語言和語法,也跟你一樣也在搞語言模型。」
陳宇驚訝道「谷歌也在搞?技術水平達到什麼程度了?」
作為群星資本真正的幕後大b,陳宇相信他這麼說,應該是掌握了可靠的資料。
方鴻淡定道「沒你的先進,這一點我可以肯定。」
根據前世的記憶,今年10月份左右,谷歌應該會發佈一個基於gpt的語言模型,該模型通過對輸入的編碼來學習語言,主要是一個預訓練的語言模型,不過谷歌在此之前也沒有開發過這種語言模型。
聽到方鴻這麼一說,陳宇頓時放心了不少,這個領域是一步領先往往是步步領先,ai的發展速度往往是以指數級增長的速度快速發展起來。
片刻後,陳宇看向方鴻說道「我們的ai大模型,第一代的疊代研發任務是實現可以生成人類文本,有百億量級的參數規模支持,目前已經進入第二代研發,比第一代更大、更強,可以對各種提示產生連貫而有吸引力的回應,參數規模達到了五百億量級。」
「至於第三代模型應該需要2000億個參數支持,第三代的目標是更大、更強大、更先進,在多個自然語言處理任務上達到驚人的表現。」
「對於ai大模型的升級,需要強大的底層能力的支持才能玩得轉,要通過大算力、大規模訓練數據突破ai的瓶頸,運營成本也是非常龐大,現在一個月的運營成本就超過了3億元人民幣的規模。」
聞言,方鴻言簡意賅道「錢不是問題,不夠我管夠。」
陳宇笑道「真不夠我會找你要。」
其底層能力包括算力資源、數據存儲、電力供應、網絡帶寬等。
這些都是很燒錢的東西。
ai的訓練需要使用大規模的算力資源,包括gpu、gpu等,雲計算可以為其提供強大、彈性擴張的計算資源。
雲計算底層的數據中心可以提供高性能的計算機和硬件設備,並且可以進行優化,提高算力資源的利用率,從而加速ai的訓練和生成速度,同時也可以提供強大的並行計算能力,多個計算任務同時分配在不同的計算節點中進行計算,提高訓練效率和速度。
除此之外,訓練ai需要對網絡也有要求,一個是鏈路負載均衡要做到完美,另一個便是網絡出現故障時能快速恢復。
因為「木桶效應」,只要有一條鏈路出現負載不均導致網絡堵塞,成為了木桶的短板,那麼即便其它兩路暢通無阻,集合通信時間依然會大幅增加,從而影響訓練效率。
跟一核有難多核圍觀有異曲同工之處。
隨着集群規模增大,鏈路故障也在所難免,類似的一條鏈路故障就會導致整個通信停滯,進而使得模型訓練停滯,所以必須要做到出現故障能快速修復。
方鴻翹着二郎腿後仰背靠椅子,一手趁着椅子扶手,若有所思地說「你的這個ai還差一個元素。」
聞言,陳宇好奇道「差什麼?」
方鴻言簡意賅地說「形象。」
陳宇微愣「形象?」
方鴻旋即展開說道「如何讓產品更加
html|sitemap|shenma-sitemap|shenma-sitemap-new|sitemap50000|map|map50000
0.0193s 3.9982MB