|
|
36#
樓主 |
發(fā)表于 2025-3-12 14:09:31
|
只看該作者
關(guān)于當(dāng)前的AI，我的個人認(rèn)識如下
1.大模型就是個孩子,，天生有資質(zhì)差異(基因),。
2. 這個基因由基本架構(gòu)(如transform)參數(shù)量和基本訓(xùn)練組成。
3.基本訓(xùn)練的好壞取決于訓(xùn)練數(shù)據(jù)集的廣度和深度(這部分決定性的訓(xùn)練在于語言理解能力),。
4.訓(xùn)練需要大量的算力(時間+硬件)和優(yōu)秀的教法,。缺一不可。
5.其他人可以在一個訓(xùn)練好的開源模型上微調(diào),。
6.微調(diào)相當(dāng)于你把別人的孩子領(lǐng)回家,，教他新的東西，如果你教的好,，他在某些方面會明顯超過原模型,。重要的是,，你能教的那些知識他原來學(xué)過，你可以用更好的數(shù)據(jù)更好的方法糾正他原來學(xué)的不扎實(shí)的部分而不用全教一遍(這可能就是deepseek的蒸餾技術(shù)),。
7.所以你微調(diào)需要的算力很低,，但你得先有那個孩子(千問)。
8.要有更好的效果,，你得有一個基因更好的孩子,，基因太差，單靠教育(微調(diào))很難提升,。重新訓(xùn)練又太吃算力,。
9.所以決定AI能力最重要的幾個因素是架構(gòu)，算力,，數(shù)據(jù)及教法,。架構(gòu)也許可以理解成社會制度，算力也許是人腦基因,，數(shù)據(jù)及教法可能是日月山川,，四季輪回及天命。
10.除了算力,，其他三個中國還是有競爭的可能的,。
11.目前的架構(gòu)和人腦相去甚遠(yuǎn)，目前的架構(gòu)下實(shí)現(xiàn)AGI可能,，但不可能實(shí)現(xiàn)ASI,，所以人還可以領(lǐng)先很久，人的價值永恒,。
12.如果能找到一種全新架構(gòu),，比如像人腦一樣實(shí)現(xiàn)多維層間鏈接，那可能是個巨大的效率提升,，暫時性的實(shí)現(xiàn)超車,。
13.目前硬件架構(gòu)中最接近人腦架構(gòu)的是神經(jīng)擬態(tài)芯片。但這玩意也要靠光刻機(jī),。
14.大模型的開源和從前軟件的開源是完全不同的概念,。數(shù)據(jù)集，訓(xùn)練方法不同,，代碼相同的大模型根本就不是一個東西,。另外由于算力導(dǎo)致的時間差異，也會導(dǎo)致根本不可能存在兩個一樣的模型(人不可能兩次踏進(jìn)同一條河流),。
|
|
樓主: 極限思維
發(fā)表于 2025-3-12 11:31:09
,，但是grok似乎能看懂草圖
