OpenAI提議像管核設(shè)施一樣管AI,！

Callejon

OpenAI三位掌舵人聯(lián)名發(fā)文，提議像管核設(shè)施一樣管AI,！

他們預(yù)言十年內(nèi)AI產(chǎn)出將與大公司相當,。而超級智能是一把“雙刃劍”，必須要受到監(jiān)管,。

近日,，OpenAI CEO Sam Altman,、總裁Greg Brockman和首席科學家Ilya Sutskever聯(lián)名發(fā)表了一篇“呼吁信”,，認為世界需要建立一個國際人工智能監(jiān)管機構(gòu)，而且要穩(wěn)中求快建立起來,。

他們解釋說：

人工智能的創(chuàng)新速度如此之快,，我們不能指望現(xiàn)有的權(quán)威機構(gòu)能夠充分控制這項技術(shù)。

OpenAI此舉受到大量關(guān)注,，推特上轉(zhuǎn)贊已超3000：

馬斯克也來評論底下湊了熱鬧,，“控制很重要”：

有網(wǎng)友認為OpenAI提出這樣的舉措，阻礙了開放人工智能社區(qū)的發(fā)展,，這看起來是自私的,，與OpenAI的名稱相違背：

也有網(wǎng)友對OpenAI提出的監(jiān)管AI表示認同：

很高興看到這些問題受到更嚴肅的關(guān)注,。

其實，在上周美國國會聽證會上,，Altman就針對AI安全問題提出了三條措施：

• 成立一個新的機構(gòu),，負責為AI大模型頒發(fā)許可，并擁有撤銷許可的權(quán)力,。
• 為AI模型創(chuàng)建一套安全標準,，對危險性做評估，包括它們是否能夠“自我復(fù)制”,、“逃出實驗室自己行動”,。
• 要求獨立專家對模型的各種指標做獨立審計。
  

OpenAI此次再次呼吁建立監(jiān)管機構(gòu),。

在文章中,，OpenAI高層承認人工智能不會自我管理，未來十年內(nèi)人工智能系統(tǒng)將在很多領(lǐng)域超越專家水平,，并且產(chǎn)出能夠與當今的最大企業(yè)相匹敵,。

人工智能的發(fā)展已是大勢所趨，要想限制它的發(fā)展就需要類似全球監(jiān)視體制的東西出現(xiàn),。

國外媒體TechCrunch認為,，雖然OpenAI的提議相當于“也許我們應(yīng)該做點什么”（也帶有一點自夸的傾向），但這“至少是一個起點”,。

下面是OpenAI此次發(fā)布的文章全文編譯：

超級智能的治理

現(xiàn)在是思考超級智能治理的好時機——未來的人工智能系統(tǒng)在能力上將遠超通用人工智能（AGI）,。

從我們目前的觀察來看，可以想象在接下來的十年內(nèi),，人工智能系統(tǒng)將在大多數(shù)領(lǐng)域超越專家水平,，其產(chǎn)出能夠與當今最大的企業(yè)相當。

無論是從潛在的積極影響還是負面影響來說,，超級智能都比人類曾經(jīng)面對的其它技術(shù)更加強大,。這意味著我們可能會迎來一個極其繁榮的未來。

然而,，為了實現(xiàn)這個目標,，我們必須有效地管理其中的風險�,？紤]到潛在的存在主義風險(existential risk),，我們不能僅僅采取被動的應(yīng)對措施。核能就是一個常見的例子,，具備類似特性的技術(shù)還包括合成生物學,。

我們需要降低當前人工智能技術(shù)的風險，但對于超級智能,，我們需要特別的處理和協(xié)調(diào)機制,。

一個起點

在引導人工智能向良發(fā)展的過程中,，有許多重要的想法需要我們考慮。

在這里,，我們首先對其中的三個想法進行了初步思考：

首先,，為了確保超級智能的發(fā)展可以在安全的前提下與社會順利融合，我們需要在前沿的研發(fā)工作之間進行一定程度的協(xié)調(diào),。

實現(xiàn)這一目標可以采取多種方式：全球各政府可以組建一個項目,，將現(xiàn)有的許多工作納入其中；或者我們可以達成一致意見（像下文所建議的,，在新組織的支持下）,，限制人工智能能力的研發(fā)增長速度，每年將其保持在一定幅度之內(nèi),。

當然,，我們應(yīng)該要求各個公司以極高的標準負責任地行事。

其次,，最終我們很可能需要類似國際原子能機構(gòu)（IAEA）這樣的機構(gòu)來管理超級智能,。任何達到一定能力（或計算資源等）門檻的項目都應(yīng)受到國際權(quán)威機構(gòu)的監(jiān)管。

該機構(gòu)可以檢查系統(tǒng),、要求審計,、測試是否符合安全標準，以及限制部署程度和安全級別等,。跟蹤計算和能源使用情況可能會有很長的路要走,，我們需要得到一些使這個想法可以實現(xiàn)的希望。

作為第一步,，公司可以自愿同意開始實施這樣一個機構(gòu)未來可能要求的一些準則,；第二步，各個國家可以逐步實施,。重要的是,，這樣的一個機構(gòu)應(yīng)該專注于降低存在主義風險，而不是處理本應(yīng)由各個國家解決的問題,，比如規(guī)定人工智能能夠說些什么,。

第三，我們需要具備技術(shù)能力來確保超級智能的安全性,。這是一個開放的研究問題,，我們和其他人正在為此付出很多努力。

不在監(jiān)管范圍內(nèi)的部分

我們認為允許公司和開源項目在明顯的能力門檻以下開發(fā)模型是非常重要的,，無需采取我們所描述的監(jiān)管措施（包括繁瑣的機制，如許可證或?qū)徍耍��?/font>

現(xiàn)今的系統(tǒng)將為世界帶來巨大的價值,，雖然它們的確存在風險,，但它們所帶來的風險程度與其它互聯(lián)網(wǎng)技術(shù)相當,，而且社會對此的處理方式似乎是恰如其分的。

相比之下,，我們關(guān)注的系統(tǒng)是那種具有超越目前任何技術(shù)的力量,。

我們應(yīng)該注意的是，不要通過對遠低于這個標準的技術(shù),，應(yīng)用相似的標準來淡化對它們的關(guān)注,。

公眾參與和潛力

然而，對于最強大系統(tǒng)的治理以及與其相關(guān)的部署決策,，必須受到公眾強有力的監(jiān)督,。

我們認為全世界的人們應(yīng)該以民主的方式?jīng)Q定AI系統(tǒng)的界限和默認設(shè)置。

雖然我們還不知道如何設(shè)計這樣的機制,，但我們計劃進行試驗來推動,。而在界限之內(nèi)，我們?nèi)匀粓猿终J為個體用戶應(yīng)該對所使用的AI系統(tǒng)的行為擁有很大的控制權(quán),。

考慮到其中的風險和困難,，我們有必要思考為什么要構(gòu)建這項技術(shù)。

對于OpenAI來說,，我們有兩個根本原因,。

首先，我們相信它將帶來一個比我們今天能夠想象的更美好的世界（在教育,、創(chuàng)意工作和個人生產(chǎn)力等領(lǐng)域,，我們已經(jīng)看到了早期的成果）。

世界面臨著許多問題,，我們需要更多幫助來解決這些問題,，而這項技術(shù)可以改善我們的社會。每個人使用這些新工具的創(chuàng)造力肯定會讓我們感到驚嘆,。經(jīng)濟增長和生活質(zhì)量的提高也將是令人吃驚的,。

其次，我們相信阻止超級智能的創(chuàng)建是具有非直觀風險和困難的,。因為其帶來的好處是非常巨大的,，建造它的成本每年都在下降，而參與者數(shù)量在迅速增加,。

它本質(zhì)上是我們所走的技術(shù)道路的一部分,，要監(jiān)管它的發(fā)展就需要類似全球監(jiān)視體制的存在。

但即便如此,，也無法保證監(jiān)管的有效性,。

所以，我們必須把它做好,。

530700332

又是這個套路,，先上車再把車門焊死,，強行設(shè)立規(guī)則，打擊后邊其它國家或地區(qū)研發(fā)發(fā)展,。

Mxluck412

打著監(jiān)管的名義實行壟斷,，屢見不鮮啊

來自星星的猩猩

任何事物都有具有雙面、甚至多面性,，人工智能更不例外,。