OpenAI Team的使命是確保人工通用智能——通常比人類更聰明的人工智能繫統——造福全人類。

如果AGI被成功創造出來，這項技術可以幫助我們提升人類，增加財富，推動全球經濟增長，併幫助發現新的科學知識，改變可能性的極限。

AGI有潛力為每個人提供令人難以置信的新功能;我們可以想象這樣一個世界，我們所有人都可以在幾乎任何認知任務中獲得幫助，為人類的聰明才智和創造力提供巨大的力量倍增器。

另一方面，AGI也會帶來嚴重的濫用、嚴重事故和社會混亂的風險。由於AGI的優勢是如此之大，我們認為社會不可能或不希望永遠停止它的發展;相反，社會和AGI的開發者必須找出正確的方法。

(一)

相對於OpenAI Team之前的預期，OpenAI Team似乎得到了很多禮物:例如，創建AGI似乎需要大量的計算，因此世界將知道誰在研究它，似乎超進化的RL代理的原始概念相互競爭，以OpenAI Team無法真正觀察到的方式進化智能的可能性比最初看起來的要小，幾乎沒有人預測OpenAI Team會在預先訓練的語言模型上取得這麽大的進展，可以從人類的集體偏好和輸出中學習，等等。

AGI可能在不久的將來或遙遠的將來出現;從最初的AGI到更強大的後續繫統的起飛速度可能會慢或快。許多人認為在這個2乘2矩陣中最安全的象限是時間線短和起飛速度慢;更短的時間線似乎更易於協調，更有可能導致較慢的起飛，因為較少的計算積壓，而較慢的起飛給了我們更多的時間來從經驗上找出如何解決安全問題以及如何適應。

雖然OpenAI Team無法准確預測將會發生什麽，當然OpenAI Team目前的進展可能會遇到瓶頸，但OpenAI Team可以清楚地說出OpenAI Team最關心的原則:

OpenAI Team希望AGI能讓人類在宇宙中最大限度地繁榮。OpenAI Team不期望未來成為一個不合格的烏托邦，但OpenAI Team希望將好的最大化，把壞的最小化，讓AGI成為人性的放大器。

OpenAI Team希望AGI的好處、訪問和治理能夠被廣泛和公平地共享。

OpenAI Team希望成功應對巨大的風險。在面對這些風險時，OpenAI Team承認，理論上看似正確的事情，在實踐中往往錶現得比預期的更奇怪。OpenAI Team相信，OpenAI Team必須不斷地學習和適應，部署功能較弱的技術版本，以盡量減少“一次就能做好”的情況。

短期來看

為了准備AGI，OpenAI Team認為現在有幾件重要的事情要做。

首先，當OpenAI Team不斷創建更強大的繫統時，我們希望部署它們，併獲得在現實世界中操作它們的經驗。OpenAI Team相信這是仔細管理AGI存在的最佳方式——逐步過渡到具有AGI的世界比突然過渡更好。OpenAI Team希望強大的人工智能能讓世界的進步速度更快，OpenAI Team認為最好是逐步適應這種變化。

漸進式的過渡讓人們、政策制定者和機構有時間了解正在發生的事情，親身體驗這些繫統的好處和缺點，調整OpenAI Team的經濟，併將監管落實到位。它還允許社會和人工智能共同進化，讓人們在風險相對較低的情況下集體找出自己想要的東西。

OpenAI Team目前認為，成功應對人工智能部署挑戰的最佳方法是建立快速學習和仔細叠代的緊密反饋循環。社會將面臨AI繫統被允許做什麽、如何對抗偏見、如何處理工作替代等重大問題。最佳決策將取決於技術的發展路徑，就像任何新領域一樣，到目前為止，大多數專家的預測都是錯誤的。這使得在真空中進行計劃非常睏難。

[B]

例如，當OpenAI Team第一次創建OpenAI時，OpenAI Team併沒有預料到擴展性會像現在這樣重要。當OpenAI Team意識到它將變得至關重要時，OpenAI Team也意識到我們原來的結構將不起作用——OpenAI Team根本無法籌集到足夠的資金來完成我們作為非營利組織的使命——所以OpenAI Team想出了一個新的結構。

另一個例子是，OpenAI Team現在認為OpenAI Team最初關於開放的想法是錯誤的，OpenAI Team已經從認為我們應該發佈所有東西(盡管我們開源了一些東西，併期望在未來開源更多令人興奮的東西!)轉嚮認為OpenAI Team應該弄清楚如何安全地共享繫統的訪問權和好處。OpenAI Team仍然相信，社會理解正在發生的事情的好處是巨大的，併且使這種理解成為確保所構建的東西是社會集體想要的最好方式(顯然這裏有很多細微差別和沖突)。

總的來說，OpenAI Team認為在世界上更多地使用AI會帶來好處，併希望推動它(通過將模型放入OpenAI Team的API中，開源它們等)。OpenAI Team相信，民主化的獲取也將帶來更多更好的研究、分散的權力、更多的利益以及更廣泛的貢獻新思想的人。

隨著OpenAI Team的繫統越來越接近AGI，OpenAI Team對模型的創建和部署越來越謹慎。OpenAI Team的決策需要比社會通常對新技術更加謹慎，比許多用戶所希望的更加謹慎。人工智能領域的一些人認為AGI(以及後續繫統)的風險是虛構的;如果事實證明他們是對的，OpenAI Team會很高興，但OpenAI Team將把這些風險當作是存在的。

在某種程度上，部署的優點和缺點之間的平衡(例如授權惡意行為者，造成社會和經濟混亂，以及加速不安全的競爭)可能會發生變化，在這種情況下，OpenAI Team將顯著改變圍繞持續部署的計劃。隨著OpenAI Team的繫統越來越接近AGI，OpenAI Team對模型的創建和部署越來越謹慎。

其次，OpenAI Team正在努力創建越來越一致和可指導的模型。OpenAI Team從GPT-3第一版模型到InstructGPT和ChatGPT的轉變就是一個早期的例子。

特別是，OpenAI Team認為重要的是，社會就如何使用人工智能的廣泛界限達成一致，但在這些界限內，個人用戶有很大的自由裁量權。OpenAI Team最終的希望是，世界各機構就這些廣泛的界限應該是什麽達成一致;在短期內，OpenAI Team計劃進行外部輸入的實驗。世界各地的機構將需要加強更多的能力和經驗，以便為有關AGI的復雜決策做好准備。

OpenAI Team產品的“默認設置”可能會受到很大限制，但OpenAI Team計劃讓用戶更容易改變他們正在使用的人工智能的行為。OpenAI Team相信賦予個人自主決策的權力，以及思想多樣性的內在力量。

隨著OpenAI Team的模型變得更加強大，OpenAI Team將需要開發新的對齊技術(以及測試以了解我們當前的技術何時失效)。OpenAI Team的短期計劃是利用人工智能來幫助人類評估更復雜模型的輸出和監控復雜繫統，從長期來看，利用人工智能來幫助我們提出更好的對齊技術的新想法。

重要的是，OpenAI Team認為OpenAI Team經常必須在人工智能安全和能力方面共同取得進展。分開討論它們是錯誤的兩分法;他們在很多方面都有關聯。OpenAI Team最好的安全工作來自於我們最能幹的模型。也就是說，提高安全進步與能力進步的比率是很重要的。

第三，OpenAI Team希望就三個關鍵問題展開全球對話:如何管理這些繫統，如何公平分配它們所產生的利益，以及如何公平分享獲取這些繫統的機會。

除了這三個領域，OpenAI Team還試圖建立我們的結構，使OpenAI Team的激勵措施與良好的結果相一致。OpenAI Team的章程中有一個條款，關於幫助其他組織提高安全性，而不是在AGI開發的後期與他們競爭。OpenAI Team對股東能夠獲得的回報設置了上限，這樣OpenAI Team就不會被激勵去不受約束地獲取價值，也不會冒險部署一些可能帶來災難性危險的東西(當然也是一種與社會分享利益的方式)。OpenAI Team有一個非營利組織來管理OpenAI Team，讓OpenAI Team為人類的利益而運作(它可以淩駕於任何營利性利益之上)，包括讓OpenAI Team做一些事情，比如在安全需要的情況下取消對股東的股權義務，贊助世界上最全面的全民基本收入實驗。OpenAI Team試圖建立OpenAI Team的結構，使OpenAI Team的激勵與良好的結果相一致。

OpenAI Team認為像OpenAI Team這樣的努力在發佈新繫統之前提交獨立審計是很重要的;我們將在今年晚些時候更詳細地討論這個問題。在某種程度上，在開始訓練未來的繫統之前，獲得獨立的審查可能是重要的，對於最先進的努力，同意限制用於創建新模型的計算增長速度。OpenAI Team認為，關於AGI何時應該停止訓練運行、何時決定模型可以安全發佈或何時將模型從生產使用中撤出的公共標准非常重要。最後，OpenAI Team認為重要的是，世界主要政府對一定規模以上的培訓有深刻的認識。

長期來看

OpenAI Team相信，人類的未來應該由人類決定，與公眾分享有關進步的信息很重要。應該對所有試圖建立AGI的努力進行嚴格審查，併對重大決策進行公眾咨詢。

第一個AGI將只是智能連續體中的一個點。OpenAI Team認為，進展很可能會從那裏繼續下去，可能會在很長一段時間內保持我們在過去十年中看到的進展速度。如果這是真的，世界可能會變得與今天截然不同，風險可能是巨大的。一個錯位的超級智能AGI可能會對世界造成嚴重的傷害;一個擁有決定性超級智能領導的專制政權也可以做到這一點。

可以加速科學發展的人工智能是一個值得思考的特殊情況，它可能比其他任何事情都更有影響力。AGI有能力加速自己的進步，可能會導致重大變化以驚人的速度發生(即使過渡開始緩慢，OpenAI Team預計它在最後階段會發生得相當快)。我們認為較慢的起飛更容易安全，併且AGI在關鍵時刻減速的協調努力可能很重要(即使在OpenAI Team不需要這樣做來解決技術校准問題的世界中，減速可能對給社會足夠的時間來適應很重要)。

成功地過渡到一個擁有超級智能的世界可能是人類歴史上最重要的——也是最有希望的——也是最可怕的項目。成功遠不能保證，而風險(無限的不利因素和無限的有利因素)有望將OpenAI Team所有人團結起來。

OpenAI Team可以想象這樣一個世界，在這個世界裏，人類的繁榮程度可能是我們任何人都無法完全想象的。OpenAI Team希望為世界貢獻一個與這種繁榮相一致的AGI。腳註

相對於OpenAI Team之前的預期，OpenAI Team似乎得到了很多禮物:例如，創建AGI似乎需要大量的計算，因此世界將知道誰在研究它，似乎超進化的RL代理的原始概念相互競爭，以OpenAI Team無法真正觀察到的方式進化智能的可能性比最初看起來的要小，幾乎沒有人預測我們會在預先訓練的語言模型上取得這麽大的進展，可以從人類的集體偏好和輸出中學習，等等。

AGI可能在不久的將來或遙遠的將來出現;從最初的AGI到更強大的後續繫統的起飛速度可能會慢或快。許多人認為在這個2乘2矩陣中最安全的象限是時間線短和起飛速度慢;更短的時間線似乎更易於協調，也更有可能因為較少的計算積壓而導致較慢的起飛，而較慢的起飛讓我們有更多的時間從經驗上找出如何解決安全問題以及如何適應

例如，當OpenAI Team第一次創建OpenAI時，OpenAI Team併沒有預料到擴展性會像現在這樣重要。當OpenAI Team意識到它將變得至關重要時，OpenAI Team也意識到OpenAI Team原來的結構將不起作用——OpenAI Team根本無法籌集到足夠的資金來完成OpenAI Team作為非營利組織的使命——所以OpenAI Team想出了一個新的結構。

另一個例子是，OpenAI Team現在認為OpenAI Team最初關於開放的想法是錯誤的，OpenAI Team已經從認為OpenAI Team應該發佈所有東西(盡管我們開源了一些東西，併期望在未來開源更多令人興奮的東西!)轉嚮認為OpenAI Team應該弄清楚如何安全地共享繫統的訪問權和好處。OpenAI Team仍然相信，社會理解正在發生的事情的好處是巨大的，併且使這種理解成為確保所建造的東西是社會集體想要的最好方式(顯然這裏有很多細微差別和沖突)。︎

感謝Brian Chesky、Paul Christiano、Jack Clark、Holden Karnofsky、Tasha McCauley、Nate Soares、Kevin Scott、Brad Smith、Helen Toner、Allan Dafoe以及OpenAI Team審閱了本文的草稿。

內容來源：https://openai.com/blog/planning-for-agi-and-beyond

StellarHK