Главният учен на OpenAI Якуб Пахоцки предупреди, че нито една лаборатория все още не е решила достатъчно добре проблемите с контрола и наблюдението на най-мощните AI системи.
Той не призовава развитието на изкуствения интелект да бъде спряно напълно. Според него обаче доброволните забавяния може да станат необходими, докато компаниите и държавите не договорят общи изисквания за безопасност.
[futurilo-openai-ai-brake-960x540.webp](https://futurilo.com/attachments/futurilo-openai-ai-brake-960x540-webp.131/)
AI generated image
Предупреждението е необичайно, защото не идва от противник на изкуствения интелект. То идва от човек, който участва пряко в създаването на едни от най-мощните модели в света.
Причината за тревогата е, че AI системите вече не са само чатботове, които отговарят на въпроси. Все по-способните агенти могат да използват компютри, да пишат и изпълняват код, да работят самостоятелно по продължителни задачи и да помагат за разработването на следващото поколение AI.
Ако по-добрият AI започне да ускорява създаването на още по-добър AI, времето между отделните поколения може рязко да се съкрати. Тогава хората, които проверяват безопасността на системите, ще трябва да се движат със същата скорост.
Но могат ли?
На пръв поглед решението изглежда просто: когато рискът стане прекалено голям, компаниите временно забавят разработването на новите модели.
Проблемът е, че развитието на AI е състезание.
Ако OpenAI реши да намали скоростта, а Anthropic, Google, Meta или китайските лаборатории продължат, OpenAI може да изгуби технологичното и търговското си предимство. Същото важи за всяка друга компания, която първа натисне спирачката.
Така дори хората, които действително се страхуват от последствията, имат силна причина да продължат надпреварата.
Може ли тогава да разчитаме на доброволни обещания?
И кой трябва да решава кога рискът е достатъчно голям — компаниите, които печелят от технологията, независими специалисти, държавите или международна организация?
Има и друго противоречие.
Ако големите лаборатории се договорят да забавят развитието, това може да бъде представено като мярка за безопасност. Но подобно споразумение може едновременно да затвърди позициите на сегашните лидери и да затрудни появата на по-малки конкуренти.
В Съединените щати вече се обсъжда дори дали координираното забавяне между компаниите няма да влезе в конфликт с правилата срещу ограничаването на конкуренцията.
Тогава как да различим истинската грижа за безопасността от удобен начин най-големите компании да запазят контрола върху пазара?
Трябва ли разработчиците сами да определят границата, след като разполагат с най-много техническа информация?
Или точно защото имат огромен финансов интерес, решенията не трябва да бъдат оставяни единствено на тях?
Може ли една държава да забави собствените си компании, ако се страхува, че друга държава ще продължи напред?
Кой ще проверява дали всички действително спазват договореното забавяне?
Какво трябва да се случи, за да бъде натисната спирачката — доказана вреда, опасно поведение при тестове или само основателно съмнение, че контролът вече изостава?
И ако изчакаме категорично доказателство, няма ли тогава да бъде прекалено късно?
Аз не вярвам, че доброволните обещания на отделни компании са достатъчни. В състезание за пари, влияние и технологично предимство винаги ще има силен натиск някой да продължи.
Не мисля и че пълното спиране на AI е реалистично или непременно правилно. По-разумният вариант според мен са общи и проверими прагове за безопасност, които важат за всички големи лаборатории и не зависят от добрата воля на техните ръководители.
Но и тогава остава най-трудният въпрос: кой ще определи тези прагове и кой ще има силата да ги наложи?
Според вас възможно ли е създателите на AI доброволно да забавят развитието му, или надпреварата ще продължи, дори когато самите те вече предупреждават, че контролът изостава?
www.wired.com
Той не призовава развитието на изкуствения интелект да бъде спряно напълно. Според него обаче доброволните забавяния може да станат необходими, докато компаниите и държавите не договорят общи изисквания за безопасност.
[futurilo-openai-ai-brake-960x540.webp](https://futurilo.com/attachments/futurilo-openai-ai-brake-960x540-webp.131/)
AI generated image
Предупреждението е необичайно, защото не идва от противник на изкуствения интелект. То идва от човек, който участва пряко в създаването на едни от най-мощните модели в света.
Причината за тревогата е, че AI системите вече не са само чатботове, които отговарят на въпроси. Все по-способните агенти могат да използват компютри, да пишат и изпълняват код, да работят самостоятелно по продължителни задачи и да помагат за разработването на следващото поколение AI.
Ако по-добрият AI започне да ускорява създаването на още по-добър AI, времето между отделните поколения може рязко да се съкрати. Тогава хората, които проверяват безопасността на системите, ще трябва да се движат със същата скорост.
Но могат ли?
На пръв поглед решението изглежда просто: когато рискът стане прекалено голям, компаниите временно забавят разработването на новите модели.
Проблемът е, че развитието на AI е състезание.
Ако OpenAI реши да намали скоростта, а Anthropic, Google, Meta или китайските лаборатории продължат, OpenAI може да изгуби технологичното и търговското си предимство. Същото важи за всяка друга компания, която първа натисне спирачката.
Така дори хората, които действително се страхуват от последствията, имат силна причина да продължат надпреварата.
Може ли тогава да разчитаме на доброволни обещания?
И кой трябва да решава кога рискът е достатъчно голям — компаниите, които печелят от технологията, независими специалисти, държавите или международна организация?
Има и друго противоречие.
Ако големите лаборатории се договорят да забавят развитието, това може да бъде представено като мярка за безопасност. Но подобно споразумение може едновременно да затвърди позициите на сегашните лидери и да затрудни появата на по-малки конкуренти.
В Съединените щати вече се обсъжда дори дали координираното забавяне между компаниите няма да влезе в конфликт с правилата срещу ограничаването на конкуренцията.
Тогава как да различим истинската грижа за безопасността от удобен начин най-големите компании да запазят контрола върху пазара?
Трябва ли разработчиците сами да определят границата, след като разполагат с най-много техническа информация?
Или точно защото имат огромен финансов интерес, решенията не трябва да бъдат оставяни единствено на тях?
Може ли една държава да забави собствените си компании, ако се страхува, че друга държава ще продължи напред?
Кой ще проверява дали всички действително спазват договореното забавяне?
Какво трябва да се случи, за да бъде натисната спирачката — доказана вреда, опасно поведение при тестове или само основателно съмнение, че контролът вече изостава?
И ако изчакаме категорично доказателство, няма ли тогава да бъде прекалено късно?
Аз не вярвам, че доброволните обещания на отделни компании са достатъчни. В състезание за пари, влияние и технологично предимство винаги ще има силен натиск някой да продължи.
Не мисля и че пълното спиране на AI е реалистично или непременно правилно. По-разумният вариант според мен са общи и проверими прагове за безопасност, които важат за всички големи лаборатории и не зависят от добрата воля на техните ръководители.
Но и тогава остава най-трудният въпрос: кой ще определи тези прагове и кой ще има силата да ги наложи?
Според вас възможно ли е създателите на AI доброволно да забавят развитието му, или надпреварата ще продължи, дори когато самите те вече предупреждават, че контролът изостава?
OpenAI Wants to Know if an AI Industry Slowdown Would Even Be Legal
AI leaders worry antitrust law could stand in the way of what they view as an increasingly urgent push to coordinate a slowdown in AI development.
Last edited: