OpenAI, yapay zekâ güvenliği için küresel standartlar önerdi

Kısaca

OpenAI, gelişmiş yapay zekâ sistemleri için uluslararası güvenlik standartları geliştirilmesini ve mevcut güvenlik enstitülerinin çalışmalarından yararlanılmasını istedi. Öneriler, insan değerleriyle uyum, insan denetimi ve yapay zekâ araştırmacılarının otomatik çalışmasında fayda-risk yönetimine odaklanıyor. Şirket, tamamen özerk kendini geliştiren yapay zekânın bugün gerçekleşmediğini ve güvenli biçimde uygulanana kadar izlenmemesi gerektiğini belirtti.

Ana mesele

OpenAI, gelişmiş yapay zekâ sistemlerinin güvenliği ve insan denetimi için uluslararası standartlar önerdi.

Ne değişti?

Öneriler, yapay zekânın kendini geliştirmesi araştırmalarında fayda-risk yönetimine odaklanıyor.

Beni nasıl etkiler?

Yapay zekâ ürünlerinin geliştirilmesi ve denetlenmesinde daha ortak kurallar gündeme gelebilir.

Ne oldu?

OpenAI, gelişmiş yapay zekânın güvenli geliştirilmesi, uyum araştırmaları ve kendini geliştirme araştırmaları için öneriler yayımladı.

Neden şimdi?

Kendini geliştiren yapay zekâ sistemlerinin insan denetimini zayıflatabileceği ve beklenmeyen sonuçlar doğurabileceği yönündeki kaygılar arttı.

Neden önemli?

Ortak teknik standartlar, gelişmiş yapay zekâ modelleri ve geliştiricileri için güvenlik ile denetim çerçevesi oluşturabilir.

Kimler etkileniyor?

• OpenAI ve diğer gelişmiş yapay zekâ geliştiricileri
• Yapay zekâ güvenliği enstitüleri
• Otomatik yapay zekâ araştırmaları yürüten ekipler
• Yapay zekâ ürünlerinin kullanıcıları

Sektör ve piyasa etkisi

Gelişmiş yapay zekâ geliştiren şirketlerde güvenlik araştırmaları, risk yönetimi ve insan denetimi daha merkezi hâle gelebilir.

Riskler

• İnsanların yapay zekâ geliştirme üzerindeki pratik denetimini kaybetmesi
• Araştırma süreçlerinin yeterince anlaşılmaması
• Beklenmeyen sonuçların ortaya çıkması

Takip edilmesi gerekenler

• Uluslararası standart geliştirme girişimleri
• Diğer yapay zekâ şirketlerinin güvenlik önerileri
• Kendini geliştirme araştırmaları için uygulanacak risk yönetimi
• Mevcut yapay zekâ güvenliği enstitülerinin rolü

Haberin tamamı

OpenAI on Monday posted a set of proposals for safety and security in the development of frontier artificial intelligence with a heavy focus on alignment research and recursive self-improvement, or RSI.

"Navigating this transition safely requires alignment research to keep pace with these capabilities so that the systems we and others build remain aligned with human values and under human control," the company said in a blog post.

OpenAI called for international cooperation to develop frontier standards and recommended building on the work of existing AI safety institutes around the world.

The ChatGPT maker said these technical standards should focus on frontier AI models and developers, as well as benefit-risk management for automated AI researchers, which includes RSI.

RSI has excited AI developers over its potential to create foundation models that can upgrade themselves without human involvement.

Advancements within RSI have led some technologists to raise concerns that foundation model makers could lose control of the underlying technology or fail to account for potential unintended consequences as the AI systems become more complicated and ubiquitous across the Internet.

"Fully autonomous RSI is not happening today, and we should not pursue it unless and until it can be done safely," the OpenAI blog post said. "Done without appropriate care and caution, RSI could result in humans losing practical control over AI development, unable to provide oversight on research processes they no longer understand."

Last week, rival Anthropic rolled out its own ideas for the safe development of frontier AI models, a response to the recent chorus of warnings about AI's threat to humanity from industry researchers.

Jacob Coxon , who has worked at both Anthropic and OpenAI, ignited a global debate when he announced his resignation nearly two weeks ago and said the companies were "gambling with our lives."

Kaynaklar

• CNBC - Top News