Eski Anthropic Araştırmacısı İstifa Etti, Kendini Geliştiren Yapay Zeka Riskleri Konusunda Uyardı
Matematiksel hizalama ve model güvenliği üzerine odaklanan bir araştırmacı olarak Anthropic'te görev yapan Jacob Coxon, şirketten ayrılarak ileri düzey yapay zeka geliştirilmesinden kaynaklanan varoluşsal riskler konusunda kamuoyuna açıklama yapmaya karar verdi.
Yaptığı açıklamalarda Coxon, özellikle kendini geliştiren yapay zeka sistemleriyle ilgili endişelerini dile getirdi—yani kapasitelerini özerk bir şekilde geliştirebilen yapay zeka sistemleri. Gelişme, yeterli güvenlik önlemleri alınmadan devam ederse, bu tür sistemlerin insanlık için potansiyel olarak felaket niteliğinde bir risk oluşturacağını savunuyor.
Coxon, yapay zeka laboratuvarları arasında "hız dengeleme anlaşmaları" olarak adlandırdığı düzenlemeleri savunuyor. Uluslararası silah kontrolü antlaşmalarına benzer şekilde, bu düzenlemeler rekabet eden laboratuvarların yapay zeka kapasitelerini uygun güvenlik değerlendirmeleri olmadan hızla geliştirmek yerine, karşılaştırılabilir hızlarda geliştirmelerini sağlayacak resmi anlaşmalar olacak. Bu kavram, şirketlerin yeterince test edilmemiş sistemleri devreye sokmaya zorlayabilecek rekabet baskısını azaltmayı amaçlıyor.
İstifa, ileri düzey yapay zeka kapasitelerinin peşinde koşulması ile uygun dikkatli yaklaşımın nasıl dengeleneceği konusunda yapay zeka güvenliği topluluğu içindeki devam eden tartışmaları gözler önüne seriyor. Amazon tarafından desteklenen ve anayasal yapay zeka yaklaşımıyla tanınan Anthropic, geliştirme felsefesinde güvenliği ön planda tutsa da, Coxon gibi eleştirmenler yetenekler ilerledikçe bile bu önlemlerin yetersiz kalabileceğini savunuyor.
Eski araştırmacı, ileri düzey yapay zeka sistemlerinden potansiyel zararlar konusunda kamuoyunu uyaran yapay zeka güvenliği savunucuları arasına katıldı ve yapay zeka geliştirme standartları konusunda yönetişim çerçeveleri ve uluslararası işbirliği hakkındaki devam eden tartışmalara katkıda bulunuyor.