10 Haziran'da OpenAI kurucusu Sam Altman, Çin'in Pekin kentinde düzenlenen 2023 Zhiyuan Yapay Zeka Konferansı'na video bağlantısı aracılığıyla katıldı ve bu, Altman'ın Çinli bir izleyici kitlesine ilk kez konuşma yapmasıydı.
Altman konuşmasında "Tao Te Ching"den alıntı yaparak büyük ülkeler arasındaki iş birliğine değinerek, yapay zeka güvenliğinin tek bir adımla başladığını, ülkeler arasında iş birliği ve koordinasyonun sağlanması gerektiğini söyledi.
Ardından Altman, Zhiyuan Araştırma Enstitüsü başkanı Zhang Hongjiang ile bire bir soru-cevap görüşmesini kabul etti.
Dr. Zhang Hongjiang, şu anda Pekin Zhiyuan Yapay Zeka Araştırma Enstitüsü'nün başkanıdır ve ayrıca birkaç şirket için bağımsız yönetici ve danışman olarak hizmet vermektedir. Kingsoft Group'un icra direktörü ve CEO'su ve Kingsoft Cloud'un CEO'suydu.Microsoft Asya Araştırma Enstitüsü'nün kurucularından biriydi.) Dean ve Microsoft "Seçkin Bilim Adamı".
Zhang Hongjiang, Microsoft'a katılmadan önce ABD'de Silikon Vadisi'ndeki Hewlett-Packard Labs'ın yöneticisiydi ve ondan önce de Singapur Ulusal Üniversitesi Sistem Bilimi Enstitüsü'nde çalıştı.
Altman'ın konuşmasının ana içeriği:
Mevcut AI devriminin bu kadar etkili olmasının nedeni, yalnızca etkisinin ölçeği değil, aynı zamanda ilerleme hızıdır. Bu hem kazanç hem de risk getirir.
Giderek daha güçlü hale gelen AI sistemlerinin ortaya çıkmasıyla birlikte, küresel işbirliğinin önemi hiç bu kadar büyük olmamıştı. Bazı önemli olaylarda ülkeler işbirliği ve koordinasyon sağlamalıdır. AGI güvenliğini geliştirmek, ortak çıkarlar bulmamız gereken en önemli alanlardan biridir.
Uyum, çözülmemiş bir sorun olmaya devam ediyor. Hizalama üzerinde çalışmak GPT-4'ün sekiz ayını aldı. Bununla birlikte, ilgili araştırmalar hala geliştirilmekte olup esas olarak iki kısma ayrılmaktadır: ölçeklenebilirlik ve yorumlanabilirlik.
Soru-cevap oturumunun temel içeriği:
İnsanlar on yıl içinde güçlü bir yapay zeka sistemine (AI) sahip olacak.
OpenAI'nin ilgili yeni bir açık kaynak zaman çizelgesi yoktur.Açık kaynak modelinin avantajları vardır, ancak açık kaynak en iyi yol olmayabilir (AI'nın gelişimini teşvik etmek için).
Sinir ağlarını anlamak, insan beynini anlamaktan çok daha kolaydır.
Bir noktada, bir GPT-5 modeli yapmaya çalışacak, ama yakında değil. Belirli GPT-5'in ne zaman görüneceğini bilmiyorum.
AI güvenliği, Çinli araştırmacıların katılımını ve katkısını gerektirir.
Not: "AI hizalaması", AI kontrol konularındaki en önemli konudur, yani AI sisteminin amacının insani değerler ve çıkarlarla uyumlu (tutarlı) olması gerekir.
Sam Altman konuşma içeriği:
Giderek daha güçlü hale gelen yapay zeka sistemlerinin ortaya çıkmasıyla, küresel işbirliğinin riskleri hiç bu kadar yüksek olmamıştı.
Dikkatli olmazsak, halk sağlığı sonuçlarını iyileştirmek için tasarlanmış yanlış yerleştirilmiş bir yapay zeka sistemi, temelsiz öneriler sunarak tüm sağlık sistemini bozabilir. Aynı şekilde, tarımsal üretimi optimize etmek için tasarlanan yapay zeka sistemleri, gıda üretimini etkileyen uzun vadeli sürdürülebilirliğin, çevresel dengenin dikkate alınmaması nedeniyle yanlışlıkla doğal kaynakları tüketebilir veya ekosistemlere zarar verebilir.
Umarım AGI güvenliğini geliştirmenin birlikte çalışmamız ve ortak yönler bulmamız gereken en önemli alanlardan biri olduğu konusunda hepimiz hemfikir olabiliriz.
Sunumumun geri kalanı nereden başlayabileceğimize odaklanacak: 1. İlk alan AGI yönetişimi, AGI temelde medeniyetimizde değişim için güçlü bir güç haline geldi ve anlamlı uluslararası işbirliği ve koordinasyon gerekliliğini vurguladı. İşbirlikçi bir yönetişim yaklaşımından herkes yararlanır. Bu yolda güvenli ve sorumlu bir şekilde ilerlersek, AgI sistemleri küresel ekonomi için benzersiz bir ekonomik refah yaratabilir, iklim değişikliği ve küresel sağlık güvenliği gibi ortak zorlukları ele alabilir ve sosyal refahı artırabilir.
Ben de geleceğe derinden inanıyorum. Olmak istediğimiz yere ulaşmak ve orada keyfini çıkarmak için AGI güvenliğine yatırım yapmalıyız.
Bunu yapmak için dikkatli bir koordinasyona ihtiyacımız var. Bu, küresel erişime sahip küresel bir teknolojidir. Dikkatsiz geliştirme ve dağıtımdan kaynaklanan kazaların maliyeti hepimizi etkileyecektir.
Uluslararası işbirliğinde bence en önemli iki kilit alan var.
Öncelikle uluslararası norm ve standartlar oluşturmalı ve süreçte kapsayıcılığı dikkate almalıyız. AGI sistemlerinin herhangi bir ülkede kullanımı, bu tür uluslararası standartları ve normları eşit ve tutarlı bir şekilde takip etmelidir. Bu güvenlik çitleri içinde, insanların kendi seçimlerini yapmaları için bolca fırsata sahip olduğuna inanıyoruz.
İkincisi, giderek daha güçlü hale gelen yapay zeka sistemlerinin güvenli bir şekilde geliştirilmesinde doğrulanabilir bir şekilde uluslararası güven oluşturmak için kesinlikle uluslararası işbirliğine ihtiyacımız var. Bunun, büyük ölçüde özel ve sürekli dikkat gerektiren kolay bir görev olduğu konusunda hiçbir yanılgım yok. **
Tao Te Ching bize şunu söyler: Bin millik bir yolculuk tek bir adımla başlar. Bu konudaki en yapıcı ilk adımın uluslararası bilim ve teknoloji camiası ile işbirliği yapmak olduğuna inanıyoruz.
Vurgulanması gereken şey, teknolojik ilerlemeyi teşvik etmede şeffaflık mekanizmasını ve bilgi paylaşımını artırmamız gerektiğidir. AGI güvenliği söz konusu olduğunda, ortaya çıkan güvenlik sorunlarını ortaya çıkaran araştırmacılar, daha büyük bir iyilik için içgörülerini paylaşmalıdır.
Bu normu teşvik ederken fikri mülkiyete nasıl saygı duyabileceğimizi ve koruyabileceğimizi iyice düşünmemiz gerekiyor. Bunu yaparsak, işbirliğimizi derinleştirmemiz için bize yeni kapılar açılacaktır.
Daha geniş anlamda, AI uyumluluğu ve güvenliğine ilişkin araştırmaları teşvik etmeye ve yönlendirmeye yatırım yapmalıyız.
Open AI'da bugünkü araştırmamız, AI'nın mevcut sistemlerimizde yararlı ve daha güvenli bir rol oynamasına izin veren teknik konulara odaklanıyor. Bu, ChatGPT'yi şiddet tehdidinde bulunmayacak veya kullanıcılara zararlı faaliyetlerde yardımcı olmayacak şekilde eğittiğimiz anlamına da gelebilir.
Ancak AGI çağına yaklaştıkça, hizalanmamış AI sistemlerinin potansiyel etkisi ve etki boyutu katlanarak artacaktır. Bu zorlukların proaktif bir şekilde ele alınması, gelecekte feci sonuçların ortaya çıkma riskini en aza indirir.
Mevcut sistem için, modelimizi yardımcı bir güvenlik asistanı olacak şekilde eğitmek için temel olarak insan geri bildirimiyle takviyeli öğrenmeyi kullanıyoruz. Bu, çeşitli eğitim sonrası ayarlama tekniklerinin yalnızca bir örneğidir. Ayrıca çok sıkı mühendislik çalışmaları gerektiren yeni teknolojiler üzerinde de çok çalışıyoruz.
GPT4'ün ön eğitimini tamamlamasından devreye almamıza kadar geçen süre boyunca, hizalama çalışmasına 8 ay ayırıyoruz. Genel olarak, burada iyi bir iş çıkardığımızı düşünüyoruz. GPT4, önceki modellerimizin hepsinden daha insan odaklıdır.
Ancak uyum, gelişmiş yönetişim ve gözetim ile yeni teknik yaklaşımlar gerektirdiğini öne sürdüğümüz daha gelişmiş sistemler için açık bir sorun olmaya devam ediyor.
Gelecekteki AGI sistemleri için 100.000 satır ikili kod önerir. İnsan denetçilerin, böyle bir modelin alçakça bir şey yapıp yapmadığını öğrenmesi pek olası değildir. Bu nedenle, atılımlara yol açacağını umduğumuz bazı yeni, tamamlayıcı araştırma yönlerine yatırım yapıyoruz.
** **Biri ölçeklenebilir denetim. İnsanların diğer AI sistemlerini denetlemesine yardımcı olmak için AI sistemlerini kullanmayı deneyebiliriz. Örneğin, insan denetiminin diğer modellerin çıktılarındaki kusurları bulmasına yardımcı olacak bir model eğitebiliriz. **
İkincisi yorumlama yeteneğidir. Bu modellerin içinde neler olup bittiğini daha iyi anlamaya çalışmak istedik. Yakın zamanda GPT-2'deki nöronları yorumlamak için GPT-4'ü kullanan bir makale yayınladık. **Başka bir makalede, bir modelin yalan söylediğini tespit etmek için Model Internals kullanıyoruz. **Hala gitmemiz gereken uzun bir yol var. Gelişmiş makine öğrenimi tekniklerinin açıklama yeteneğimizi daha da geliştirebileceğine inanıyoruz.
Nihayetinde amacımız, hizalama çalışmalarına yardımcı olacak yapay zeka sistemlerini eğitmektir. **Bu yaklaşımın güzelliği, yapay zeka geliştirme hızıyla ölçeklenebilmesidir.
Riskleri azaltırken AGI'nin olağanüstü faydalarından yararlanmak, zamanımızın ufuk açıcı zorluklarından biridir. Çin, ABD ve dünyanın dört bir yanındaki araştırmacıların aynı hedefe doğru birlikte çalışması ve AGI uyumlaştırmasının getirdiği teknik zorlukları çözmek için çok çalışması için büyük bir potansiyel görüyoruz.
Bunu yaparsak, AGI'yi dünyanın en önemli sorunlarını çözmek ve insan yaşam kalitesini büyük ölçüde iyileştirmek için kullanabileceğimize inanıyorum. Çok teşekkür ederim.
Aşağıda görüşmenin dökümü yer almaktadır:
Önümüzdeki on yılda çok güçlü bir yapay zeka sistemimiz olacak
Zhiyuan Araştırma Enstitüsü başkanı Zhang Hongjiang, şu soruyu sordu: **Genel yapay zekadan (AGI) ne kadar uzağız? Risk acil mi, yoksa ondan uzakta mıyız? **
Sam Altman: Ne zaman olduğunu tahmin etmek zor. **Önümüzdeki on yılda çok güçlü yapay zeka sistemlerine sahip olmamız ve yeni teknolojilerin dünyayı temelde düşündüğümüzden daha hızlı değiştirmesi çok muhtemeldir. **Bu dünyada, bu şeyi (AI güvenlik kuralları) düzeltmenin önemli ve acil olduğunu düşünüyorum, bu nedenle uluslararası toplumu birlikte çalışmaya davet ediyorum.
Bir anlamda, şu anda gördüğümüz yeni teknolojilerin hızlanması ve sistemik etkisi emsalsiz. Bu yüzden, gelmekte olana hazırlıklı olmakla ve güvenlik endişelerinin farkında olmakla ilgili olduğunu düşünüyorum. AI'nın katıksız ölçeği göz önüne alındığında, riskler önemlidir.
Sizce AGI güvenliği alanında, bu sorunu çözmek için farklı ülkelerin avantajları nelerdir, özellikle AI güvenlik sorunlarını çözmek için. Bu güçler nasıl birleştirilebilir?
Yapay zeka için güvenlik standartları ve çerçeveleri önermek üzere küresel işbirliği
Zhang Hongjiang: Bir önceki girişte birkaç kez küresel işbirliğinin sürmekte olduğundan bahsetmiştiniz. Biliyoruz ki dünya geçmişte önemli krizlerle karşı karşıya kaldı. Her nasılsa, birçoğu için fikir birliği oluşturmayı, küresel işbirliği kurmayı başardık. Aynı zamanda bir dünya turundasınız, ne tür küresel işbirliklerini teşvik etmeye çalışıyorsunuz?
Sam Altman: Evet, şimdiye kadar herkesin tepkilerinden ve cevaplarından çok memnunum. İnsanların AGI'nin risklerini ve fırsatlarını çok ciddiye aldıklarını düşünüyorum.
Güvenlik tartışmasının son 6 ayda çok yol kat ettiğini düşünüyorum. Riskleri azaltmak için küresel olarak birlikte çalışırken bu avantajlardan yararlanmamıza izin veren bir yapı bulmaya yönelik gerçek bir kararlılık var gibi görünüyor. Bunun için çok uygun olduğumuzu düşünüyorum. Küresel işbirliği her zaman zordur, ancak bunu dünyayı bir araya getirmek için bir fırsat ve bir tehdit olarak görüyorum. Bu sistemler için bir çerçeve ve güvenlik standartları bulabilirsek çok yardımcı olacaktır.
Yapay zekanın hizalama sorunu nasıl çözülür?
Zhang Hongjiang: Gelişmiş yapay zekanın hizalanmasının çözülmemiş bir sorun olduğundan bahsettiniz. OpenAI'nin son birkaç yılda çok çaba sarf ettiğini de fark ettim. GPT-4'ün hizalama alanında açık ara en iyi örnek olduğundan bahsettiniz. AGI'nin güvenlik sorunlarını sadece ince ayar yaparak (API) çözebileceğimizi düşünüyor musunuz? Yoksa bu sorunun çözülme şeklinden çok daha mı zor?
Sam Altman: Hizalama kelimesini anlamanın farklı yolları olduğunu düşünüyorum. Bence çözmemiz gereken şey tüm yapay zeka sistemindeki zorluk.Modelin davranışını kullanıcının niyetiyle eşleştiren geleneksel anlamlandırmadaki hizalama kesinlikle bunun bir parçası.
Ancak sistemlerin ne yaptığını, ne yapmalarını istediğimizi nasıl doğrulayacağız ve sistemin değerini nasıl ayarlayacağız gibi başka sorunlar da olacaktır. AGI güvenliğinin genel resmini görmek çok önemlidir.
Teknik bir çözüm olmadan diğer her şey zordur. Güvenliğin teknik yönlerini ele aldığımızdan emin olmaya odaklanmanın gerçekten önemli olduğunu düşünüyorum. Bahsettiğim gibi değerlerimizin ne olduğunu anlamak teknik bir soru değil. Teknik girdi gerektirmesine rağmen, tüm toplum tarafından derinlemesine tartışılmaya değer bir konudur. Adil, temsili ve kapsayıcı sistemler tasarlamalıyız.
Zhang Hongjiang: Hizalama için, GPT-4'ü gördüğümüz şey teknik açıdan hala bir çözüm. Ancak teknolojinin yanı sıra, genellikle sistemik olan başka birçok faktör vardır. AI güvenliği burada bir istisna olmayabilir. Teknik yönlerin yanı sıra, diğer faktörler ve sorunlar nelerdir? AI güvenliği için kritik olduğunu düşünüyor musunuz? Bu zorluklara nasıl cevap vermeliyiz? Özellikle de çoğumuz bilim insanı olduğumuz için. Ne yapmalıyız.
Sam Altman: Bu kesinlikle çok karmaşık bir soru. Ancak teknik bir çözüm olmadan her şey zordur. Bence hükümetin güvenliğin teknik yönlerini ele aldığımızdan emin olmaya odaklanması gerçekten önemli. **Belirttiğim gibi değerlerimizin ne olduğunu anlamak teknik bir soru değil. Teknik girdi gerektiriyor ama aynı zamanda tüm toplum tarafından derinlemesine tartışılmaya değer bir konu. **Adil, temsili ve kapsayıcı sistemler tasarlamalıyız. **
Ve sizin de belirttiğiniz gibi, yalnızca AI modelinin güvenliğini değil, bir bütün olarak sistemin güvenliğini düşünmemiz gerekiyor.
Bu nedenle, yapay zekayı kullanım politikalarına uygunluk açısından izleyen sistemler üzerinde çalışan güvenli sınıflandırıcılar ve algılayıcılar oluşturabilmek önemlidir. Herhangi bir teknolojide ortaya çıkacak tüm sorunları önceden tahmin etmenin zor olduğunu düşünüyorum. Bu nedenle, gerçek dünya kullanımından öğrenin ve gerçekliği gerçekten yarattığınızda ve onu iyileştirdiğinizde ne olduğunu görmek için yinelemeli olarak konuşlandırın.
İnsanlara ve toplumlara öğrenmeleri ve güncellemeleri için zaman tanımak ve bu modellerin yaşamlarıyla hem iyi hem de kötü şekillerde nasıl etkileşime gireceğini düşünmek de önemlidir.
Tüm ülkelerin işbirliğini gerektirir
Zhang Hongjiang: Daha önce küresel işbirliğinden bahsetmiştiniz. Dünyayı dolaşıyorsunuz. Yapay zeka inovasyonunun arkasındaki itici güçler Çin, Amerika Birleşik Devletleri ve Avrupa'dır. Sizce AGI'de, AGI sorununu çözmek için farklı ülkelerin avantajları nelerdir, özellikle insan güvenliği sorunu soru. Bu güçler nasıl birleştirilebilir?
Sam Altman: Genel olarak birçok farklı bakış açısı ve yapay zeka güvenliğinin gerekli olduğunu düşünüyorum. Henüz tüm cevaplara sahip değiliz ve bu oldukça zor ve önemli bir soru.
Ayrıca, belirtildiği gibi, AI'yı güvenli ve faydalı kılmak tamamen teknik bir soru değildir. Çok farklı bağlamlarda farklı ülkelerdeki kullanıcı tercihlerini anlamayı içerir. Bunun gerçekleşmesi için birçok farklı girdiye ihtiyacımız var. Çin, dünyadaki en iyi AI yeteneklerinden bazılarına sahip. Temel olarak, gelişmiş AI sistemlerini hizalamanın zorluğunu çözmek için dünyanın dört bir yanından en iyi beyinlere ihtiyaç olduğunu düşünüyorum. Bu yüzden gerçekten Çinli yapay zeka araştırmacılarının burada büyük katkılar sağlayabileceğini umuyorum.
AGI'yi daha güvenli hale getirmek için çok farklı bir mimari gerektirir
Zhang Hongjiang: GPT-4 ve AI güvenliği hakkında takip soruları. AGI modelinin tüm altyapısını veya tüm mimarisini değiştirmemiz mümkün mü? Kontrol edilmesini daha güvenli ve kolay hale getirmek için.
Sam Altman: Hem işlevsel açıdan hem de güvenlik açısından çok farklı mimarilere ihtiyacımız olması tamamen mümkün.
Sanırım şu anda çeşitli modellerimizin yeteneklerini açıklamakta ve bize neyi neden yaptıklarını daha iyi açıklamalarını sağlamakta biraz ilerleme kaydedebileceğiz, iyi bir ilerleme. Ama evet, Transformer'dan sonra başka bir dev sıçrama olursa şaşırmam. Orijinal Transformer'dan bu yana birçok mimariyi değiştirdik.
OpenAI açık kaynak olasılığı
Zhang Hongjiang: Bugünkü forumun AI güvenliği ile ilgili olduğunu anlıyorum, çünkü insanlar OpenAI'yi çok merak ediyor, bu yüzden OpenAI hakkında, sadece AI güvenliği hakkında değil, birçok sorum var. Burada izleyicilere bir sorum var, OpenAI'nin modellerini sürüm 3.0'dan önceki gibi yeniden açma planı var mı? Ayrıca açık kaynağın AI güvenliği için iyi olduğunu düşünüyorum.
Sam Altman: Bazı modellerimiz açık kaynaklıdır ve bazıları değildir, ancak zaman geçtikçe, gelecekte daha fazla modeli açık kaynaklı hale getirmeye devam etmemizi beklemeniz gerektiğini düşünüyorum. Belirli bir modelim veya zaman çizelgem yok ama bu şu anda tartıştığımız bir konu.
Zhang Hongjiang: BAAI, modeller ve algoritmaların kendisi de dahil olmak üzere tüm çabaları açık kaynak yapıyor. Kontrolün onlarda olduğunu algıladığınız paylaşma ve verme ihtiyacına sahip olduğumuza inanıyoruz. Benzer fikirleriniz var mı veya bu konular OpenAI'deki meslektaşlarınız veya meslektaşlarınız arasında tartışıldı mı?
Sam Altman: Evet, **Açık kaynağın bir bakıma önemli bir rolü olduğunu düşünüyorum. **
Son zamanlarda ortaya çıkan birçok yeni açık kaynak modeli de var. API modelinin de önemli bir rolü olduğunu düşünüyorum. Bize ek güvenlik kontrolleri sağlar. Belirli kullanımları engelleyebilirsiniz. Belirli ince ayar türlerini engelleyebilirsiniz. Bir şey işe yaramazsa, onu geri alabilirsiniz. Mevcut model ölçeğinde, bu konuda çok endişeli değilim. Ancak model beklediğimiz kadar güçlü hale geldikçe, bu konuda haklıysak, bazen doğru olsa da her şeyi açık kaynaktan almanın en iyi yol olmayabileceğini düşünüyorum. **Bence bunu dikkatli bir şekilde dengelememiz gerekiyor. **
Gelecekte daha fazla açık kaynaklı büyük modelimiz olacak, ancak belirli bir model ve zaman çizelgesi yok.
AGI için bir sonraki adım mı? GPT-5'i yakında görecek miyiz?
Zhang Hongjiang: Bir araştırmacı olarak ben de merak ediyorum, AGI araştırmasının bir sonraki yönü ne olacak? Büyük modeller, büyük dil modelleri açısından GPT-5'i yakında görecek miyiz? Bir sonraki sınır somutlaşmış modellerde mi? Otonom robotik, OpenAI'nin keşfetmeyi planladığı veya keşfetmeyi planladığı bir alan mı?
Sam Altman: Sırada ne olduğunu da merak ediyorum ve bu işi yapmanın en sevdiğim yanlarından biri, araştırmanın en ileri noktasında çok fazla heyecan ve sürpriz olması. Henüz cevaplara sahip değiliz, bu yüzden birçok olası yeni paradigmayı araştırıyoruz. Elbette bir noktada bir GPT-5 modeli yapmaya çalışacağız, ancak yakın zamanda değil. Tam olarak ne zaman olduğunu bilmiyoruz. OpenAI'nin en başından beri robotik üzerine çalışıyoruz ve buna çok ilgi duyuyoruz, ancak bazı zorluklar yaşadık. Umarım bir gün bu alana geri dönebiliriz.
Zhang Hongjiang: Kulağa harika geliyor. Sunumunuzda, GPT-2'nin nasıl çalıştığını ve modeli daha güvenli hale getirdiğini açıklamak için GPT-4'ü nasıl kullandığınızdan da bahsettiniz. Bu yaklaşım ölçeklenebilir mi? Bu yönde OpenAI gelecekte ilerlemeye devam edecek mi?
Sam Altman: Bu yönde ilerlemeye devam edeceğiz.
Zhang Hongjiang: Sizce bu yöntem biyolojik nöronlara uygulanabilir mi? Çünkü bu soruyu sormamın nedeni, kendi alanlarında insan nöronlarının nasıl çalıştığını incelemek ve keşfetmek için bu yöntemi kullanmak isteyen bazı biyologlar ve sinirbilimciler olmasıdır.
Sam Altman: Yapay nöronlarda neler olup bittiğini görmek biyolojik nöronlardan çok daha kolay. **Dolayısıyla bu yaklaşımın yapay sinir ağları için geçerli olduğunu düşünüyorum. **Diğer modelleri anlamamıza yardımcı olması için daha güçlü modelleri kullanmanın bir yolu olduğunu düşünüyorum. Ancak bu yaklaşımı insan beynine nasıl uygulayacağınızdan pek emin değilim.
Model sayısını kontrol etmek mümkün mü?
Zhang Hongjiang: Tamam, teşekkürler. Artık AI güvenliği ve AGI kontrolü hakkında konuştuğumuza göre, tartıştığımız sorulardan biri şu: Dünyada sadece üç model olsaydı daha güvenli olmaz mıydı? Nükleer kontrol gibi, nükleer silahların çoğalmasını istemezsiniz. Bu teknolojiyi alabilecek ülke sayısını kontrol etmeye çalıştığımız bir anlaşmamız var. Öyleyse, model sayısını kontrol etmek uygun bir yön müdür?
Sam Altman: Dünyada azınlık modeline mi yoksa çoğunluk modeline mi sahip olmanın daha güvenli olduğu konusunda farklı görüşler olduğunu düşünüyorum. Bence daha önemli, herhangi bir sağlam modelin güvenlik açısından yeterince test edildiği bir sistemimiz var mı? Yeterince sağlam bir model yaratan herkesin, yarattıklarının güvenli ve uyumlu olmasını sağlamak için hem kaynaklara hem de sorumluluğa sahip olduğu bir çerçevemiz var mı?
Zhang Hongjiang: Dünkü bu toplantıda, MIT Future of Life Enstitüsü'nden Profesör Max, ilaç geliştirmeyi kontrol etme şeklimize benzer olası bir yöntemden bahsetti. Bilim adamları veya şirketler yeni ilaçlar geliştirdiğinde bunları doğrudan pazarlayamazsınız. Bu test sürecinden geçmelisiniz. Bu öğrenebileceğimiz bir şey mi?
Sam Altman: Farklı endüstrilerde geliştirilen lisanslama ve test çerçevelerinden kesinlikle çok şey öğrenebileceğimizi düşünüyorum. Ama temelde işe yarayabilecek bir şeyimiz olduğunu düşünüyorum.
Zhang Hongjiang: Çok teşekkür ederim Sam. Çevrimiçi de olsa bu toplantıya katılmak için zaman ayırdığınız için teşekkür ederiz. Eminim daha birçok soru vardır, ancak zamanımız olduğu için burada durmalıyız. Umarım bir dahaki sefere Çin'e, Pekin'e gelme fırsatınız olduğunda daha derinlemesine bir tartışma yapabiliriz. çok teşekkür ederim.
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Tam metin burada! Zhang Hongjiang, OpenAI Altman ile konuşuyor: AGI medeniyeti temelden değiştirecek ve yakında GPT-5 olmayacak
Kaynak: Wall Street Haberleri
Yazar: Ge Jiaming
10 Haziran'da OpenAI kurucusu Sam Altman, Çin'in Pekin kentinde düzenlenen 2023 Zhiyuan Yapay Zeka Konferansı'na video bağlantısı aracılığıyla katıldı ve bu, Altman'ın Çinli bir izleyici kitlesine ilk kez konuşma yapmasıydı.
Altman konuşmasında "Tao Te Ching"den alıntı yaparak büyük ülkeler arasındaki iş birliğine değinerek, yapay zeka güvenliğinin tek bir adımla başladığını, ülkeler arasında iş birliği ve koordinasyonun sağlanması gerektiğini söyledi.
Ardından Altman, Zhiyuan Araştırma Enstitüsü başkanı Zhang Hongjiang ile bire bir soru-cevap görüşmesini kabul etti.
Dr. Zhang Hongjiang, şu anda Pekin Zhiyuan Yapay Zeka Araştırma Enstitüsü'nün başkanıdır ve ayrıca birkaç şirket için bağımsız yönetici ve danışman olarak hizmet vermektedir. Kingsoft Group'un icra direktörü ve CEO'su ve Kingsoft Cloud'un CEO'suydu.Microsoft Asya Araştırma Enstitüsü'nün kurucularından biriydi.) Dean ve Microsoft "Seçkin Bilim Adamı".
Zhang Hongjiang, Microsoft'a katılmadan önce ABD'de Silikon Vadisi'ndeki Hewlett-Packard Labs'ın yöneticisiydi ve ondan önce de Singapur Ulusal Üniversitesi Sistem Bilimi Enstitüsü'nde çalıştı. Altman'ın konuşmasının ana içeriği:
Soru-cevap oturumunun temel içeriği:
Not: "AI hizalaması", AI kontrol konularındaki en önemli konudur, yani AI sisteminin amacının insani değerler ve çıkarlarla uyumlu (tutarlı) olması gerekir.
Sam Altman konuşma içeriği:
Giderek daha güçlü hale gelen yapay zeka sistemlerinin ortaya çıkmasıyla, küresel işbirliğinin riskleri hiç bu kadar yüksek olmamıştı.
Dikkatli olmazsak, halk sağlığı sonuçlarını iyileştirmek için tasarlanmış yanlış yerleştirilmiş bir yapay zeka sistemi, temelsiz öneriler sunarak tüm sağlık sistemini bozabilir. Aynı şekilde, tarımsal üretimi optimize etmek için tasarlanan yapay zeka sistemleri, gıda üretimini etkileyen uzun vadeli sürdürülebilirliğin, çevresel dengenin dikkate alınmaması nedeniyle yanlışlıkla doğal kaynakları tüketebilir veya ekosistemlere zarar verebilir.
Umarım AGI güvenliğini geliştirmenin birlikte çalışmamız ve ortak yönler bulmamız gereken en önemli alanlardan biri olduğu konusunda hepimiz hemfikir olabiliriz.
Ben de geleceğe derinden inanıyorum. Olmak istediğimiz yere ulaşmak ve orada keyfini çıkarmak için AGI güvenliğine yatırım yapmalıyız.
Bunu yapmak için dikkatli bir koordinasyona ihtiyacımız var. Bu, küresel erişime sahip küresel bir teknolojidir. Dikkatsiz geliştirme ve dağıtımdan kaynaklanan kazaların maliyeti hepimizi etkileyecektir.
Uluslararası işbirliğinde bence en önemli iki kilit alan var.
Öncelikle uluslararası norm ve standartlar oluşturmalı ve süreçte kapsayıcılığı dikkate almalıyız. AGI sistemlerinin herhangi bir ülkede kullanımı, bu tür uluslararası standartları ve normları eşit ve tutarlı bir şekilde takip etmelidir. Bu güvenlik çitleri içinde, insanların kendi seçimlerini yapmaları için bolca fırsata sahip olduğuna inanıyoruz.
İkincisi, giderek daha güçlü hale gelen yapay zeka sistemlerinin güvenli bir şekilde geliştirilmesinde doğrulanabilir bir şekilde uluslararası güven oluşturmak için kesinlikle uluslararası işbirliğine ihtiyacımız var. Bunun, büyük ölçüde özel ve sürekli dikkat gerektiren kolay bir görev olduğu konusunda hiçbir yanılgım yok. **
Tao Te Ching bize şunu söyler: Bin millik bir yolculuk tek bir adımla başlar. Bu konudaki en yapıcı ilk adımın uluslararası bilim ve teknoloji camiası ile işbirliği yapmak olduğuna inanıyoruz.
Vurgulanması gereken şey, teknolojik ilerlemeyi teşvik etmede şeffaflık mekanizmasını ve bilgi paylaşımını artırmamız gerektiğidir. AGI güvenliği söz konusu olduğunda, ortaya çıkan güvenlik sorunlarını ortaya çıkaran araştırmacılar, daha büyük bir iyilik için içgörülerini paylaşmalıdır.
Bu normu teşvik ederken fikri mülkiyete nasıl saygı duyabileceğimizi ve koruyabileceğimizi iyice düşünmemiz gerekiyor. Bunu yaparsak, işbirliğimizi derinleştirmemiz için bize yeni kapılar açılacaktır.
Daha geniş anlamda, AI uyumluluğu ve güvenliğine ilişkin araştırmaları teşvik etmeye ve yönlendirmeye yatırım yapmalıyız.
Open AI'da bugünkü araştırmamız, AI'nın mevcut sistemlerimizde yararlı ve daha güvenli bir rol oynamasına izin veren teknik konulara odaklanıyor. Bu, ChatGPT'yi şiddet tehdidinde bulunmayacak veya kullanıcılara zararlı faaliyetlerde yardımcı olmayacak şekilde eğittiğimiz anlamına da gelebilir.
Ancak AGI çağına yaklaştıkça, hizalanmamış AI sistemlerinin potansiyel etkisi ve etki boyutu katlanarak artacaktır. Bu zorlukların proaktif bir şekilde ele alınması, gelecekte feci sonuçların ortaya çıkma riskini en aza indirir.
Mevcut sistem için, modelimizi yardımcı bir güvenlik asistanı olacak şekilde eğitmek için temel olarak insan geri bildirimiyle takviyeli öğrenmeyi kullanıyoruz. Bu, çeşitli eğitim sonrası ayarlama tekniklerinin yalnızca bir örneğidir. Ayrıca çok sıkı mühendislik çalışmaları gerektiren yeni teknolojiler üzerinde de çok çalışıyoruz.
GPT4'ün ön eğitimini tamamlamasından devreye almamıza kadar geçen süre boyunca, hizalama çalışmasına 8 ay ayırıyoruz. Genel olarak, burada iyi bir iş çıkardığımızı düşünüyoruz. GPT4, önceki modellerimizin hepsinden daha insan odaklıdır.
Ancak uyum, gelişmiş yönetişim ve gözetim ile yeni teknik yaklaşımlar gerektirdiğini öne sürdüğümüz daha gelişmiş sistemler için açık bir sorun olmaya devam ediyor.
Gelecekteki AGI sistemleri için 100.000 satır ikili kod önerir. İnsan denetçilerin, böyle bir modelin alçakça bir şey yapıp yapmadığını öğrenmesi pek olası değildir. Bu nedenle, atılımlara yol açacağını umduğumuz bazı yeni, tamamlayıcı araştırma yönlerine yatırım yapıyoruz.
**
**Biri ölçeklenebilir denetim. İnsanların diğer AI sistemlerini denetlemesine yardımcı olmak için AI sistemlerini kullanmayı deneyebiliriz. Örneğin, insan denetiminin diğer modellerin çıktılarındaki kusurları bulmasına yardımcı olacak bir model eğitebiliriz. **
İkincisi yorumlama yeteneğidir. Bu modellerin içinde neler olup bittiğini daha iyi anlamaya çalışmak istedik. Yakın zamanda GPT-2'deki nöronları yorumlamak için GPT-4'ü kullanan bir makale yayınladık. **Başka bir makalede, bir modelin yalan söylediğini tespit etmek için Model Internals kullanıyoruz. **Hala gitmemiz gereken uzun bir yol var. Gelişmiş makine öğrenimi tekniklerinin açıklama yeteneğimizi daha da geliştirebileceğine inanıyoruz.
Nihayetinde amacımız, hizalama çalışmalarına yardımcı olacak yapay zeka sistemlerini eğitmektir. **Bu yaklaşımın güzelliği, yapay zeka geliştirme hızıyla ölçeklenebilmesidir.
Riskleri azaltırken AGI'nin olağanüstü faydalarından yararlanmak, zamanımızın ufuk açıcı zorluklarından biridir. Çin, ABD ve dünyanın dört bir yanındaki araştırmacıların aynı hedefe doğru birlikte çalışması ve AGI uyumlaştırmasının getirdiği teknik zorlukları çözmek için çok çalışması için büyük bir potansiyel görüyoruz.
Bunu yaparsak, AGI'yi dünyanın en önemli sorunlarını çözmek ve insan yaşam kalitesini büyük ölçüde iyileştirmek için kullanabileceğimize inanıyorum. Çok teşekkür ederim.
Aşağıda görüşmenin dökümü yer almaktadır:
Önümüzdeki on yılda çok güçlü bir yapay zeka sistemimiz olacak
Zhiyuan Araştırma Enstitüsü başkanı Zhang Hongjiang, şu soruyu sordu: **Genel yapay zekadan (AGI) ne kadar uzağız? Risk acil mi, yoksa ondan uzakta mıyız? **
Sam Altman: Ne zaman olduğunu tahmin etmek zor. **Önümüzdeki on yılda çok güçlü yapay zeka sistemlerine sahip olmamız ve yeni teknolojilerin dünyayı temelde düşündüğümüzden daha hızlı değiştirmesi çok muhtemeldir. **Bu dünyada, bu şeyi (AI güvenlik kuralları) düzeltmenin önemli ve acil olduğunu düşünüyorum, bu nedenle uluslararası toplumu birlikte çalışmaya davet ediyorum.
Bir anlamda, şu anda gördüğümüz yeni teknolojilerin hızlanması ve sistemik etkisi emsalsiz. Bu yüzden, gelmekte olana hazırlıklı olmakla ve güvenlik endişelerinin farkında olmakla ilgili olduğunu düşünüyorum. AI'nın katıksız ölçeği göz önüne alındığında, riskler önemlidir.
Sizce AGI güvenliği alanında, bu sorunu çözmek için farklı ülkelerin avantajları nelerdir, özellikle AI güvenlik sorunlarını çözmek için. Bu güçler nasıl birleştirilebilir?
Yapay zeka için güvenlik standartları ve çerçeveleri önermek üzere küresel işbirliği
Zhang Hongjiang: Bir önceki girişte birkaç kez küresel işbirliğinin sürmekte olduğundan bahsetmiştiniz. Biliyoruz ki dünya geçmişte önemli krizlerle karşı karşıya kaldı. Her nasılsa, birçoğu için fikir birliği oluşturmayı, küresel işbirliği kurmayı başardık. Aynı zamanda bir dünya turundasınız, ne tür küresel işbirliklerini teşvik etmeye çalışıyorsunuz?
Sam Altman: Evet, şimdiye kadar herkesin tepkilerinden ve cevaplarından çok memnunum. İnsanların AGI'nin risklerini ve fırsatlarını çok ciddiye aldıklarını düşünüyorum.
Güvenlik tartışmasının son 6 ayda çok yol kat ettiğini düşünüyorum. Riskleri azaltmak için küresel olarak birlikte çalışırken bu avantajlardan yararlanmamıza izin veren bir yapı bulmaya yönelik gerçek bir kararlılık var gibi görünüyor. Bunun için çok uygun olduğumuzu düşünüyorum. Küresel işbirliği her zaman zordur, ancak bunu dünyayı bir araya getirmek için bir fırsat ve bir tehdit olarak görüyorum. Bu sistemler için bir çerçeve ve güvenlik standartları bulabilirsek çok yardımcı olacaktır.
Yapay zekanın hizalama sorunu nasıl çözülür?
Zhang Hongjiang: Gelişmiş yapay zekanın hizalanmasının çözülmemiş bir sorun olduğundan bahsettiniz. OpenAI'nin son birkaç yılda çok çaba sarf ettiğini de fark ettim. GPT-4'ün hizalama alanında açık ara en iyi örnek olduğundan bahsettiniz. AGI'nin güvenlik sorunlarını sadece ince ayar yaparak (API) çözebileceğimizi düşünüyor musunuz? Yoksa bu sorunun çözülme şeklinden çok daha mı zor?
Sam Altman: Hizalama kelimesini anlamanın farklı yolları olduğunu düşünüyorum. Bence çözmemiz gereken şey tüm yapay zeka sistemindeki zorluk.Modelin davranışını kullanıcının niyetiyle eşleştiren geleneksel anlamlandırmadaki hizalama kesinlikle bunun bir parçası.
Ancak sistemlerin ne yaptığını, ne yapmalarını istediğimizi nasıl doğrulayacağız ve sistemin değerini nasıl ayarlayacağız gibi başka sorunlar da olacaktır. AGI güvenliğinin genel resmini görmek çok önemlidir.
Teknik bir çözüm olmadan diğer her şey zordur. Güvenliğin teknik yönlerini ele aldığımızdan emin olmaya odaklanmanın gerçekten önemli olduğunu düşünüyorum. Bahsettiğim gibi değerlerimizin ne olduğunu anlamak teknik bir soru değil. Teknik girdi gerektirmesine rağmen, tüm toplum tarafından derinlemesine tartışılmaya değer bir konudur. Adil, temsili ve kapsayıcı sistemler tasarlamalıyız.
Zhang Hongjiang: Hizalama için, GPT-4'ü gördüğümüz şey teknik açıdan hala bir çözüm. Ancak teknolojinin yanı sıra, genellikle sistemik olan başka birçok faktör vardır. AI güvenliği burada bir istisna olmayabilir. Teknik yönlerin yanı sıra, diğer faktörler ve sorunlar nelerdir? AI güvenliği için kritik olduğunu düşünüyor musunuz? Bu zorluklara nasıl cevap vermeliyiz? Özellikle de çoğumuz bilim insanı olduğumuz için. Ne yapmalıyız.
Sam Altman: Bu kesinlikle çok karmaşık bir soru. Ancak teknik bir çözüm olmadan her şey zordur. Bence hükümetin güvenliğin teknik yönlerini ele aldığımızdan emin olmaya odaklanması gerçekten önemli. **Belirttiğim gibi değerlerimizin ne olduğunu anlamak teknik bir soru değil. Teknik girdi gerektiriyor ama aynı zamanda tüm toplum tarafından derinlemesine tartışılmaya değer bir konu. **Adil, temsili ve kapsayıcı sistemler tasarlamalıyız. **
Ve sizin de belirttiğiniz gibi, yalnızca AI modelinin güvenliğini değil, bir bütün olarak sistemin güvenliğini düşünmemiz gerekiyor.
Bu nedenle, yapay zekayı kullanım politikalarına uygunluk açısından izleyen sistemler üzerinde çalışan güvenli sınıflandırıcılar ve algılayıcılar oluşturabilmek önemlidir. Herhangi bir teknolojide ortaya çıkacak tüm sorunları önceden tahmin etmenin zor olduğunu düşünüyorum. Bu nedenle, gerçek dünya kullanımından öğrenin ve gerçekliği gerçekten yarattığınızda ve onu iyileştirdiğinizde ne olduğunu görmek için yinelemeli olarak konuşlandırın.
İnsanlara ve toplumlara öğrenmeleri ve güncellemeleri için zaman tanımak ve bu modellerin yaşamlarıyla hem iyi hem de kötü şekillerde nasıl etkileşime gireceğini düşünmek de önemlidir.
Tüm ülkelerin işbirliğini gerektirir
Zhang Hongjiang: Daha önce küresel işbirliğinden bahsetmiştiniz. Dünyayı dolaşıyorsunuz. Yapay zeka inovasyonunun arkasındaki itici güçler Çin, Amerika Birleşik Devletleri ve Avrupa'dır. Sizce AGI'de, AGI sorununu çözmek için farklı ülkelerin avantajları nelerdir, özellikle insan güvenliği sorunu soru. Bu güçler nasıl birleştirilebilir?
Sam Altman: Genel olarak birçok farklı bakış açısı ve yapay zeka güvenliğinin gerekli olduğunu düşünüyorum. Henüz tüm cevaplara sahip değiliz ve bu oldukça zor ve önemli bir soru.
Ayrıca, belirtildiği gibi, AI'yı güvenli ve faydalı kılmak tamamen teknik bir soru değildir. Çok farklı bağlamlarda farklı ülkelerdeki kullanıcı tercihlerini anlamayı içerir. Bunun gerçekleşmesi için birçok farklı girdiye ihtiyacımız var. Çin, dünyadaki en iyi AI yeteneklerinden bazılarına sahip. Temel olarak, gelişmiş AI sistemlerini hizalamanın zorluğunu çözmek için dünyanın dört bir yanından en iyi beyinlere ihtiyaç olduğunu düşünüyorum. Bu yüzden gerçekten Çinli yapay zeka araştırmacılarının burada büyük katkılar sağlayabileceğini umuyorum.
AGI'yi daha güvenli hale getirmek için çok farklı bir mimari gerektirir
Zhang Hongjiang: GPT-4 ve AI güvenliği hakkında takip soruları. AGI modelinin tüm altyapısını veya tüm mimarisini değiştirmemiz mümkün mü? Kontrol edilmesini daha güvenli ve kolay hale getirmek için.
Sam Altman: Hem işlevsel açıdan hem de güvenlik açısından çok farklı mimarilere ihtiyacımız olması tamamen mümkün.
Sanırım şu anda çeşitli modellerimizin yeteneklerini açıklamakta ve bize neyi neden yaptıklarını daha iyi açıklamalarını sağlamakta biraz ilerleme kaydedebileceğiz, iyi bir ilerleme. Ama evet, Transformer'dan sonra başka bir dev sıçrama olursa şaşırmam. Orijinal Transformer'dan bu yana birçok mimariyi değiştirdik.
OpenAI açık kaynak olasılığı
Zhang Hongjiang: Bugünkü forumun AI güvenliği ile ilgili olduğunu anlıyorum, çünkü insanlar OpenAI'yi çok merak ediyor, bu yüzden OpenAI hakkında, sadece AI güvenliği hakkında değil, birçok sorum var. Burada izleyicilere bir sorum var, OpenAI'nin modellerini sürüm 3.0'dan önceki gibi yeniden açma planı var mı? Ayrıca açık kaynağın AI güvenliği için iyi olduğunu düşünüyorum.
Sam Altman: Bazı modellerimiz açık kaynaklıdır ve bazıları değildir, ancak zaman geçtikçe, gelecekte daha fazla modeli açık kaynaklı hale getirmeye devam etmemizi beklemeniz gerektiğini düşünüyorum. Belirli bir modelim veya zaman çizelgem yok ama bu şu anda tartıştığımız bir konu.
Zhang Hongjiang: BAAI, modeller ve algoritmaların kendisi de dahil olmak üzere tüm çabaları açık kaynak yapıyor. Kontrolün onlarda olduğunu algıladığınız paylaşma ve verme ihtiyacına sahip olduğumuza inanıyoruz. Benzer fikirleriniz var mı veya bu konular OpenAI'deki meslektaşlarınız veya meslektaşlarınız arasında tartışıldı mı?
Sam Altman: Evet, **Açık kaynağın bir bakıma önemli bir rolü olduğunu düşünüyorum. **
Son zamanlarda ortaya çıkan birçok yeni açık kaynak modeli de var. API modelinin de önemli bir rolü olduğunu düşünüyorum. Bize ek güvenlik kontrolleri sağlar. Belirli kullanımları engelleyebilirsiniz. Belirli ince ayar türlerini engelleyebilirsiniz. Bir şey işe yaramazsa, onu geri alabilirsiniz. Mevcut model ölçeğinde, bu konuda çok endişeli değilim. Ancak model beklediğimiz kadar güçlü hale geldikçe, bu konuda haklıysak, bazen doğru olsa da her şeyi açık kaynaktan almanın en iyi yol olmayabileceğini düşünüyorum. **Bence bunu dikkatli bir şekilde dengelememiz gerekiyor. **
Gelecekte daha fazla açık kaynaklı büyük modelimiz olacak, ancak belirli bir model ve zaman çizelgesi yok.
AGI için bir sonraki adım mı? GPT-5'i yakında görecek miyiz?
Zhang Hongjiang: Bir araştırmacı olarak ben de merak ediyorum, AGI araştırmasının bir sonraki yönü ne olacak? Büyük modeller, büyük dil modelleri açısından GPT-5'i yakında görecek miyiz? Bir sonraki sınır somutlaşmış modellerde mi? Otonom robotik, OpenAI'nin keşfetmeyi planladığı veya keşfetmeyi planladığı bir alan mı?
Sam Altman: Sırada ne olduğunu da merak ediyorum ve bu işi yapmanın en sevdiğim yanlarından biri, araştırmanın en ileri noktasında çok fazla heyecan ve sürpriz olması. Henüz cevaplara sahip değiliz, bu yüzden birçok olası yeni paradigmayı araştırıyoruz. Elbette bir noktada bir GPT-5 modeli yapmaya çalışacağız, ancak yakın zamanda değil. Tam olarak ne zaman olduğunu bilmiyoruz. OpenAI'nin en başından beri robotik üzerine çalışıyoruz ve buna çok ilgi duyuyoruz, ancak bazı zorluklar yaşadık. Umarım bir gün bu alana geri dönebiliriz.
Zhang Hongjiang: Kulağa harika geliyor. Sunumunuzda, GPT-2'nin nasıl çalıştığını ve modeli daha güvenli hale getirdiğini açıklamak için GPT-4'ü nasıl kullandığınızdan da bahsettiniz. Bu yaklaşım ölçeklenebilir mi? Bu yönde OpenAI gelecekte ilerlemeye devam edecek mi?
Sam Altman: Bu yönde ilerlemeye devam edeceğiz.
Zhang Hongjiang: Sizce bu yöntem biyolojik nöronlara uygulanabilir mi? Çünkü bu soruyu sormamın nedeni, kendi alanlarında insan nöronlarının nasıl çalıştığını incelemek ve keşfetmek için bu yöntemi kullanmak isteyen bazı biyologlar ve sinirbilimciler olmasıdır.
Sam Altman: Yapay nöronlarda neler olup bittiğini görmek biyolojik nöronlardan çok daha kolay. **Dolayısıyla bu yaklaşımın yapay sinir ağları için geçerli olduğunu düşünüyorum. **Diğer modelleri anlamamıza yardımcı olması için daha güçlü modelleri kullanmanın bir yolu olduğunu düşünüyorum. Ancak bu yaklaşımı insan beynine nasıl uygulayacağınızdan pek emin değilim.
Model sayısını kontrol etmek mümkün mü?
Zhang Hongjiang: Tamam, teşekkürler. Artık AI güvenliği ve AGI kontrolü hakkında konuştuğumuza göre, tartıştığımız sorulardan biri şu: Dünyada sadece üç model olsaydı daha güvenli olmaz mıydı? Nükleer kontrol gibi, nükleer silahların çoğalmasını istemezsiniz. Bu teknolojiyi alabilecek ülke sayısını kontrol etmeye çalıştığımız bir anlaşmamız var. Öyleyse, model sayısını kontrol etmek uygun bir yön müdür?
Sam Altman: Dünyada azınlık modeline mi yoksa çoğunluk modeline mi sahip olmanın daha güvenli olduğu konusunda farklı görüşler olduğunu düşünüyorum. Bence daha önemli, herhangi bir sağlam modelin güvenlik açısından yeterince test edildiği bir sistemimiz var mı? Yeterince sağlam bir model yaratan herkesin, yarattıklarının güvenli ve uyumlu olmasını sağlamak için hem kaynaklara hem de sorumluluğa sahip olduğu bir çerçevemiz var mı?
Zhang Hongjiang: Dünkü bu toplantıda, MIT Future of Life Enstitüsü'nden Profesör Max, ilaç geliştirmeyi kontrol etme şeklimize benzer olası bir yöntemden bahsetti. Bilim adamları veya şirketler yeni ilaçlar geliştirdiğinde bunları doğrudan pazarlayamazsınız. Bu test sürecinden geçmelisiniz. Bu öğrenebileceğimiz bir şey mi?
Sam Altman: Farklı endüstrilerde geliştirilen lisanslama ve test çerçevelerinden kesinlikle çok şey öğrenebileceğimizi düşünüyorum. Ama temelde işe yarayabilecek bir şeyimiz olduğunu düşünüyorum.
Zhang Hongjiang: Çok teşekkür ederim Sam. Çevrimiçi de olsa bu toplantıya katılmak için zaman ayırdığınız için teşekkür ederiz. Eminim daha birçok soru vardır, ancak zamanımız olduğu için burada durmalıyız. Umarım bir dahaki sefere Çin'e, Pekin'e gelme fırsatınız olduğunda daha derinlemesine bir tartışma yapabiliriz. çok teşekkür ederim.