Yazar: Daniel Barabander Derleyici: Deep Tide TechFlow Kısa Özet Şu anda, temel yapay zekanın gelişimine, kapalı ve rekabet eksikliği ile karakterize edilen birkaç teknoloji şirketi hakimdir. Açık Kaynak yazılım geliştirme potansiyel bir çözüm olsa da, temel yapay zeka geleneksel Açık Kaynak projeleri (örneğin Linux) gibi çalışamaz çünkü bir "kaynak sorunu" ile karşı karşıyadır: Açık Kaynak katılımcılarının yalnızca zaman ayırmaları değil, aynı zamanda kişisel yeteneklerinin ötesinde hesaplama ve veri maliyetlerine de katlanmaları gerekir. Şifreleme teknolojisinin, kaynak sağlayıcılarını altta yatan Açık Kaynak AI projesine katılmaya teşvik ederek bu kaynak sorununu çözmesi bekleniyor. Açık Kaynak yapay zekayı şifreleme teknolojisiyle birleştirmek, daha büyük ölçekli model geliştirmeyi destekleyebilir ve daha gelişmiş yapay zeka sistemleri oluşturmak için daha fazla yeniliği teşvik edebilir. GİRİŞ Pew Araştırma Merkezi (Pew Araştırma Center) tarafından 2024 yılında yapılan bir ankete göre, Amerikalıların %64'ü sosyal medyanın ulus üzerindeki etkisinin yarardan çok zarar verdiğine inanıyor; %78'i sosyal medya şirketlerinin siyasette çok fazla güce ve etkiye sahip olduğunu söylüyor; %83'ü, bu platformların aynı fikirde olmadıkları siyasi görüşleri kasıtlı olarak sansürleyebileceğine inanıyor. Sosyal medyadan memnuniyetsizlik, Amerikan toplumunda neredeyse birkaç Konsensüs'ten biri haline geldi. Sosyal medyanın son 20 yıldaki evrimine bakıldığında, bu durum önceden belirlenmiş gibi görünüyor. Hikaye karmaşık değil: bir avuç büyük teknoloji şirketi, kullanıcıların dikkatini ve daha da önemlisi kullanıcı verilerini çekti. Açık veriye yönelik ilk umutlara rağmen, şirketler stratejilerini hızla değiştirdiler, kırılmaz ağ etkileri oluşturmak ve dış erişimi kapatmak için verileri kullandılar. Sonuç, bugünün durumudur: 10'dan az büyük teknoloji şirketi sosyal medya endüstrisine hakimdir ve bir "Oligopol tekeli" manzarası yaratır. Statüko onlar için son derece elverişli olduğundan, bu şirketlerin değişmek için çok az teşviki var. Bu model kapalıdır ve rekabetten yoksundur. Bugün, AI teknolojisinin yörüngesi kendini tekrar ediyor gibi görünüyor, ancak bu sefer etki daha da geniş kapsamlı. Bir avuç teknoloji şirketi, GPU'ların ve veri kaynaklarının kontrolünü ele geçirerek temel yapay zeka modelleri oluşturdu ve bu modellere erişimi kapattı. Milyarlarca dolarlık fonu olmayan yeni girenler için rekabetçi bir model geliştirmek neredeyse imkansız. Sadece bir temel modeli eğitmenin hesaplama maliyeti milyarlarca dolar olduğu için, son teknoloji dalgasından yararlanan sosyal medya şirketleri, rakiplerin eşleşmesi zor modeller geliştirmek için özel kullanıcı verileri üzerindeki kontrollerini kullanıyor. Sosyal medyanın hatalarını tekrarlıyor ve kapalı ve rekabetçi olmayan bir yapay zeka dünyasına doğru ilerliyoruz. Bu eğilim devam ederse, bir avuç teknoloji şirketi bilgi ve fırsatlara erişim üzerinde sınırsız kontrole sahip olacak. Açık Kaynak Yapay Zeka ve "Kaynak Sorunu" Kapalı bir yapay zeka dünyası görmek istemiyorsak, seçeneklerimiz nelerdir? Açık cevap, temel modeli bir Açık Kaynak yazılım projesi olarak geliştirmektir. Tarihsel olarak, günlük olarak güvendiğimiz temel yazılımı başarıyla oluşturan sayısız Açık Kaynak projemiz oldu. Örneğin, Linux'un başarısı, işletim sistemi gibi çekirdek yazılımların bile Açık Kaynak tarzında geliştirilebileceğini kanıtlıyor. Peki neden LLM'ler (büyük dil modelleri) yapamıyor? Bununla birlikte, altta yatan yapay zeka modellerinin karşılaştığı özel sınırlamalar, onları geleneksel yazılımlardan farklı kılıyor ve bu da geleneksel bir Açık Kaynak projesi olarak uygulanabilirliklerini büyük ölçüde zayıflatıyor. Özellikle, temel yapay zeka modelleri, bir bireyin yeteneklerinin çok ötesinde muazzam bilgi işlem ve veri kaynakları gerektirir. Sadece insanların zamanlarını bağışlamasına dayanan geleneksel Açık Kaynak projesinden farklı olarak Açık Kaynak AI, insanlardan "kaynak sorunu" olarak bilinen bilgi işlem gücü ve veri kaynaklarını bağışlamalarını da istiyor. Meta'nın LLaMa modelini örnek olarak kullanarak bu kaynak sorununu daha iyi anlayabiliriz. OpenAI ve Google gibi rakiplerin aksine Meta, modellerini ücretli API'lerin arkasına gizlemez, bunun yerine herkesin ücretsiz olarak kullanması için (belirli kısıtlamalarla) açıkça LLaMa ağırlıkları sunar. Bu ağırlıklar, modelin Meta eğitimi sırasında öğrendiklerini içerir ve modeli çalıştırmak için gereklidir. Bu ağırlıklarla, kullanıcı modele ince ayar yapabilir veya modelin çıktısını yeni bir modele girdi olarak kullanabilir. Meta'nın LLaMa'yı piyasaya sürmesi pozitif ağırlıklandırmaya değer olsa da, gerçek bir Açık Kaynak yazılım projesi olarak sayılmaz. Perde arkasında Meta, kendi bilgi işlem kaynaklarına, verilerine ve kararlarına güvenerek ve modelin ne zaman halka açık hale getirileceğine tek taraflı olarak karar vererek eğitim sürecini kontrol eder. Meta, modelleri eğitmek veya yeniden eğitmek için gereken kaynaklar ortalama bir bireyin yeteneklerinin çok ötesinde olduğundan, bağımsız araştırmacıları veya geliştiricileri topluluk işbirliklerine katılmaya davet etmez. Bu kaynaklar arasında on binlerce yüksek performanslı GPU, bu GPU'ları depolamak için veri merkezleri, gelişmiş soğutma tesisleri ve eğitim için trilyonlarca belirteç (model eğitimi için gereken metin verisi birimleri) bulunur. Stanford Üniversitesi'nin 2024 Yapay Zeka Endeksi raporunda belirtildiği gibi, "Eğitimin dramatik maliyeti, geleneksel olarak yapay zeka araştırmalarının güç merkezleri olan üniversiteleri en üst düzey temel model geliştirmeden etkili bir şekilde dışlıyor." Örneğin Sam Altman, GPT-4'ü eğitmenin maliyetinin 100 milyon dolara kadar çıktığını ve buna donanım için sermaye harcamalarının bile dahil olmadığını belirtti. Buna ek olarak, Meta'nın sermaye harcamaları 2024'ün 2. çeyreğinde 2023'ün aynı dönemine göre, özellikle yapay zeka modeli eğitimiyle ilgili sunucular, veri merkezleri ve ağ altyapısı için 2,1 milyar dolar arttı. Sonuç olarak, LLaMa'nın topluluğa katkıda bulunanları model mimarisini geliştirmek için teknik yeteneğe sahip olsalar da, bu iyileştirmeleri uygulamak için kaynaklardan yoksundurlar. Özetle, geleneksel Açık Kaynak yazılım projelerinden farklı olarak, Açık Kaynak yapay zeka projeleri, katkıda bulunanların yalnızca zaman ayırmalarını değil, aynı zamanda yüksek hesaplama ve veri maliyetlerine katlanmalarını da gerektirir. Yeterli kaynak sağlayıcıyı motive etmek için yalnızca iyi niyet ve gönüllülüğe güvenmek gerçekçi değildir. Daha fazla teşvike ihtiyaçları var. Örneğin, 70'ten fazla ülkede 250'den fazla kurumdan 1.000 gönüllü araştırmacının çabalarını bir araya getiren 176 milyar parametreli bir model olan Açık Kaynak'ın büyük dil modeli BLOOM. BLOOM'un başarısı takdire şayan olsa da (ve bunu tamamen destekliyorum), bir eğitim oturumunu koordine etmek bir yıl sürdü ve bir Fransız araştırma enstitüsünden 3 milyon € fon sağladı (modeli eğitmek için Süper Bilgisayar'ın sermaye harcamasını saymazsak). BLOOM'u koordine etmek ve yinelemek için yeni bir finansman turuna güvenme süreci, büyük teknoloji laboratuvarlarındaki geliştirme hızına yetişemeyecek kadar hantaldır. BLOOM'UN PIYASAYA SÜRÜLMESINDEN BU YANA IKI YILDAN FAZLA ZAMAN GEÇTI VE EKIP HENÜZ HERHANGI BIR DEVAM MODELI DUYMADI. Açık Kaynak YZ'nin mümkün olabilmesi için, Açık Kaynak katılımcılarını bu maliyetleri kendilerinin üstlenmesine bırakmak yerine, kaynak sağlayıcılarını bilgi işlem güçlerine ve veri kaynaklarına katkıda bulunmaya teşvik etmenin bir yolunu bulmamız gerekiyor. Şifreleme teknolojisi, altta yatan Açık Kaynak yapay zekasının "kaynak sorununu" neden çözebilir? Şifreleme teknolojisinin temel atılımı, "sahiplik" mekanizması aracılığıyla yüksek kaynak maliyetlerine sahip Açık Kaynak yazılım projelerini mümkün kılmaktır. Açık Kaynak Yapay Zeka'nın kaynak sorunlarını, Açık Kaynak katılımcılarının bu kaynakların maliyetini önceden üstlenmesi yerine, potansiyel kaynak sağlayıcılarını ağa katılmaya teşvik ederek çözer. BTC buna iyi bir örnektir. En eski şifreleme projesi olan BTC, kodu en başından beri herkese açık olan tamamen Açık Kaynak bir yazılım projesidir. Ancak, kodun kendisi BTC'nin anahtarı değildir. Sadece BTCDüğüm yazılımını indirip çalıştırmak ve yerel olarak bir Blok zinciri oluşturmak mantıklı değildir. Yazılımın gerçek değeri, ancak MiningBlok'un herhangi bir katılımcının bilgi işlem gücünü aşacak kadar hesaplama açısından yoğun olması durumunda gerçekleştirilebilir: bir Merkeziyetsizlik'in kontrolsüz defterini tutmak. Temel Açık Kaynak yapay zekasına benzer şekilde, BTC de kişinin yeteneklerinin ötesinde kaynaklar gerektiren bir Açık Kaynak projesidir. İkisi farklı nedenlerle hesaplama kaynaklarına ihtiyaç duysa da - BTC, ağın kurcalanmamasını sağlamak için hesaplama kaynaklarına ihtiyaç duyarken, temel yapay zeka, modelleri optimize etmek ve yinelemek için hesaplama kaynaklarına ihtiyaç duyar - hepsinin ortak noktası, her ikisinin de bireylerin yeteneklerinin ötesinde kaynaklara dayanmasıdır. BTC'nin ve diğer şifreleme ağlarının "sırrı", katılımcıları Açık Kaynak yazılım projesine kaynak sağlamaya teşvik edebilmek, belirteçler aracılığıyla ağ sahipliği sağlamaktır. Jesse'nin 2020'de Variant için yazdığı kuruluş felsefesinde belirtildiği gibi, sahiplik, kaynak sağlayıcıların ağdaki potansiyel kazançlar karşılığında kaynaklara katkıda bulunmaya istekli olmaları için güçlü bir teşvik sağlar. Bu mekanizma, girişimlerin erken aşamadaki finansman eksikliklerini "alın teri" yoluyla nasıl ele aldıklarına benzer (Sweat Equity) - erken aşamadaki çalışanlara (örneğin, kuruculara) öncelikle şirket mülkiyeti şeklinde ödeme yaparak, yeni başlayanlar, aksi takdirde karşılayamayacakları emeği çekebilirler. Şifreleme teknolojisi, "ter eşitliği" kavramını, zamana katkıda bulunanlara odaklanmaktan kaynak sağlayıcılara kadar genişletir. Sonuç olarak Variant, Uniswap, Morpho ve World gibi ağ etkileri oluşturmak için sahiplik mekanizmalarından yararlanan projelere yatırım yapmaya odaklanıyor. Açık Kaynak Yapay Zeka'nın gerçeğe dönüşmesini istiyorsak, şifreleme teknolojisi aracılığıyla uygulanan sahiplik mekanizması kaynak sorununun temel çözümüdür. Bu mekanizma, araştırmacılara model tasarım fikirlerini Açık Kaynak projesine katkıda bulunma özgürlüğü verir, çünkü bu fikirleri gerçekleştirmek için gereken hesaplama ve veri kaynakları, araştırmacıların kendilerinden yüksek ön maliyetleri üstlenmelerini istemek yerine, karşılığında projenin kısmi mülkiyetini alacak olan kaynak sağlayıcı tarafından karşılanacaktır. Açık Kaynak Yapay Zeka'da sahiplik birçok şekilde olabilir, ancak en çok bekleneni, aynı zamanda Pluralis'in önerdiği çözüm olan modelin kendisinin sahipliğidir. Pluralis tarafından önerilen yaklaşım, Protokol Modelleri olarak bilinir. Bu modda, bilgi işlem kaynak sağlayıcısı, bilgi işlem gücüne katkıda bulunarak belirli bir Açık Kaynak modelini eğitebilir ve böylece modelin gelecekteki çıkarım gelirinin kısmi mülkiyetini alabilir. Bu sahiplik belirli bir modele bağlı olduğundan ve değeri modelin çıkarım gelirine dayandığından, bilgi işlem kaynağı sağlayıcıları, eğitim verilerini tahrif etmeden eğitim için en uygun modeli seçmeye teşvik edilir (çünkü yararsız eğitim sağlamak, gelecekteki çıkarım gelirinin beklenen değerini doğrudan düşürür). Bununla birlikte, önemli bir soru şudur: Eğitim süreci, modelin ağırlıklarının bilgi işlem sağlayıcısına gönderilmesini gerektiriyorsa, Pluralis sahiplik güvenliğini nasıl sağlar? Cevap, model Parçalama'yı farklı çalışanlara dağıtmak için "model paralelleştirme" (Model Parallelism) tekniğinin kullanılmasında yatmaktadır. Sinir ağlarının önemli bir özelliği, modelin ağırlıklarının yalnızca küçük bir kısmı bilinse bile, bilgisayarcının yine de eğitime katılabilmesi ve tüm ağırlık setinin çıkarılamamasını sağlamasıdır. Ek olarak, Pluralis platformunda aynı anda birçok farklı model eğitildiğinden, eğitmen çok sayıda farklı ağırlık seti ile karşı karşıya kalacak ve bu da tam modeli yeniden oluşturmayı son derece zorlaştıracaktır. Protokol Modellerinin temel fikri, bu modellerin eğitilebilmesi ve kullanılabilmesidir, ancak protokolden bütünüyle çıkarılamazlar (kullanılan bilgi işlem gücü, modeli sıfırdan eğitmek için gereken kaynakları aşmadığı sürece). Bu mekanizma, Açık Kaynak YZ eleştirmenleri tarafından sıklıkla gündeme getirilen, kapalı YZ rakiplerinin Açık Kaynak'ın emeğinin meyvelerini kötüye kullanabileceği sorununu çözüyor. Neden Şifreleme Teknolojisi + Açık Kaynak = Daha İyi Yapay Zeka Makalenin başında, Big Tech'in yapay zeka üzerindeki kontrolünü analiz ederek kapalı yapay zekanın etik ve normatif yönlerini gösterdim. Ancak güçsüzlük çağında, böyle bir argümanın çoğu okuyucuda yankı uyandırmayabileceğinden korkuyorum. Bu nedenle, şifreleme teknolojisiyle desteklenen Açık Kaynak AI'nın gerçekten daha iyi AI'ya yol açabilmesinin iki nedenini bulmak istiyorum. Her şeyden önce, şifreleme teknolojisi ve Açık Kaynak yapay zekasının birleşimi, yeni nesil vakıf modellerinin geliştirilmesini sağlamak için daha fazla kaynağın koordinasyonunu sağlar, (Foundation Models). Araştırmalar, hem bilgi işlem gücündeki hem de veri kaynaklarındaki artışın modelin performansını artırmaya yardımcı olabileceğini göstermiştir, bu nedenle temel modelin boyutu genişlemektedir. BTC, Açık Kaynak yazılımının şifreleme teknolojisi ile birleştiğinde bilgi işlem gücü açısından potansiyelini bize gösteriyor. Big Tech'in sahip olduğu bulut bilişim kaynaklarından çok daha büyük, dünyanın en büyük ve en güçlü bilgi işlem ağı haline geldi. Şifreleme'nin teknolojisi, silo halindeki rekabeti işbirlikçi rekabete dönüştürmesi bakımından benzersizdir. Şifreleme ağı, kaynak sağlayıcıları, silolar halinde çalışmak ve çabaları çoğaltmak yerine, ortak sorunları çözmek için kaynaklara katkıda bulunmaya teşvik ederek, kaynakların verimli kullanılmasını sağlar. Şifreleme teknolojisiyle desteklenen Açık Kaynak yapay zekası, kapalı yapay zekadan çok daha büyük bir ölçekte modeller oluşturmak için dünyanın bilgi işlem ve veri kaynaklarından yararlanabilecek. Örneğin, Hyperbolic şirketi bu modelin potansiyelini göstermiştir. Açık bir pazar aracılığıyla herkesin GPU'ları daha düşük bir maliyetle kiralamasını mümkün kılarak dağıtılmış bilgi işlem kaynaklarından en iyi şekilde yararlanırlar. İkincisi, şifreleme teknolojisi ve Açık Kaynak AI'nın birleşimi, inovasyonun hızlanmasını sağlayacaktır. Bunun nedeni, kaynak sorunu çözüldüğünde, makine öğrenimi araştırmasının son derece yinelemeli ve yenilikçi Açık Kaynak doğasına geri dönebilmesidir. (LLM) temel büyük dil modellerinin ortaya çıkmasından önce, makine öğrenimi alanındaki araştırmacılar genellikle modellerini ve tekrarlanabilir tasarım planlarını kamuya açık olarak yayınladılar. Bu modeller genellikle Açık Kaynak veri setini kullanır ve nispeten düşük hesaplama gereksinimlerine sahiptir, bu nedenle araştırmacılar bu temeller üzerinde sürekli olarak optimizasyon ve yenilik yapabilir. Sıralı modelleme alanında tekrarlayan sinir ağları (RNN), uzun kısa süreli bellek ağları (LSTM) ve dikkat mekanizmaları gibi birçok atılıma yol açan bu açık uçlu, yinelemeli süreçtir (Attention Mechanisms), bu sonuçta Transformer model mimarisini mümkün kılar. Ancak, araştırmaya yönelik bu açık yaklaşım, GPT-3'ün piyasaya sürülmesinden bu yana değişti. GPT-3 ve ChatGPT'nin başarısı sayesinde OpenAI, yeterli bilgi işlem kaynağı ve veri ile dil anlama yeteneklerine sahip büyük dil modellerini eğitmenin mümkün olduğunu kanıtladı. Bu eğilim, kaynak eşiklerinde keskin bir artışa yol açarak, akademinin kademeli olarak dışlanmasına ve Büyük Teknoloji şirketlerinin rekabet avantajını korumak için artık model mimarilerini açıklamamasına yol açtı. Bu durum, yapay zekanın en ileri noktasını zorlama yeteneğimizi sınırlıyor. Şifreleme teknolojisi ile mümkün kılınan Açık Kaynak yapay zekası bunu değiştirebilir. Araştırmacıların "bir sonraki Transformer"ı keşfetmek için son teknoloji modelleri tekrar yinelemelerine olanak tanır. Bu kombinasyon yalnızca kaynak sorununu çözmekle kalmaz, aynı zamanda makine öğrenimi alanındaki yeniliği canlandırarak yapay zekanın geleceği için daha geniş bir yol açar.
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Variant 投资合伙人：Açık Kaynak AI 的困境与突破，为什么şifreleme技术是最后一块拼图？
Yazar: Daniel Barabander Derleyici: Deep Tide TechFlow Kısa Özet Şu anda, temel yapay zekanın gelişimine, kapalı ve rekabet eksikliği ile karakterize edilen birkaç teknoloji şirketi hakimdir. Açık Kaynak yazılım geliştirme potansiyel bir çözüm olsa da, temel yapay zeka geleneksel Açık Kaynak projeleri (örneğin Linux) gibi çalışamaz çünkü bir "kaynak sorunu" ile karşı karşıyadır: Açık Kaynak katılımcılarının yalnızca zaman ayırmaları değil, aynı zamanda kişisel yeteneklerinin ötesinde hesaplama ve veri maliyetlerine de katlanmaları gerekir. Şifreleme teknolojisinin, kaynak sağlayıcılarını altta yatan Açık Kaynak AI projesine katılmaya teşvik ederek bu kaynak sorununu çözmesi bekleniyor. Açık Kaynak yapay zekayı şifreleme teknolojisiyle birleştirmek, daha büyük ölçekli model geliştirmeyi destekleyebilir ve daha gelişmiş yapay zeka sistemleri oluşturmak için daha fazla yeniliği teşvik edebilir. GİRİŞ Pew Araştırma Merkezi (Pew Araştırma Center) tarafından 2024 yılında yapılan bir ankete göre, Amerikalıların %64'ü sosyal medyanın ulus üzerindeki etkisinin yarardan çok zarar verdiğine inanıyor; %78'i sosyal medya şirketlerinin siyasette çok fazla güce ve etkiye sahip olduğunu söylüyor; %83'ü, bu platformların aynı fikirde olmadıkları siyasi görüşleri kasıtlı olarak sansürleyebileceğine inanıyor. Sosyal medyadan memnuniyetsizlik, Amerikan toplumunda neredeyse birkaç Konsensüs'ten biri haline geldi. Sosyal medyanın son 20 yıldaki evrimine bakıldığında, bu durum önceden belirlenmiş gibi görünüyor. Hikaye karmaşık değil: bir avuç büyük teknoloji şirketi, kullanıcıların dikkatini ve daha da önemlisi kullanıcı verilerini çekti. Açık veriye yönelik ilk umutlara rağmen, şirketler stratejilerini hızla değiştirdiler, kırılmaz ağ etkileri oluşturmak ve dış erişimi kapatmak için verileri kullandılar. Sonuç, bugünün durumudur: 10'dan az büyük teknoloji şirketi sosyal medya endüstrisine hakimdir ve bir "Oligopol tekeli" manzarası yaratır. Statüko onlar için son derece elverişli olduğundan, bu şirketlerin değişmek için çok az teşviki var. Bu model kapalıdır ve rekabetten yoksundur. Bugün, AI teknolojisinin yörüngesi kendini tekrar ediyor gibi görünüyor, ancak bu sefer etki daha da geniş kapsamlı. Bir avuç teknoloji şirketi, GPU'ların ve veri kaynaklarının kontrolünü ele geçirerek temel yapay zeka modelleri oluşturdu ve bu modellere erişimi kapattı. Milyarlarca dolarlık fonu olmayan yeni girenler için rekabetçi bir model geliştirmek neredeyse imkansız. Sadece bir temel modeli eğitmenin hesaplama maliyeti milyarlarca dolar olduğu için, son teknoloji dalgasından yararlanan sosyal medya şirketleri, rakiplerin eşleşmesi zor modeller geliştirmek için özel kullanıcı verileri üzerindeki kontrollerini kullanıyor. Sosyal medyanın hatalarını tekrarlıyor ve kapalı ve rekabetçi olmayan bir yapay zeka dünyasına doğru ilerliyoruz. Bu eğilim devam ederse, bir avuç teknoloji şirketi bilgi ve fırsatlara erişim üzerinde sınırsız kontrole sahip olacak. Açık Kaynak Yapay Zeka ve "Kaynak Sorunu" Kapalı bir yapay zeka dünyası görmek istemiyorsak, seçeneklerimiz nelerdir? Açık cevap, temel modeli bir Açık Kaynak yazılım projesi olarak geliştirmektir. Tarihsel olarak, günlük olarak güvendiğimiz temel yazılımı başarıyla oluşturan sayısız Açık Kaynak projemiz oldu. Örneğin, Linux'un başarısı, işletim sistemi gibi çekirdek yazılımların bile Açık Kaynak tarzında geliştirilebileceğini kanıtlıyor. Peki neden LLM'ler (büyük dil modelleri) yapamıyor? Bununla birlikte, altta yatan yapay zeka modellerinin karşılaştığı özel sınırlamalar, onları geleneksel yazılımlardan farklı kılıyor ve bu da geleneksel bir Açık Kaynak projesi olarak uygulanabilirliklerini büyük ölçüde zayıflatıyor. Özellikle, temel yapay zeka modelleri, bir bireyin yeteneklerinin çok ötesinde muazzam bilgi işlem ve veri kaynakları gerektirir. Sadece insanların zamanlarını bağışlamasına dayanan geleneksel Açık Kaynak projesinden farklı olarak Açık Kaynak AI, insanlardan "kaynak sorunu" olarak bilinen bilgi işlem gücü ve veri kaynaklarını bağışlamalarını da istiyor. Meta'nın LLaMa modelini örnek olarak kullanarak bu kaynak sorununu daha iyi anlayabiliriz. OpenAI ve Google gibi rakiplerin aksine Meta, modellerini ücretli API'lerin arkasına gizlemez, bunun yerine herkesin ücretsiz olarak kullanması için (belirli kısıtlamalarla) açıkça LLaMa ağırlıkları sunar. Bu ağırlıklar, modelin Meta eğitimi sırasında öğrendiklerini içerir ve modeli çalıştırmak için gereklidir. Bu ağırlıklarla, kullanıcı modele ince ayar yapabilir veya modelin çıktısını yeni bir modele girdi olarak kullanabilir. Meta'nın LLaMa'yı piyasaya sürmesi pozitif ağırlıklandırmaya değer olsa da, gerçek bir Açık Kaynak yazılım projesi olarak sayılmaz. Perde arkasında Meta, kendi bilgi işlem kaynaklarına, verilerine ve kararlarına güvenerek ve modelin ne zaman halka açık hale getirileceğine tek taraflı olarak karar vererek eğitim sürecini kontrol eder. Meta, modelleri eğitmek veya yeniden eğitmek için gereken kaynaklar ortalama bir bireyin yeteneklerinin çok ötesinde olduğundan, bağımsız araştırmacıları veya geliştiricileri topluluk işbirliklerine katılmaya davet etmez. Bu kaynaklar arasında on binlerce yüksek performanslı GPU, bu GPU'ları depolamak için veri merkezleri, gelişmiş soğutma tesisleri ve eğitim için trilyonlarca belirteç (model eğitimi için gereken metin verisi birimleri) bulunur. Stanford Üniversitesi'nin 2024 Yapay Zeka Endeksi raporunda belirtildiği gibi, "Eğitimin dramatik maliyeti, geleneksel olarak yapay zeka araştırmalarının güç merkezleri olan üniversiteleri en üst düzey temel model geliştirmeden etkili bir şekilde dışlıyor." Örneğin Sam Altman, GPT-4'ü eğitmenin maliyetinin 100 milyon dolara kadar çıktığını ve buna donanım için sermaye harcamalarının bile dahil olmadığını belirtti. Buna ek olarak, Meta'nın sermaye harcamaları 2024'ün 2. çeyreğinde 2023'ün aynı dönemine göre, özellikle yapay zeka modeli eğitimiyle ilgili sunucular, veri merkezleri ve ağ altyapısı için 2,1 milyar dolar arttı. Sonuç olarak, LLaMa'nın topluluğa katkıda bulunanları model mimarisini geliştirmek için teknik yeteneğe sahip olsalar da, bu iyileştirmeleri uygulamak için kaynaklardan yoksundurlar. Özetle, geleneksel Açık Kaynak yazılım projelerinden farklı olarak, Açık Kaynak yapay zeka projeleri, katkıda bulunanların yalnızca zaman ayırmalarını değil, aynı zamanda yüksek hesaplama ve veri maliyetlerine katlanmalarını da gerektirir. Yeterli kaynak sağlayıcıyı motive etmek için yalnızca iyi niyet ve gönüllülüğe güvenmek gerçekçi değildir. Daha fazla teşvike ihtiyaçları var. Örneğin, 70'ten fazla ülkede 250'den fazla kurumdan 1.000 gönüllü araştırmacının çabalarını bir araya getiren 176 milyar parametreli bir model olan Açık Kaynak'ın büyük dil modeli BLOOM. BLOOM'un başarısı takdire şayan olsa da (ve bunu tamamen destekliyorum), bir eğitim oturumunu koordine etmek bir yıl sürdü ve bir Fransız araştırma enstitüsünden 3 milyon € fon sağladı (modeli eğitmek için Süper Bilgisayar'ın sermaye harcamasını saymazsak). BLOOM'u koordine etmek ve yinelemek için yeni bir finansman turuna güvenme süreci, büyük teknoloji laboratuvarlarındaki geliştirme hızına yetişemeyecek kadar hantaldır. BLOOM'UN PIYASAYA SÜRÜLMESINDEN BU YANA IKI YILDAN FAZLA ZAMAN GEÇTI VE EKIP HENÜZ HERHANGI BIR DEVAM MODELI DUYMADI. Açık Kaynak YZ'nin mümkün olabilmesi için, Açık Kaynak katılımcılarını bu maliyetleri kendilerinin üstlenmesine bırakmak yerine, kaynak sağlayıcılarını bilgi işlem güçlerine ve veri kaynaklarına katkıda bulunmaya teşvik etmenin bir yolunu bulmamız gerekiyor. Şifreleme teknolojisi, altta yatan Açık Kaynak yapay zekasının "kaynak sorununu" neden çözebilir? Şifreleme teknolojisinin temel atılımı, "sahiplik" mekanizması aracılığıyla yüksek kaynak maliyetlerine sahip Açık Kaynak yazılım projelerini mümkün kılmaktır. Açık Kaynak Yapay Zeka'nın kaynak sorunlarını, Açık Kaynak katılımcılarının bu kaynakların maliyetini önceden üstlenmesi yerine, potansiyel kaynak sağlayıcılarını ağa katılmaya teşvik ederek çözer. BTC buna iyi bir örnektir. En eski şifreleme projesi olan BTC, kodu en başından beri herkese açık olan tamamen Açık Kaynak bir yazılım projesidir. Ancak, kodun kendisi BTC'nin anahtarı değildir. Sadece BTCDüğüm yazılımını indirip çalıştırmak ve yerel olarak bir Blok zinciri oluşturmak mantıklı değildir. Yazılımın gerçek değeri, ancak MiningBlok'un herhangi bir katılımcının bilgi işlem gücünü aşacak kadar hesaplama açısından yoğun olması durumunda gerçekleştirilebilir: bir Merkeziyetsizlik'in kontrolsüz defterini tutmak. Temel Açık Kaynak yapay zekasına benzer şekilde, BTC de kişinin yeteneklerinin ötesinde kaynaklar gerektiren bir Açık Kaynak projesidir. İkisi farklı nedenlerle hesaplama kaynaklarına ihtiyaç duysa da - BTC, ağın kurcalanmamasını sağlamak için hesaplama kaynaklarına ihtiyaç duyarken, temel yapay zeka, modelleri optimize etmek ve yinelemek için hesaplama kaynaklarına ihtiyaç duyar - hepsinin ortak noktası, her ikisinin de bireylerin yeteneklerinin ötesinde kaynaklara dayanmasıdır. BTC'nin ve diğer şifreleme ağlarının "sırrı", katılımcıları Açık Kaynak yazılım projesine kaynak sağlamaya teşvik edebilmek, belirteçler aracılığıyla ağ sahipliği sağlamaktır. Jesse'nin 2020'de Variant için yazdığı kuruluş felsefesinde belirtildiği gibi, sahiplik, kaynak sağlayıcıların ağdaki potansiyel kazançlar karşılığında kaynaklara katkıda bulunmaya istekli olmaları için güçlü bir teşvik sağlar. Bu mekanizma, girişimlerin erken aşamadaki finansman eksikliklerini "alın teri" yoluyla nasıl ele aldıklarına benzer (Sweat Equity) - erken aşamadaki çalışanlara (örneğin, kuruculara) öncelikle şirket mülkiyeti şeklinde ödeme yaparak, yeni başlayanlar, aksi takdirde karşılayamayacakları emeği çekebilirler. Şifreleme teknolojisi, "ter eşitliği" kavramını, zamana katkıda bulunanlara odaklanmaktan kaynak sağlayıcılara kadar genişletir. Sonuç olarak Variant, Uniswap, Morpho ve World gibi ağ etkileri oluşturmak için sahiplik mekanizmalarından yararlanan projelere yatırım yapmaya odaklanıyor. Açık Kaynak Yapay Zeka'nın gerçeğe dönüşmesini istiyorsak, şifreleme teknolojisi aracılığıyla uygulanan sahiplik mekanizması kaynak sorununun temel çözümüdür. Bu mekanizma, araştırmacılara model tasarım fikirlerini Açık Kaynak projesine katkıda bulunma özgürlüğü verir, çünkü bu fikirleri gerçekleştirmek için gereken hesaplama ve veri kaynakları, araştırmacıların kendilerinden yüksek ön maliyetleri üstlenmelerini istemek yerine, karşılığında projenin kısmi mülkiyetini alacak olan kaynak sağlayıcı tarafından karşılanacaktır. Açık Kaynak Yapay Zeka'da sahiplik birçok şekilde olabilir, ancak en çok bekleneni, aynı zamanda Pluralis'in önerdiği çözüm olan modelin kendisinin sahipliğidir. Pluralis tarafından önerilen yaklaşım, Protokol Modelleri olarak bilinir. Bu modda, bilgi işlem kaynak sağlayıcısı, bilgi işlem gücüne katkıda bulunarak belirli bir Açık Kaynak modelini eğitebilir ve böylece modelin gelecekteki çıkarım gelirinin kısmi mülkiyetini alabilir. Bu sahiplik belirli bir modele bağlı olduğundan ve değeri modelin çıkarım gelirine dayandığından, bilgi işlem kaynağı sağlayıcıları, eğitim verilerini tahrif etmeden eğitim için en uygun modeli seçmeye teşvik edilir (çünkü yararsız eğitim sağlamak, gelecekteki çıkarım gelirinin beklenen değerini doğrudan düşürür). Bununla birlikte, önemli bir soru şudur: Eğitim süreci, modelin ağırlıklarının bilgi işlem sağlayıcısına gönderilmesini gerektiriyorsa, Pluralis sahiplik güvenliğini nasıl sağlar? Cevap, model Parçalama'yı farklı çalışanlara dağıtmak için "model paralelleştirme" (Model Parallelism) tekniğinin kullanılmasında yatmaktadır. Sinir ağlarının önemli bir özelliği, modelin ağırlıklarının yalnızca küçük bir kısmı bilinse bile, bilgisayarcının yine de eğitime katılabilmesi ve tüm ağırlık setinin çıkarılamamasını sağlamasıdır. Ek olarak, Pluralis platformunda aynı anda birçok farklı model eğitildiğinden, eğitmen çok sayıda farklı ağırlık seti ile karşı karşıya kalacak ve bu da tam modeli yeniden oluşturmayı son derece zorlaştıracaktır. Protokol Modellerinin temel fikri, bu modellerin eğitilebilmesi ve kullanılabilmesidir, ancak protokolden bütünüyle çıkarılamazlar (kullanılan bilgi işlem gücü, modeli sıfırdan eğitmek için gereken kaynakları aşmadığı sürece). Bu mekanizma, Açık Kaynak YZ eleştirmenleri tarafından sıklıkla gündeme getirilen, kapalı YZ rakiplerinin Açık Kaynak'ın emeğinin meyvelerini kötüye kullanabileceği sorununu çözüyor. Neden Şifreleme Teknolojisi + Açık Kaynak = Daha İyi Yapay Zeka Makalenin başında, Big Tech'in yapay zeka üzerindeki kontrolünü analiz ederek kapalı yapay zekanın etik ve normatif yönlerini gösterdim. Ancak güçsüzlük çağında, böyle bir argümanın çoğu okuyucuda yankı uyandırmayabileceğinden korkuyorum. Bu nedenle, şifreleme teknolojisiyle desteklenen Açık Kaynak AI'nın gerçekten daha iyi AI'ya yol açabilmesinin iki nedenini bulmak istiyorum. Her şeyden önce, şifreleme teknolojisi ve Açık Kaynak yapay zekasının birleşimi, yeni nesil vakıf modellerinin geliştirilmesini sağlamak için daha fazla kaynağın koordinasyonunu sağlar, (Foundation Models). Araştırmalar, hem bilgi işlem gücündeki hem de veri kaynaklarındaki artışın modelin performansını artırmaya yardımcı olabileceğini göstermiştir, bu nedenle temel modelin boyutu genişlemektedir. BTC, Açık Kaynak yazılımının şifreleme teknolojisi ile birleştiğinde bilgi işlem gücü açısından potansiyelini bize gösteriyor. Big Tech'in sahip olduğu bulut bilişim kaynaklarından çok daha büyük, dünyanın en büyük ve en güçlü bilgi işlem ağı haline geldi. Şifreleme'nin teknolojisi, silo halindeki rekabeti işbirlikçi rekabete dönüştürmesi bakımından benzersizdir. Şifreleme ağı, kaynak sağlayıcıları, silolar halinde çalışmak ve çabaları çoğaltmak yerine, ortak sorunları çözmek için kaynaklara katkıda bulunmaya teşvik ederek, kaynakların verimli kullanılmasını sağlar. Şifreleme teknolojisiyle desteklenen Açık Kaynak yapay zekası, kapalı yapay zekadan çok daha büyük bir ölçekte modeller oluşturmak için dünyanın bilgi işlem ve veri kaynaklarından yararlanabilecek. Örneğin, Hyperbolic şirketi bu modelin potansiyelini göstermiştir. Açık bir pazar aracılığıyla herkesin GPU'ları daha düşük bir maliyetle kiralamasını mümkün kılarak dağıtılmış bilgi işlem kaynaklarından en iyi şekilde yararlanırlar. İkincisi, şifreleme teknolojisi ve Açık Kaynak AI'nın birleşimi, inovasyonun hızlanmasını sağlayacaktır. Bunun nedeni, kaynak sorunu çözüldüğünde, makine öğrenimi araştırmasının son derece yinelemeli ve yenilikçi Açık Kaynak doğasına geri dönebilmesidir. (LLM) temel büyük dil modellerinin ortaya çıkmasından önce, makine öğrenimi alanındaki araştırmacılar genellikle modellerini ve tekrarlanabilir tasarım planlarını kamuya açık olarak yayınladılar. Bu modeller genellikle Açık Kaynak veri setini kullanır ve nispeten düşük hesaplama gereksinimlerine sahiptir, bu nedenle araştırmacılar bu temeller üzerinde sürekli olarak optimizasyon ve yenilik yapabilir. Sıralı modelleme alanında tekrarlayan sinir ağları (RNN), uzun kısa süreli bellek ağları (LSTM) ve dikkat mekanizmaları gibi birçok atılıma yol açan bu açık uçlu, yinelemeli süreçtir (Attention Mechanisms), bu sonuçta Transformer model mimarisini mümkün kılar. Ancak, araştırmaya yönelik bu açık yaklaşım, GPT-3'ün piyasaya sürülmesinden bu yana değişti. GPT-3 ve ChatGPT'nin başarısı sayesinde OpenAI, yeterli bilgi işlem kaynağı ve veri ile dil anlama yeteneklerine sahip büyük dil modellerini eğitmenin mümkün olduğunu kanıtladı. Bu eğilim, kaynak eşiklerinde keskin bir artışa yol açarak, akademinin kademeli olarak dışlanmasına ve Büyük Teknoloji şirketlerinin rekabet avantajını korumak için artık model mimarilerini açıklamamasına yol açtı. Bu durum, yapay zekanın en ileri noktasını zorlama yeteneğimizi sınırlıyor. Şifreleme teknolojisi ile mümkün kılınan Açık Kaynak yapay zekası bunu değiştirebilir. Araştırmacıların "bir sonraki Transformer"ı keşfetmek için son teknoloji modelleri tekrar yinelemelerine olanak tanır. Bu kombinasyon yalnızca kaynak sorununu çözmekle kalmaz, aynı zamanda makine öğrenimi alanındaki yeniliği canlandırarak yapay zekanın geleceği için daha geniş bir yol açar.