Penulis: Daniel Barabander Kompiler: Deep Tide TechFlow Ringkasan Singkat Saat ini, pengembangan AI dasar didominasi oleh beberapa perusahaan teknologi, yang ditandai dengan tertutup dan kurangnya persaingan. Sementara pengembangan perangkat lunak Sumber Terbuka adalah solusi potensial, AI dasar tidak bekerja seperti proyek Sumber Terbuka tradisional (misalnya, Linux) karena menghadapi "masalah sumber daya": kontributor Sumber Terbuka tidak hanya perlu meluangkan waktu, tetapi juga harus menanggung biaya komputasi dan data di luar kemampuan pribadi mereka. Teknologi enkripsi diharapkan dapat memecahkan masalah sumber daya ini dengan memberi insentif kepada penyedia sumber daya untuk berpartisipasi dalam proyek Sumber Terbuka AI yang mendasarinya. Menggabungkan Sumber Terbuka AI dengan teknologi enkripsi dapat mendukung pengembangan model dalam skala yang lebih besar dan mendorong lebih banyak inovasi untuk menciptakan sistem AI yang lebih maju. PENDAHULUAN Menurut survei yang dilakukan oleh Pew Research Center (Pew Research Center) pada tahun 2024, 64% orang Amerika percaya bahwa dampak media sosial terhadap bangsa lebih berbahaya daripada kebaikan; 78% mengatakan perusahaan media sosial memiliki terlalu banyak kekuatan dan pengaruh dalam politik; 83% percaya bahwa platform ini cenderung sengaja menyensor pandangan politik yang tidak mereka setujui. Ketidakpuasan dengan media sosial telah menjadi hampir salah satu dari sedikit Konsensus dalam masyarakat Amerika. Melihat kembali evolusi media sosial selama 20 tahun terakhir, situasi ini tampaknya sudah ditentukan sebelumnya. Ceritanya tidak rumit: segelintir perusahaan teknologi besar telah menarik perhatian pengguna dan, yang lebih penting, data pengguna. Terlepas dari harapan awal untuk data terbuka, perusahaan dengan cepat mengubah strategi mereka, menggunakan data untuk membangun efek jaringan yang tidak dapat dipecahkan dan menutup akses luar. Hasilnya adalah situasi saat ini: kurang dari 10 perusahaan teknologi besar mendominasi industri media sosial, menciptakan lanskap "monopoli Oligopoli". Karena status quo sangat menguntungkan mereka, perusahaan-perusahaan ini memiliki sedikit insentif untuk berubah. Model ini tertutup dan tidak memiliki persaingan. Saat ini, lintasan teknologi AI tampaknya berulang, tetapi kali ini dampaknya bahkan lebih luas. Sejumlah perusahaan teknologi telah membangun model AI dasar dengan mengendalikan GPU dan sumber daya data, dan telah mematikan akses ke model tersebut. Untuk pendatang baru yang tidak memiliki dana miliaran dolar, hampir tidak mungkin untuk mengembangkan model kompetitif. Karena biaya komputasi pelatihan hanya satu model dasar adalah miliaran dolar, perusahaan media sosial yang telah mendapat manfaat dari gelombang teknologi terakhir menggunakan kontrol mereka atas data pengguna eksklusif untuk mengembangkan model yang sulit ditandingi oleh pesaing. Kami mengulangi kesalahan media sosial dan bergerak menuju dunia AI yang tertutup dan tidak kompetitif. Jika tren ini berlanjut, segelintir perusahaan teknologi akan memiliki kontrol tak terbatas atas akses ke informasi dan peluang. Sumber Terbuka AI dan "Masalah Sumber Daya" Jika kita tidak ingin melihat dunia AI yang tertutup, lalu apa pilihan kita? Jawaban yang jelas adalah mengembangkan model dasar sebagai proyek perangkat lunak Sumber Terbuka. Secara historis, kami memiliki proyek Sumber Terbuka yang tak terhitung jumlahnya yang telah berhasil membangun perangkat lunak dasar yang kami andalkan setiap hari. Misalnya, keberhasilan Linux membuktikan bahwa bahkan perangkat lunak inti seperti sistem operasi dapat dikembangkan dengan cara Sumber Terbuka. Jadi mengapa LLM (model bahasa besar) tidak bisa? Namun, keterbatasan khusus yang dihadapi oleh model AI yang mendasarinya membuatnya berbeda dari perangkat lunak tradisional, yang juga sangat melemahkan kelangsungan hidup mereka sebagai proyek Sumber Terbuka tradisional. Secara khusus, model AI dasar membutuhkan sumber daya komputasi dan data yang sangat besar yang jauh melampaui kemampuan individu. Tidak seperti proyek Sumber Terbuka tradisional, yang hanya mengandalkan orang-orang yang menyumbangkan waktu mereka, Sumber Terbuka AI juga meminta orang untuk menyumbangkan daya komputasi dan sumber daya data, yang dikenal sebagai "masalah sumber daya." Menggunakan model LLaMa Meta sebagai contoh, kita dapat lebih memahami masalah sumber daya ini. Tidak seperti pesaing seperti OpenAI dan Google, Meta tidak menyembunyikan modelnya di balik API berbayar, tetapi secara terbuka menawarkan bobot LLaMa bagi siapa saja untuk digunakan secara gratis (dengan batasan tertentu). Bobot ini berisi apa yang dipelajari model selama pelatihan Meta dan diperlukan untuk menjalankan model. Dengan bobot ini, pengguna dapat menyempurnakan model atau menggunakan output model sebagai input ke model baru. Meskipun rilis LLaMa Meta layak dikreditkan, itu tidak dihitung sebagai proyek perangkat lunak Sumber Terbuka yang sebenarnya. Di belakang layar, Meta mengontrol proses pelatihan, mengandalkan sumber daya komputasi, data, dan keputusannya sendiri, dan secara sepihak memutuskan kapan harus membuat model tersedia untuk umum. Meta tidak mengundang peneliti atau pengembang independen untuk berpartisipasi dalam kolaborasi komunitas, karena sumber daya yang diperlukan untuk melatih atau melatih kembali model jauh melampaui kemampuan rata-rata individu. Sumber daya ini mencakup puluhan ribu GPU berkinerja tinggi, pusat data untuk menyimpan GPU tersebut, fasilitas pendinginan canggih, dan triliunan token (unit data teks yang diperlukan untuk pelatihan model) untuk pelatihan. Sebagaimana dicatat dalam laporan Indeks AI 2024 Stanford, "Biaya pelatihan yang dramatis secara efektif mengecualikan universitas yang secara tradisional menjadi pusat kekuatan penelitian AI dari pengembangan model dasar tingkat atas." Misalnya, Sam Altman menyebutkan bahwa biayanya hingga $ 100 juta untuk melatih GPT-4, dan itu bahkan tidak termasuk pengeluaran modal untuk perangkat keras. Selain itu, belanja modal Meta meningkat sebesar $2,1 miliar pada Q2 2024 dibandingkan periode yang sama pada tahun 2023, terutama untuk server, pusat data, dan infrastruktur jaringan yang terkait dengan pelatihan model AI. Akibatnya, sementara kontributor komunitas LLaMa mungkin memiliki kemampuan teknis untuk meningkatkan arsitektur model, mereka kekurangan sumber daya untuk mengimplementasikan perbaikan tersebut. Singkatnya, tidak seperti proyek perangkat lunak Sumber Terbuka tradisional, proyek Sumber Terbuka AI membutuhkan kontributor tidak hanya untuk menginvestasikan waktu, tetapi juga untuk mengeluarkan biaya komputasi dan data yang tinggi. Tidak realistis untuk hanya mengandalkan niat baik dan kesukarelaan untuk memotivasi penyedia sumber daya yang cukup. Mereka membutuhkan insentif lebih lanjut. Model bahasa besar Sumber Terbuka, BLOOM, adalah model parameter 176 miliar yang menyatukan upaya 1.000 peneliti sukarelawan dari lebih dari 250 institusi di lebih dari 70 negara. Sementara keberhasilan BLOOM sangat mengagumkan (dan saya sepenuhnya mendukungnya), butuh satu tahun untuk mengoordinasikan sesi pelatihan dan mengandalkan € 3 juta dalam pendanaan dari lembaga penelitian Prancis (tidak termasuk belanja modal superkomputer yang digunakan untuk melatih model). Proses mengandalkan putaran pendanaan baru untuk mengoordinasikan dan mengulangi BLOOM terlalu rumit untuk menyamai kecepatan pengembangan di laboratorium teknologi besar. SUDAH LEBIH DARI DUA TAHUN SEJAK BLOOM DIRILIS, DAN TIM BELUM MENDENGAR MODEL TINDAK LANJUT. Agar Sumber Terbuka AI menjadi mungkin, kita perlu menemukan cara untuk memberi insentif kepada penyedia sumber daya untuk menyumbangkan daya komputasi dan sumber daya data mereka, daripada membiarkan kontributor Sumber Terbuka menanggung biaya ini sendiri. Mengapa teknologi enkripsi dapat memecahkan "masalah sumber daya" dari Sumber Terbuka AI yang mendasarinya Terobosan inti dari teknologi enkripsi adalah membuat proyek perangkat lunak Sumber Terbuka dengan biaya sumber daya tinggi dimungkinkan melalui mekanisme "kepemilikan". Ini memecahkan masalah sumber daya Sumber Terbuka AI dengan memberi insentif kepada penyedia sumber daya potensial untuk berpartisipasi dalam jaringan, daripada meminta kontributor Sumber Terbuka menanggung biaya sumber daya ini di muka. BTC adalah contoh yang bagus untuk ini. Sebagai proyek enkripsi paling awal, BTC adalah proyek perangkat lunak Sumber Terbuka sepenuhnya yang kodenya telah dipublikasikan sejak awal. Namun, kode itu sendiri bukanlah kunci untuk BTC. Tidak masuk akal untuk hanya mengunduh dan menjalankan perangkat lunak BTCNode dan membuat Blok Chain secara lokal. Nilai sebenarnya dari perangkat lunak hanya dapat direalisasikan jika PenambanganBlok cukup intensif secara komputasi untuk melebihi daya komputasi dari setiap kontributor tunggal: mempertahankan Desentralisasi, buku besar yang tidak terkendali. Mirip dengan Sumber Terbuka AI yang mendasarinya, BTC juga merupakan proyek Sumber Terbuka yang membutuhkan sumber daya di luar jangkauan kemampuan individu. Sementara keduanya membutuhkan sumber daya komputasi untuk alasan yang berbeda – BTC membutuhkan sumber daya komputasi untuk memastikan bahwa jaringan tidak dapat dirusak, sementara AI yang mendasarinya membutuhkan sumber daya komputasi untuk mengoptimalkan dan mengulangi model – kesamaan mereka semua adalah bahwa keduanya bergantung pada sumber daya yang berada di luar kemampuan individu. "Rahasia" BTC, dan jaringan enkripsi lainnya, yang dapat memberi insentif kepada peserta untuk menyumbangkan sumber daya ke proyek perangkat lunak Sumber Terbuka adalah menyediakan kepemilikan jaringan melalui token. Seperti yang dinyatakan dalam filosofi pendirian Jesse yang ditulis untuk Variant pada tahun 2020, kepemilikan memberikan insentif yang kuat bagi penyedia sumber daya untuk bersedia menyumbangkan sumber daya dengan imbalan potensi keuntungan dalam jaringan. Mekanisme ini mirip dengan bagaimana startup mengatasi kekurangan dana tahap awal melalui (Sweat Equity) "ekuitas keringat" – dengan membayar karyawan tahap awal (misalnya, pendiri) terutama dalam bentuk kepemilikan perusahaan, startup dapat menarik tenaga kerja yang seharusnya tidak mampu mereka bayar. Teknologi enkripsi memperluas konsep "sweat equity" dari berfokus pada kontributor waktu menjadi penyedia sumber daya. Akibatnya, Variant berfokus pada investasi dalam proyek-proyek yang memanfaatkan mekanisme kepemilikan untuk membangun efek jaringan, seperti Uniswap, Morpho, dan World. Jika kita ingin Sumber Terbuka AI menjadi kenyataan, maka mekanisme kepemilikan yang diterapkan melalui teknologi enkripsi adalah solusi utama untuk masalah sumber daya. Mekanisme ini akan memberi para peneliti kebebasan untuk menyumbangkan ide-ide desain model mereka ke proyek Sumber Terbuka, karena sumber daya komputasi dan data yang diperlukan untuk mengimplementasikan ide-ide tersebut akan ditanggung oleh penyedia sumber daya, yang akan dihargai dengan mendapatkan fraksional pemilik proyek, daripada meminta para peneliti sendiri untuk menanggung biaya dimuka yang tinggi. Di Sumber Terbuka AI, kepemilikan dapat mengambil banyak bentuk, tetapi salah satu yang paling diantisipasi adalah kepemilikan model itu sendiri, yang juga merupakan solusi yang diusulkan oleh Pluralis. Pendekatan yang diusulkan oleh Pluralis dikenal sebagai Model Protokol. Dalam model ini, penyedia sumber daya komputasi dapat melatih model Sumber Terbuka tertentu dengan menyumbangkan daya komputasi, dan dengan demikian menerima pemilik fraksional dari pendapatan inferensi model di masa depan. Karena kepemilikan ini terkait dengan model tertentu, dan nilainya didasarkan pada pendapatan inferensi model, penyedia sumber daya komputasi diberi insentif untuk memilih model optimal untuk pelatihan tanpa memalsukan data pelatihan (karena memberikan pelatihan yang tidak berguna secara langsung menurunkan nilai yang diharapkan dari pendapatan inferensi di masa mendatang). Namun, pertanyaan kuncinya adalah: bagaimana Pluralis memastikan keamanan kepemilikan jika proses pelatihan mengharuskan bobot model dikirim ke penyedia komputasi? Jawabannya terletak pada penggunaan teknik (Model Parallelism) "paralelisasi model" untuk mendistribusikan sharding model ke pekerja yang berbeda. Fitur penting dari jaringan saraf adalah bahwa bahkan jika hanya sebagian kecil dari bobot model yang diketahui, komputator masih dapat berpartisipasi dalam pelatihan, memastikan bahwa set bobot lengkap tidak dapat diekstraksi. Selain itu, karena banyak model yang berbeda dilatih pada saat yang sama pada platform Pluralis, pelatih akan dihadapkan dengan sejumlah besar set bobot yang berbeda, yang membuatnya sangat sulit untuk membangun kembali model penuh. Ide inti dari Model Protokol adalah bahwa model-model ini dapat dilatih dan digunakan, tetapi mereka tidak dapat diekstraksi secara keseluruhan dari protokol (kecuali daya komputasi yang digunakan melebihi sumber daya yang diperlukan untuk melatih model dari awal). Mekanisme ini memecahkan masalah yang sering diajukan oleh para kritikus Sumber Terbuka AI, bahwa pesaing AI tertutup dapat menyalahgunakan hasil kerja proyek Sumber Terbuka. Mengapa enkripsi Teknologi + Sumber Terbuka = AI yang Lebih Baik Di awal artikel, saya mengilustrasikan aspek etis dan normatif dari AI tertutup dengan menganalisis kontrol Big Tech atas AI. Tetapi di zaman ketidakberdayaan, saya khawatir argumen semacam itu mungkin tidak beresonansi dengan sebagian besar pembaca. Oleh karena itu, saya ingin menawarkan dua alasan mengapa Sumber Terbuka AI, didukung oleh teknologi enkripsi, benar-benar dapat mengarah pada AI yang lebih baik. Pertama, kombinasi teknologi enkripsi dan Sumber Terbuka AI memungkinkan koordinasi lebih banyak sumber daya untuk mendorong pengembangan model dasar generasi berikutnya, (Foundation Models). Penelitian telah menunjukkan bahwa peningkatan daya komputasi dan sumber daya data dapat membantu meningkatkan kinerja model, itulah sebabnya ukuran model dasar telah berkembang. BTC menunjukkan kepada kita potensi perangkat lunak Sumber Terbuka yang dikombinasikan dengan teknologi enkripsi dalam hal daya komputasi. Ini telah menjadi jaringan komputasi terbesar dan paling kuat di dunia, jauh lebih besar daripada sumber daya komputasi awan yang dimiliki oleh Big Tech. Teknologi enkripsi unik karena mengubah persaingan silo menjadi kompetisi kolaboratif. Dengan memberi insentif kepada penyedia sumber daya untuk menyumbangkan sumber daya untuk memecahkan masalah umum, daripada bekerja dalam silo dan upaya duplikasi, jaringan Enkripsi memungkinkan penggunaan sumber daya secara efisien. Sumber Terbuka AI, yang didukung oleh teknologi enkripsi, akan dapat memanfaatkan sumber daya komputasi dan data dunia untuk membangun model yang jauh melampaui AI tertutup. Misalnya, perusahaan Hyperbolic telah menunjukkan potensi model ini. Mereka memanfaatkan sumber daya komputasi terdistribusi dengan memungkinkan siapa saja untuk menyewa GPU dengan biaya lebih rendah melalui pasar terbuka. Kedua, kombinasi teknologi enkripsi dan Sumber Terbuka AI akan mendorong percepatan inovasi. Ini karena setelah masalah sumber daya diselesaikan, penelitian pembelajaran mesin dapat kembali ke sifat Sumber Terbuka yang sangat berulang dan inovatif. Sebelum munculnya model bahasa besar dasar (LLM), para peneliti di bidang pembelajaran mesin sering secara terbuka merilis model mereka dan cetak biru desain mereka yang dapat direproduksi. Model-model ini biasanya menggunakan dataset Sumber Terbuka dan memiliki persyaratan komputasi yang relatif rendah, memungkinkan para peneliti untuk terus mengoptimalkan dan berinovasi di atas ini. Proses berulang terbuka inilah yang telah menyebabkan banyak terobosan di bidang pemodelan sekuensial, seperti jaringan saraf berulang (RNN), jaringan memori jangka pendek panjang (LSTM), dan mekanisme perhatian (Attention Mechanisms), ini pada akhirnya memungkinkan arsitektur model Transformer. Namun, pendekatan terbuka untuk penelitian ini telah berubah sejak peluncuran GPT-3. Melalui keberhasilan GPT-3 dan ChatGPT, OpenAI telah membuktikan bahwa dengan sumber daya dan data komputasi yang cukup, dimungkinkan untuk melatih model bahasa besar dengan kemampuan pemahaman bahasa. Tren ini telah menyebabkan peningkatan tajam dalam ambang batas sumber daya, yang mengarah pada pengecualian bertahap akademisi dan fakta bahwa perusahaan Big Tech tidak lagi membuat arsitektur model mereka publik untuk mempertahankan keunggulan kompetitif. Situasi ini membatasi kemampuan kita untuk mendorong AI yang canggih. Sumber Terbuka AI, yang diaktifkan oleh teknologi enkripsi, dapat mengubahnya. Hal ini memungkinkan para peneliti untuk mengulangi model mutakhir lagi untuk menemukan "Transformer berikutnya." Kombinasi ini tidak hanya memecahkan masalah sumber daya, tetapi juga menghidupkan kembali inovasi di bidang pembelajaran mesin, membuka jalan yang lebih luas untuk masa depan AI.
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Variant 投资合伙人：Sumber Terbuka AI 的困境与突破，为什么enkripsi技术是最后一块拼图？
Penulis: Daniel Barabander Kompiler: Deep Tide TechFlow Ringkasan Singkat Saat ini, pengembangan AI dasar didominasi oleh beberapa perusahaan teknologi, yang ditandai dengan tertutup dan kurangnya persaingan. Sementara pengembangan perangkat lunak Sumber Terbuka adalah solusi potensial, AI dasar tidak bekerja seperti proyek Sumber Terbuka tradisional (misalnya, Linux) karena menghadapi "masalah sumber daya": kontributor Sumber Terbuka tidak hanya perlu meluangkan waktu, tetapi juga harus menanggung biaya komputasi dan data di luar kemampuan pribadi mereka. Teknologi enkripsi diharapkan dapat memecahkan masalah sumber daya ini dengan memberi insentif kepada penyedia sumber daya untuk berpartisipasi dalam proyek Sumber Terbuka AI yang mendasarinya. Menggabungkan Sumber Terbuka AI dengan teknologi enkripsi dapat mendukung pengembangan model dalam skala yang lebih besar dan mendorong lebih banyak inovasi untuk menciptakan sistem AI yang lebih maju. PENDAHULUAN Menurut survei yang dilakukan oleh Pew Research Center (Pew Research Center) pada tahun 2024, 64% orang Amerika percaya bahwa dampak media sosial terhadap bangsa lebih berbahaya daripada kebaikan; 78% mengatakan perusahaan media sosial memiliki terlalu banyak kekuatan dan pengaruh dalam politik; 83% percaya bahwa platform ini cenderung sengaja menyensor pandangan politik yang tidak mereka setujui. Ketidakpuasan dengan media sosial telah menjadi hampir salah satu dari sedikit Konsensus dalam masyarakat Amerika. Melihat kembali evolusi media sosial selama 20 tahun terakhir, situasi ini tampaknya sudah ditentukan sebelumnya. Ceritanya tidak rumit: segelintir perusahaan teknologi besar telah menarik perhatian pengguna dan, yang lebih penting, data pengguna. Terlepas dari harapan awal untuk data terbuka, perusahaan dengan cepat mengubah strategi mereka, menggunakan data untuk membangun efek jaringan yang tidak dapat dipecahkan dan menutup akses luar. Hasilnya adalah situasi saat ini: kurang dari 10 perusahaan teknologi besar mendominasi industri media sosial, menciptakan lanskap "monopoli Oligopoli". Karena status quo sangat menguntungkan mereka, perusahaan-perusahaan ini memiliki sedikit insentif untuk berubah. Model ini tertutup dan tidak memiliki persaingan. Saat ini, lintasan teknologi AI tampaknya berulang, tetapi kali ini dampaknya bahkan lebih luas. Sejumlah perusahaan teknologi telah membangun model AI dasar dengan mengendalikan GPU dan sumber daya data, dan telah mematikan akses ke model tersebut. Untuk pendatang baru yang tidak memiliki dana miliaran dolar, hampir tidak mungkin untuk mengembangkan model kompetitif. Karena biaya komputasi pelatihan hanya satu model dasar adalah miliaran dolar, perusahaan media sosial yang telah mendapat manfaat dari gelombang teknologi terakhir menggunakan kontrol mereka atas data pengguna eksklusif untuk mengembangkan model yang sulit ditandingi oleh pesaing. Kami mengulangi kesalahan media sosial dan bergerak menuju dunia AI yang tertutup dan tidak kompetitif. Jika tren ini berlanjut, segelintir perusahaan teknologi akan memiliki kontrol tak terbatas atas akses ke informasi dan peluang. Sumber Terbuka AI dan "Masalah Sumber Daya" Jika kita tidak ingin melihat dunia AI yang tertutup, lalu apa pilihan kita? Jawaban yang jelas adalah mengembangkan model dasar sebagai proyek perangkat lunak Sumber Terbuka. Secara historis, kami memiliki proyek Sumber Terbuka yang tak terhitung jumlahnya yang telah berhasil membangun perangkat lunak dasar yang kami andalkan setiap hari. Misalnya, keberhasilan Linux membuktikan bahwa bahkan perangkat lunak inti seperti sistem operasi dapat dikembangkan dengan cara Sumber Terbuka. Jadi mengapa LLM (model bahasa besar) tidak bisa? Namun, keterbatasan khusus yang dihadapi oleh model AI yang mendasarinya membuatnya berbeda dari perangkat lunak tradisional, yang juga sangat melemahkan kelangsungan hidup mereka sebagai proyek Sumber Terbuka tradisional. Secara khusus, model AI dasar membutuhkan sumber daya komputasi dan data yang sangat besar yang jauh melampaui kemampuan individu. Tidak seperti proyek Sumber Terbuka tradisional, yang hanya mengandalkan orang-orang yang menyumbangkan waktu mereka, Sumber Terbuka AI juga meminta orang untuk menyumbangkan daya komputasi dan sumber daya data, yang dikenal sebagai "masalah sumber daya." Menggunakan model LLaMa Meta sebagai contoh, kita dapat lebih memahami masalah sumber daya ini. Tidak seperti pesaing seperti OpenAI dan Google, Meta tidak menyembunyikan modelnya di balik API berbayar, tetapi secara terbuka menawarkan bobot LLaMa bagi siapa saja untuk digunakan secara gratis (dengan batasan tertentu). Bobot ini berisi apa yang dipelajari model selama pelatihan Meta dan diperlukan untuk menjalankan model. Dengan bobot ini, pengguna dapat menyempurnakan model atau menggunakan output model sebagai input ke model baru. Meskipun rilis LLaMa Meta layak dikreditkan, itu tidak dihitung sebagai proyek perangkat lunak Sumber Terbuka yang sebenarnya. Di belakang layar, Meta mengontrol proses pelatihan, mengandalkan sumber daya komputasi, data, dan keputusannya sendiri, dan secara sepihak memutuskan kapan harus membuat model tersedia untuk umum. Meta tidak mengundang peneliti atau pengembang independen untuk berpartisipasi dalam kolaborasi komunitas, karena sumber daya yang diperlukan untuk melatih atau melatih kembali model jauh melampaui kemampuan rata-rata individu. Sumber daya ini mencakup puluhan ribu GPU berkinerja tinggi, pusat data untuk menyimpan GPU tersebut, fasilitas pendinginan canggih, dan triliunan token (unit data teks yang diperlukan untuk pelatihan model) untuk pelatihan. Sebagaimana dicatat dalam laporan Indeks AI 2024 Stanford, "Biaya pelatihan yang dramatis secara efektif mengecualikan universitas yang secara tradisional menjadi pusat kekuatan penelitian AI dari pengembangan model dasar tingkat atas." Misalnya, Sam Altman menyebutkan bahwa biayanya hingga $ 100 juta untuk melatih GPT-4, dan itu bahkan tidak termasuk pengeluaran modal untuk perangkat keras. Selain itu, belanja modal Meta meningkat sebesar $2,1 miliar pada Q2 2024 dibandingkan periode yang sama pada tahun 2023, terutama untuk server, pusat data, dan infrastruktur jaringan yang terkait dengan pelatihan model AI. Akibatnya, sementara kontributor komunitas LLaMa mungkin memiliki kemampuan teknis untuk meningkatkan arsitektur model, mereka kekurangan sumber daya untuk mengimplementasikan perbaikan tersebut. Singkatnya, tidak seperti proyek perangkat lunak Sumber Terbuka tradisional, proyek Sumber Terbuka AI membutuhkan kontributor tidak hanya untuk menginvestasikan waktu, tetapi juga untuk mengeluarkan biaya komputasi dan data yang tinggi. Tidak realistis untuk hanya mengandalkan niat baik dan kesukarelaan untuk memotivasi penyedia sumber daya yang cukup. Mereka membutuhkan insentif lebih lanjut. Model bahasa besar Sumber Terbuka, BLOOM, adalah model parameter 176 miliar yang menyatukan upaya 1.000 peneliti sukarelawan dari lebih dari 250 institusi di lebih dari 70 negara. Sementara keberhasilan BLOOM sangat mengagumkan (dan saya sepenuhnya mendukungnya), butuh satu tahun untuk mengoordinasikan sesi pelatihan dan mengandalkan € 3 juta dalam pendanaan dari lembaga penelitian Prancis (tidak termasuk belanja modal superkomputer yang digunakan untuk melatih model). Proses mengandalkan putaran pendanaan baru untuk mengoordinasikan dan mengulangi BLOOM terlalu rumit untuk menyamai kecepatan pengembangan di laboratorium teknologi besar. SUDAH LEBIH DARI DUA TAHUN SEJAK BLOOM DIRILIS, DAN TIM BELUM MENDENGAR MODEL TINDAK LANJUT. Agar Sumber Terbuka AI menjadi mungkin, kita perlu menemukan cara untuk memberi insentif kepada penyedia sumber daya untuk menyumbangkan daya komputasi dan sumber daya data mereka, daripada membiarkan kontributor Sumber Terbuka menanggung biaya ini sendiri. Mengapa teknologi enkripsi dapat memecahkan "masalah sumber daya" dari Sumber Terbuka AI yang mendasarinya Terobosan inti dari teknologi enkripsi adalah membuat proyek perangkat lunak Sumber Terbuka dengan biaya sumber daya tinggi dimungkinkan melalui mekanisme "kepemilikan". Ini memecahkan masalah sumber daya Sumber Terbuka AI dengan memberi insentif kepada penyedia sumber daya potensial untuk berpartisipasi dalam jaringan, daripada meminta kontributor Sumber Terbuka menanggung biaya sumber daya ini di muka. BTC adalah contoh yang bagus untuk ini. Sebagai proyek enkripsi paling awal, BTC adalah proyek perangkat lunak Sumber Terbuka sepenuhnya yang kodenya telah dipublikasikan sejak awal. Namun, kode itu sendiri bukanlah kunci untuk BTC. Tidak masuk akal untuk hanya mengunduh dan menjalankan perangkat lunak BTCNode dan membuat Blok Chain secara lokal. Nilai sebenarnya dari perangkat lunak hanya dapat direalisasikan jika PenambanganBlok cukup intensif secara komputasi untuk melebihi daya komputasi dari setiap kontributor tunggal: mempertahankan Desentralisasi, buku besar yang tidak terkendali. Mirip dengan Sumber Terbuka AI yang mendasarinya, BTC juga merupakan proyek Sumber Terbuka yang membutuhkan sumber daya di luar jangkauan kemampuan individu. Sementara keduanya membutuhkan sumber daya komputasi untuk alasan yang berbeda – BTC membutuhkan sumber daya komputasi untuk memastikan bahwa jaringan tidak dapat dirusak, sementara AI yang mendasarinya membutuhkan sumber daya komputasi untuk mengoptimalkan dan mengulangi model – kesamaan mereka semua adalah bahwa keduanya bergantung pada sumber daya yang berada di luar kemampuan individu. "Rahasia" BTC, dan jaringan enkripsi lainnya, yang dapat memberi insentif kepada peserta untuk menyumbangkan sumber daya ke proyek perangkat lunak Sumber Terbuka adalah menyediakan kepemilikan jaringan melalui token. Seperti yang dinyatakan dalam filosofi pendirian Jesse yang ditulis untuk Variant pada tahun 2020, kepemilikan memberikan insentif yang kuat bagi penyedia sumber daya untuk bersedia menyumbangkan sumber daya dengan imbalan potensi keuntungan dalam jaringan. Mekanisme ini mirip dengan bagaimana startup mengatasi kekurangan dana tahap awal melalui (Sweat Equity) "ekuitas keringat" – dengan membayar karyawan tahap awal (misalnya, pendiri) terutama dalam bentuk kepemilikan perusahaan, startup dapat menarik tenaga kerja yang seharusnya tidak mampu mereka bayar. Teknologi enkripsi memperluas konsep "sweat equity" dari berfokus pada kontributor waktu menjadi penyedia sumber daya. Akibatnya, Variant berfokus pada investasi dalam proyek-proyek yang memanfaatkan mekanisme kepemilikan untuk membangun efek jaringan, seperti Uniswap, Morpho, dan World. Jika kita ingin Sumber Terbuka AI menjadi kenyataan, maka mekanisme kepemilikan yang diterapkan melalui teknologi enkripsi adalah solusi utama untuk masalah sumber daya. Mekanisme ini akan memberi para peneliti kebebasan untuk menyumbangkan ide-ide desain model mereka ke proyek Sumber Terbuka, karena sumber daya komputasi dan data yang diperlukan untuk mengimplementasikan ide-ide tersebut akan ditanggung oleh penyedia sumber daya, yang akan dihargai dengan mendapatkan fraksional pemilik proyek, daripada meminta para peneliti sendiri untuk menanggung biaya dimuka yang tinggi. Di Sumber Terbuka AI, kepemilikan dapat mengambil banyak bentuk, tetapi salah satu yang paling diantisipasi adalah kepemilikan model itu sendiri, yang juga merupakan solusi yang diusulkan oleh Pluralis. Pendekatan yang diusulkan oleh Pluralis dikenal sebagai Model Protokol. Dalam model ini, penyedia sumber daya komputasi dapat melatih model Sumber Terbuka tertentu dengan menyumbangkan daya komputasi, dan dengan demikian menerima pemilik fraksional dari pendapatan inferensi model di masa depan. Karena kepemilikan ini terkait dengan model tertentu, dan nilainya didasarkan pada pendapatan inferensi model, penyedia sumber daya komputasi diberi insentif untuk memilih model optimal untuk pelatihan tanpa memalsukan data pelatihan (karena memberikan pelatihan yang tidak berguna secara langsung menurunkan nilai yang diharapkan dari pendapatan inferensi di masa mendatang). Namun, pertanyaan kuncinya adalah: bagaimana Pluralis memastikan keamanan kepemilikan jika proses pelatihan mengharuskan bobot model dikirim ke penyedia komputasi? Jawabannya terletak pada penggunaan teknik (Model Parallelism) "paralelisasi model" untuk mendistribusikan sharding model ke pekerja yang berbeda. Fitur penting dari jaringan saraf adalah bahwa bahkan jika hanya sebagian kecil dari bobot model yang diketahui, komputator masih dapat berpartisipasi dalam pelatihan, memastikan bahwa set bobot lengkap tidak dapat diekstraksi. Selain itu, karena banyak model yang berbeda dilatih pada saat yang sama pada platform Pluralis, pelatih akan dihadapkan dengan sejumlah besar set bobot yang berbeda, yang membuatnya sangat sulit untuk membangun kembali model penuh. Ide inti dari Model Protokol adalah bahwa model-model ini dapat dilatih dan digunakan, tetapi mereka tidak dapat diekstraksi secara keseluruhan dari protokol (kecuali daya komputasi yang digunakan melebihi sumber daya yang diperlukan untuk melatih model dari awal). Mekanisme ini memecahkan masalah yang sering diajukan oleh para kritikus Sumber Terbuka AI, bahwa pesaing AI tertutup dapat menyalahgunakan hasil kerja proyek Sumber Terbuka. Mengapa enkripsi Teknologi + Sumber Terbuka = AI yang Lebih Baik Di awal artikel, saya mengilustrasikan aspek etis dan normatif dari AI tertutup dengan menganalisis kontrol Big Tech atas AI. Tetapi di zaman ketidakberdayaan, saya khawatir argumen semacam itu mungkin tidak beresonansi dengan sebagian besar pembaca. Oleh karena itu, saya ingin menawarkan dua alasan mengapa Sumber Terbuka AI, didukung oleh teknologi enkripsi, benar-benar dapat mengarah pada AI yang lebih baik. Pertama, kombinasi teknologi enkripsi dan Sumber Terbuka AI memungkinkan koordinasi lebih banyak sumber daya untuk mendorong pengembangan model dasar generasi berikutnya, (Foundation Models). Penelitian telah menunjukkan bahwa peningkatan daya komputasi dan sumber daya data dapat membantu meningkatkan kinerja model, itulah sebabnya ukuran model dasar telah berkembang. BTC menunjukkan kepada kita potensi perangkat lunak Sumber Terbuka yang dikombinasikan dengan teknologi enkripsi dalam hal daya komputasi. Ini telah menjadi jaringan komputasi terbesar dan paling kuat di dunia, jauh lebih besar daripada sumber daya komputasi awan yang dimiliki oleh Big Tech. Teknologi enkripsi unik karena mengubah persaingan silo menjadi kompetisi kolaboratif. Dengan memberi insentif kepada penyedia sumber daya untuk menyumbangkan sumber daya untuk memecahkan masalah umum, daripada bekerja dalam silo dan upaya duplikasi, jaringan Enkripsi memungkinkan penggunaan sumber daya secara efisien. Sumber Terbuka AI, yang didukung oleh teknologi enkripsi, akan dapat memanfaatkan sumber daya komputasi dan data dunia untuk membangun model yang jauh melampaui AI tertutup. Misalnya, perusahaan Hyperbolic telah menunjukkan potensi model ini. Mereka memanfaatkan sumber daya komputasi terdistribusi dengan memungkinkan siapa saja untuk menyewa GPU dengan biaya lebih rendah melalui pasar terbuka. Kedua, kombinasi teknologi enkripsi dan Sumber Terbuka AI akan mendorong percepatan inovasi. Ini karena setelah masalah sumber daya diselesaikan, penelitian pembelajaran mesin dapat kembali ke sifat Sumber Terbuka yang sangat berulang dan inovatif. Sebelum munculnya model bahasa besar dasar (LLM), para peneliti di bidang pembelajaran mesin sering secara terbuka merilis model mereka dan cetak biru desain mereka yang dapat direproduksi. Model-model ini biasanya menggunakan dataset Sumber Terbuka dan memiliki persyaratan komputasi yang relatif rendah, memungkinkan para peneliti untuk terus mengoptimalkan dan berinovasi di atas ini. Proses berulang terbuka inilah yang telah menyebabkan banyak terobosan di bidang pemodelan sekuensial, seperti jaringan saraf berulang (RNN), jaringan memori jangka pendek panjang (LSTM), dan mekanisme perhatian (Attention Mechanisms), ini pada akhirnya memungkinkan arsitektur model Transformer. Namun, pendekatan terbuka untuk penelitian ini telah berubah sejak peluncuran GPT-3. Melalui keberhasilan GPT-3 dan ChatGPT, OpenAI telah membuktikan bahwa dengan sumber daya dan data komputasi yang cukup, dimungkinkan untuk melatih model bahasa besar dengan kemampuan pemahaman bahasa. Tren ini telah menyebabkan peningkatan tajam dalam ambang batas sumber daya, yang mengarah pada pengecualian bertahap akademisi dan fakta bahwa perusahaan Big Tech tidak lagi membuat arsitektur model mereka publik untuk mempertahankan keunggulan kompetitif. Situasi ini membatasi kemampuan kita untuk mendorong AI yang canggih. Sumber Terbuka AI, yang diaktifkan oleh teknologi enkripsi, dapat mengubahnya. Hal ini memungkinkan para peneliti untuk mengulangi model mutakhir lagi untuk menemukan "Transformer berikutnya." Kombinasi ini tidak hanya memecahkan masalah sumber daya, tetapi juga menghidupkan kembali inovasi di bidang pembelajaran mesin, membuka jalan yang lebih luas untuk masa depan AI.