Penulis | Li Yuan, Kabupaten LingziEditor | Wei Shijie
"Dan saya sudah tua," kata Hinton yang berusia 75 tahun kepada semua ilmuwan muda yang hadir, dan dia berharap semua orang akan belajar "bagaimana memiliki kecerdasan super". Dia melihat tantangan yang belum pernah terjadi sebelumnya bagi spesies yang kurang cerdas untuk mengendalikan sesuatu yang lebih pintar dari dirinya sendiri. **
Pada Konferensi Kecerdasan Buatan Zhiyuan, Hinton, ayah baptis AI, memberikan pidato tentang "Dua Jalan Menuju Kecerdasan". Dari analisis arsitektur dan prinsip komputasi, dia sampai pada kesimpulannya sendiri bahwa "jaringan syaraf tiruan akan lebih cerdas daripada otak manusia", yang jauh lebih cepat dari yang dia bayangkan.
Dalam pidatonya selama 30 menit, dia berbicara tentang arsitektur komputasi saat ini di mana perangkat lunak dan perangkat keras dipisahkan.Di bawah aturan ini, melatih model besar menghabiskan banyak daya komputasi. Untuk menggunakan lebih sedikit energi untuk melatih model besar, dia mengusulkan konsep Komputasi Fana - seperti kecerdasan seseorang bergantung pada tubuhnya, itu tidak dapat disalin ke tubuh lain sesuka hati, dan perangkat lunaknya lebih Bergantung pada perangkat keras yang ada di dalamnya.
Tetapi masalah selanjutnya adalah ketika perangkat keras tertentu rusak, perangkat lunak juga rusak, dan "pengetahuan yang dipelajari juga mati bersama". Solusi yang ia usulkan adalah mentransfer pengetahuan tentang perangkat keras lama ke perangkat keras baru dengan cara yang "disaring", seperti seorang guru mengajar siswa.
** Konsep yang sesuai dengan "distilasi pengetahuan" (komputasi biologis) adalah "berbagi bobot" (komputasi digital), yang disebut Hinton sebagai "dua jalur menuju kecerdasan". **Hubungan antara model bahasa besar dan salinannya adalah pembagian bobot, dan setiap salinan secara langsung memperoleh pengetahuan tentang seluruh parameter model—misalnya, ChatGPT dapat berbicara dengan ribuan orang secara bersamaan berdasarkan model di belakangnya. Dan proses belajar terus menerus untuk berbicara dengan semua orang termasuk dalam "distilasi pengetahuan".
Meskipun "distilasi pengetahuan" jauh lebih tidak efisien daripada "berbagi bobot", dan bandwidth juga rendah, model besar dapat memiliki 1000 salinan, dan pada akhirnya memperoleh pengetahuan 1000 kali lebih banyak daripada satu orang.
Saat ini model hanya belajar dari dokumen—yakni pengetahuan yang diproses oleh manusia. Seiring perkembangan teknologi, mereka akan dapat belajar dari informasi visual, dan kemudian dapat belajar memanipulasi robot. Kemudian mereka dengan mudah lebih pintar dari manusia, cukup pintar untuk pandai menipu orang. **Dan manusia tidak pandai bergaul dengan hal-hal yang lebih pintar dari diri mereka sendiri. Bagaimana menghindari bahaya kecerdasan "super pintar" ini? Ini adalah subjek yang dia tinggalkan untuk setiap ilmuwan muda. **
Berikut isi pidato utama yang disusun oleh Geek Park:
**Saya akan berbicara hari ini tentang penelitian yang membuat saya percaya bahwa kecerdasan super lebih dekat dari yang saya kira. **
Saya punya dua pertanyaan yang ingin saya bicarakan, dan energi saya akan difokuskan terutama pada pertanyaan pertama, apakah jaringan saraf tiruan akan segera lebih pintar daripada jaringan saraf nyata? Saya akan menguraikan penelitian saya yang membawa saya pada kesimpulan bahwa hal seperti itu mungkin terjadi segera. Di akhir pembicaraan, saya akan berbicara tentang apakah kita dapat mempertahankan kendali superintelligence, tetapi ini bukan isi utama pembicaraan ini.
Dalam komputasi tradisional, komputer dirancang untuk mengikuti instruksi dengan tepat. Kami dapat menjalankan program atau jaringan saraf yang sama persis pada perangkat keras fisik yang berbeda, karena kami tahu bahwa perangkat keras akan mengikuti instruksi dengan tepat. Artinya, pengetahuan dalam program atau bobot jaringan saraf bersifat abadi, yaitu. tidak bergantung pada perangkat keras tertentu. Biaya untuk mencapai keabadian semacam ini tinggi. Kita harus menjalankan transistor dengan daya tinggi, sehingga perilakunya digital. Dan kami tidak dapat memanfaatkan properti analog dan variabel yang kaya dari perangkat keras.
Jadi alasan komputer digital ada, dan alasan mereka mengikuti instruksi dengan tepat, adalah karena dalam desain tradisional, manusia melihat masalah, mencari tahu langkah apa yang perlu diambil untuk menyelesaikan masalah, dan kemudian kami memberi tahu komputer untuk mengambil langkah tersebut . Tapi itu telah berubah.
Kami sekarang memiliki cara berbeda untuk membuat komputer melakukan sesuatu, yaitu belajar dari contoh, kami hanya menunjukkan kepada mereka apa yang kami ingin mereka lakukan. Karena perubahan ini, kami sekarang memiliki kesempatan untuk meninggalkan salah satu prinsip ilmu komputer yang paling mendasar, pemisahan perangkat lunak dari perangkat keras.
Sebelum kita menyerah, mari kita lihat mengapa itu prinsip yang bagus. Keterpisahan memungkinkan kita untuk menjalankan program yang sama pada perangkat keras yang berbeda. Kita juga bisa langsung mempelajari sifat-sifat program tanpa perlu khawatir dengan perangkat keras elektronik. Dan itulah mengapa jurusan ilmu komputer bisa menjadi disiplin tersendiri, terlepas dari jurusan teknik elektro.
**Jika kita melepaskan pemisahan perangkat keras dan perangkat lunak, kita mendapatkan apa yang saya sebut komputasi non-abadi. **
Ini jelas memiliki kerugian besar, tetapi juga memiliki beberapa keuntungan besar. Agar dapat menjalankan model bahasa besar dengan lebih sedikit energi, terutama untuk melatihnya, saya mulai mengerjakan komputasi non-abadi.
Manfaat terbesar yang bisa diperoleh dari melepaskan keabadian adalah melepaskan pemisahan perangkat keras dan perangkat lunak dapat menghemat banyak energi. Karena kita dapat menggunakan komputasi analog dengan daya yang sangat rendah, persis seperti yang dilakukan otak. Itu memang membutuhkan 1 bit perhitungan, karena neuron hidup atau mati. Tetapi sebagian besar perhitungan dilakukan secara analog, yang dapat dilakukan dengan daya yang sangat rendah.
Kita juga bisa mendapatkan perangkat keras yang lebih murah. Jadi perangkat keras hari ini harus diproduksi dengan sangat tepat dalam 2D (pesawat) sedangkan kita dapat menumbuhkannya dalam 3D (lingkungan) karena kita tidak perlu tahu persis bagaimana perangkat keras menghantarkan listrik, atau persis bagaimana setiap bagiannya bekerja. .
Jelas, untuk melakukan itu akan membutuhkan banyak nanoteknologi baru, atau mungkin rekayasa ulang genetik dari neuron biologis, karena neuron biologis secara kasar melakukan apa yang kita ingin mereka lakukan. **Sebelum kita membahas semua kerugian komputasi non-abadi, saya ingin memberikan contoh komputasi yang dapat dilakukan jauh lebih murah dengan menggunakan perangkat keras analog. **
Jika Anda ingin mengalikan vektor aktivitas saraf dengan matriks bobot, itulah pusat perhitungan jaringan saraf, dan itu melakukan sebagian besar pekerjaan untuk jaringan saraf. Apa yang kami lakukan saat ini adalah menggerakkan transistor dengan daya sangat tinggi untuk mewakili bit angka, dalam angka. Kemudian kita melakukan O(n^2), mengalikan dua angka n-digit. Ini mungkin operasi pada komputer, tetapi pada tingkat bit persegi n.
Pendekatan lain adalah mengimplementasikan aktivitas saraf sebagai tegangan dan berat sebagai konduktivitas. Kemudian dalam satu satuan waktu, tegangan dikalikan dengan konduktansi untuk mendapatkan muatan, dan muatan dijumlahkan dengan sendirinya. Jadi jelas Anda bisa mengalikan vektor tegangan dengan matriks konduktansi. Ini lebih hemat energi, dan chip yang bekerja dengan cara ini sudah ada.
Sayangnya, yang kemudian dilakukan orang adalah mencoba mengubah jawaban analog menjadi digital, yang membutuhkan penggunaan konverter AC yang sangat mahal. Kami ingin sepenuhnya berada di dunia analog jika memungkinkan. Tetapi hal itu menyebabkan perangkat keras yang berbeda akhirnya menghitung hal-hal yang sedikit berbeda.
Oleh karena itu, masalah utama dengan non-immortal computing adalah ketika belajar, program harus belajar sesuai dengan properti spesifik dari perangkat keras yang disimulasikan, tanpa mengetahui dengan pasti apa properti spesifik dari setiap perangkat keras, misalnya Fungsi persis yang menghubungkan input neuron ke output neuron, tanpa mengetahui konektivitas.
Ini berarti bahwa kita tidak dapat menggunakan algoritme seperti backpropagation untuk mendapatkan gradien, karena backpropagation memerlukan model propagasi maju yang tepat. Jadi pertanyaannya adalah, jika kita tidak bisa menggunakan algoritma backpropagation, apalagi yang bisa kita lakukan? Karena kita semua sangat bergantung pada backpropagation sekarang.
Saya dapat menunjukkan pembelajaran yang sangat sederhana dan lugas tentang gangguan berat badan, yang telah banyak dipelajari. Untuk setiap bobot dalam jaringan, dihasilkan vektor gangguan sementara kecil acak. Kemudian mengukur perubahan dalam fungsi tujuan global pada sekumpulan kecil contoh, Anda secara permanen mengubah bobot dengan ukuran vektor perturbasi sesuai dengan peningkatan fungsi tujuan. Jadi jika fungsi tujuan semakin buruk, Anda jelas menuju ke arah lain.
Hal yang menyenangkan tentang algoritme ini adalah rata-rata performanya sebaik backpropagation karena rata-rata juga mengikuti gradien. Masalahnya adalah variasinya sangat besar. Jadi ketika Anda memilih arah acak untuk masuk, kebisingan yang dihasilkan menjadi sangat buruk seiring bertambahnya ukuran jaringan. Artinya, algoritme ini efektif untuk sejumlah kecil koneksi, tetapi tidak untuk jaringan besar.
Kami juga memiliki algoritme yang lebih baik untuk pembelajaran gangguan aktivitas. Itu masih memiliki masalah yang sama, tetapi jauh lebih baik daripada gangguan berat badan. Gangguan aktivitas adalah apa yang Anda anggap sebagai gangguan vektor acak dari total input ke setiap neuron. Anda melakukan perturbasi vektor acak untuk setiap input neuron dan melihat apa yang terjadi pada fungsi tujuan Anda saat Anda melakukan perturbasi acak ini pada sekumpulan kecil contoh dan Anda mendapatkan fungsi tujuan karena perturbasi ini Kemudian Anda dapat menghitung cara mengubah masing-masing berat masuk dari neuron untuk mengikuti gradien. Metode ini kurang berisik.
Untuk tugas sederhana seperti MNIST, algoritme semacam itu sudah cukup baik. Tapi itu masih tidak berfungsi dengan baik untuk menskalakan ke jaringan saraf besar.
** Alih-alih menemukan fungsi objektif yang dapat diterapkan pada jaringan saraf kecil, kita dapat mencoba mencari algoritme pembelajaran yang berfungsi untuk jaringan saraf besar. **Idenya adalah untuk melatih jaringan saraf yang besar. Dan yang akan kita lakukan adalah memiliki banyak fungsi tujuan kecil yang berlaku untuk sebagian kecil dari keseluruhan jaringan. Oleh karena itu, setiap kelompok kecil neuron memiliki fungsi objektif lokalnya sendiri.
**Sebagai rangkuman, sejauh ini, kami belum menemukan algoritme pembelajaran yang benar-benar bagus yang dapat memanfaatkan properti simulasi, tetapi kami memiliki algoritme pembelajaran yang tidak buruk, dapat menyelesaikan masalah sederhana seperti MNIST, tetapi tidak terlalu bagus. **
Masalah besar kedua dengan komputasi non-abadi adalah sifatnya yang tidak abadi. Ini berarti bahwa ketika perangkat keras tertentu mati, semua pengetahuan yang dipelajarinya mati bersamanya, karena semua pembelajarannya didasarkan pada detail perangkat keras spesifiknya. Jadi cara terbaik untuk mengatasi masalah ini adalah Anda menyaring pengetahuan dari guru (perangkat keras lama) ke siswa (perangkat keras baru) sebelum perangkat keras mati. Ini adalah arah penelitian yang saya coba promosikan sekarang.
Midjourney dihasilkan
Guru akan menunjukkan kepada siswa tanggapan yang benar terhadap berbagai masukan, dan siswa kemudian akan berusaha untuk meniru tanggapan guru tersebut. Ini seperti Twitter Trump. Beberapa orang sangat marah dengan tweet Trump karena mereka merasa Trump berbohong, dan mereka pikir Trump sedang mencoba menjelaskan fakta. TIDAK. Apa yang telah dilakukan Trump adalah memilih situasi dan memiliki respons yang ditargetkan dan sangat emosional terhadap situasi itu. Pengikutnya melihatnya, belajar bagaimana menghadapi situasi, belajar bagaimana menyesuaikan bobot di jaringan saraf, dan menanggapi situasi secara emosional dengan cara yang sama. Ini tidak ada hubungannya dengan fakta bahwa ini adalah pemimpin sekte yang mengajarkan kefanatikan kepada pengikutnya, tetapi ini sangat efektif.
Jadi, jika kita berpikir tentang cara kerja distilasi, pertimbangkan agen yang mengklasifikasikan gambar ke dalam 1024 kelas yang tidak tumpang tindih. Jawaban yang benar hanya membutuhkan sekitar 10 bit untuk dieja. Jadi saat Anda melatih agen tersebut pada instans pelatihan, jika Anda memberikan jawaban yang benar, Anda hanya memberikan batasan 10-bit pada bobot jaringan.
**Tapi sekarang misalkan kita melatih seorang agen untuk menyesuaikan diri menurut jawaban guru untuk 1024 kategori ini. ** Kemudian distribusi probabilitas yang sama dapat diperoleh, dan diperoleh bilangan real 1023. Dengan asumsi probabilitas ini tidak kecil, ini memberikan kendala ratusan kali lipat.
Biasanya, saat Anda melatih model, Anda melatihnya dengan benar pada kumpulan data pelatihan, lalu berharap model tersebut digeneralisasikan dengan benar pada data pengujian. Tapi di sini, ketika Anda menemukan siswanya, Anda langsung melatih siswa untuk menggeneralisasi, karena yang terlatih menggeneralisasi dengan cara yang sama seperti guru.
Saya akan menggunakan data gambar dari MNIST pada angka 2 sebagai contoh. Kita dapat melihat probabilitas yang ditetapkan oleh guru untuk berbagai kategori.
Baris pertama jelas 2, dan guru juga memberikan probabilitas tinggi 2. Baris kedua, guru cukup yakin itu adalah angka 2, tetapi ia juga berpikir itu bisa menjadi 3, atau bisa jadi 8, dan Anda dapat melihat bahwa memang, angka 3 dan 8 memiliki sedikit kemiripan dengan gambar ini . Di baris ketiga, 2 ini sangat dekat dengan 0. Jadi guru akan memberi tahu siswa bahwa Anda harus memilih untuk mengeluarkan 2 saat ini, tetapi Anda juga harus bertaruh kecil pada 0. Dengan cara ini, siswa dapat belajar lebih banyak dalam kasus ini daripada langsung memberi tahu siswa bahwa ini adalah 2, dan dapat mempelajari seperti apa bentuknya. Di baris keempat, guru mengira itu adalah 2, tetapi kemungkinan besar juga itu adalah 1, seperti cara saya menulis 1 di gambar, dan kadang-kadang seseorang menulis 1 seperti ini.
Dan baris terakhir ternyata AI salah menebak, dikira 5, dan jawaban benar yang diberikan oleh dataset MNIST adalah 2. Dan siswa sebenarnya bisa belajar dari kesalahan guru.
Yang sangat saya sukai dari model penyulingan pengetahuan adalah kami melatih siswa untuk menggeneralisasi dengan cara yang sama seperti guru, termasuk menandai kemungkinan jawaban salah yang kecil. Biasanya, saat Anda melatih sebuah model, Anda memberinya set data pelatihan dan jawaban yang benar, lalu berharap model tersebut digeneralisasikan dengan benar ke set data uji untuk menghasilkan jawaban yang benar. Anda berusaha agar tidak terlalu rumit, atau melakukan berbagai hal, berharap itu dapat digeneralisasikan dengan benar. Tapi di sini, ketika Anda melatih siswa, Anda langsung melatih siswa untuk menggeneralisasi dengan cara yang sama seperti guru.
Jadi sekarang saya ingin berbicara tentang bagaimana komunitas agen dapat berbagi pengetahuan. Daripada memikirkan agen tunggal, lebih baik berpikir tentang berbagi pengetahuan dalam komunitas.
Dan ternyata cara komunitas berbagi pengetahuan menentukan banyak hal yang Anda lakukan tentang komputasi. Jadi dengan model digital, dengan kecerdasan digital, Anda dapat memiliki banyak agen yang menggunakan salinan bobot yang sama persis dan menggunakan bobot tersebut dengan cara yang persis sama. Ini berarti bahwa agen yang berbeda dapat melihat bit data pelatihan yang berbeda.
Mereka dapat menghitung gradien bobot pada bit-bit data pelatihan ini, dan kemudian dapat menghitung rata-rata gradiennya. Jadi sekarang, setiap model belajar dari data yang dilihat setiap model, yang berarti Anda memperoleh kemampuan luar biasa untuk melihat banyak data, karena Anda akan memiliki salinan model berbeda yang melihat bit data berbeda, dan mereka dapat berbagi Gradien atau berbagi bobot untuk membagikan apa yang mereka pelajari dengan sangat efisien.
Jika Anda memiliki model dengan satu triliun bobot, itu berarti setiap kali mereka berbagi sesuatu, Anda mendapatkan satu triliun bit bandwidth. Tetapi harga dari melakukan ini adalah Anda harus berperilaku sebagai agen digital dengan cara yang persis sama.
Oleh karena itu alternatif penggunaan weight sharing adalah dengan menggunakan distilasi. Dan itulah yang kami lakukan dengan model digital. Ini adalah arsitektur yang berbeda.
Namun, Anda harus melakukan ini jika Anda memiliki model biologis yang memanfaatkan sifat simulasi perangkat keras tertentu. Anda tidak dapat berbagi beban. Oleh karena itu, Anda harus menggunakan pengetahuan bersama yang didistribusikan, yang sangat tidak efisien. **Berbagi pengetahuan dengan penyulingan itu sulit. Kalimat yang saya hasilkan, Anda mencoba mencari cara untuk mengubah bobot Anda sehingga Anda akan menghasilkan kalimat yang sama. **
Namun, bandwidth ini jauh lebih rendah daripada hanya berbagi gradien. Setiap orang yang pernah mengajar, ingin mengatakan apa yang dia ketahui dan menuangkannya ke dalam otak siswanya. Itu akan menjadi akhir dari kuliah. Tetapi kami tidak dapat bekerja seperti ini karena kami secara biologis cerdas dan cara saya tidak akan berhasil untuk Anda.
Sejauh ini, kami memiliki dua cara berbeda dalam melakukan perhitungan. ** Komputasi numerik dan komputasi biologis, yang terakhir menggunakan karakteristik hewan. Mereka sangat berbeda dalam cara berbagi pengetahuan secara efektif di antara agen yang berbeda. **
Jika Anda melihat model bahasa besar, mereka menggunakan komputasi numerik dan pembagian bobot. Namun setiap salinan model, setiap agen, memperoleh pengetahuan dari file dengan cara yang sangat tidak efisien. Mengambil dokumen dan mencoba memprediksi kata berikutnya sebenarnya adalah penyulingan pengetahuan yang sangat tidak efisien, yang dipelajari bukanlah prediksi guru tentang distribusi probabilitas kata berikutnya, tetapi konten kata berikutnya yang dipilih oleh penulis dokumen. Oleh karena itu, ini adalah bandwidth yang sangat rendah. Dan begitulah model bahasa besar ini belajar dari orang-orang.
**Sementara mempelajari setiap salinan model bahasa besar tidak efisien, Anda memiliki 1000 salinan. Itu sebabnya mereka bisa belajar 1000 kali lebih banyak dari kita. Jadi saya yakin model bahasa besar ini tahu 1000 kali lebih banyak daripada individu mana pun. **
Nah, pertanyaannya adalah, apa yang terjadi jika agen digital ini, alih-alih belajar dari kita dengan sangat lambat melalui penyulingan pengetahuan, malah mulai belajar langsung dari dunia nyata?
Saya harus menekankan bahwa penyulingan pengetahuan pun belajar dengan sangat lambat, tetapi ketika mereka belajar dari kita, mereka dapat mempelajari hal-hal yang sangat abstrak. ** Manusia telah belajar banyak tentang dunia selama beberapa milenium terakhir, dan agen digital dapat memanfaatkan pengetahuan ini secara langsung. Manusia dapat mengungkapkan apa yang telah kita pelajari, jadi agen digital memiliki akses langsung ke semua yang telah dipelajari manusia tentang dunia selama beberapa milenium terakhir karena kita menuliskannya.
Namun dengan cara ini, bandwidth masing-masing agen digital masih sangat rendah, karena mereka belajar dari dokumen. Jika mereka melakukan pembelajaran tanpa pengawasan, seperti dengan memodelkan video, setelah kami menemukan cara yang efisien untuk memodelkan video untuk melatih model, mereka dapat belajar dari semua video YouTube, yang merupakan banyak data. Atau jika mereka bisa memanipulasi dunia fisik, seperti mereka bisa mengendalikan lengan robot dan sebagainya.
Saya sangat percaya bahwa begitu agen digital ini mulai melakukan ini, mereka akan dapat belajar lebih banyak daripada manusia, dan mereka akan dapat belajar dengan cukup cepat. Jadi kita perlu sampai pada poin kedua yang saya sebutkan di atas dalam tayangan slide, apa yang terjadi jika hal-hal ini menjadi lebih pintar dari kita? **
Tentu saja, ini juga merupakan isi utama dari pertemuan ini. Tapi kontribusi utama saya adalah, **Saya ingin memberi tahu Anda bahwa kecerdasan super ini mungkin datang lebih cepat dari yang saya kira. **
** Orang jahat akan menggunakannya untuk melakukan hal-hal seperti memanipulasi elektronik, yang sudah dilakukan di AS atau banyak tempat lain, dan orang akan mencoba menggunakan AI untuk memenangkan perang. **
Jika Anda ingin agen super menjadi efisien, Anda harus mengizinkannya membuat subtujuan. Ini memunculkan masalah yang jelas**, karena ada sub-tujuan jelas yang dapat sangat meningkatkan kemampuannya untuk membantu kita mencapai apa pun: yaitu memberi lebih banyak kekuatan dan kontrol pada sistem kecerdasan buatan. Semakin banyak kontrol yang Anda miliki, semakin mudah untuk mencapai tujuan Anda. **Saya tidak melihat bagaimana kami dapat menghentikan kecerdasan digital untuk mencoba mendapatkan lebih banyak kendali untuk mencapai tujuan mereka yang lain. Jadi begitu mereka mulai melakukan itu, masalah muncul.
Untuk kecerdasan super, bahkan jika Anda menyimpannya di lingkungan yang benar-benar terisolasi (celah udara), ia akan menemukan bahwa ia dapat dengan mudah memperoleh lebih banyak kekuatan dengan memanipulasi orang. ** Kami tidak terbiasa memikirkan hal-hal yang jauh lebih pintar dari kami dan bagaimana kami ingin berinteraksi dengan mereka. **Tapi menurut saya mereka jelas bisa belajar menjadi sangat pandai menipu orang. Karena bisa melihat praktek kita menipu orang lain di banyak novel atau karya Niccolo Machiavelli. Dan setelah Anda benar-benar pandai menipu orang, Anda dapat membuat mereka melakukan tindakan apa pun yang Anda inginkan. Misalnya, jika Anda ingin meretas gedung di Washington, Anda tidak perlu pergi ke sana, Anda hanya menipu orang agar berpikir bahwa dengan meretas gedung itu, mereka menyelamatkan demokrasi. Dan saya pikir itu cukup menakutkan.
**Saya tidak dapat melihat bagaimana mencegah hal ini terjadi sekarang, dan saya semakin tua. **Saya berharap banyak peneliti muda dan cemerlang, seperti Anda di konferensi, dapat mengetahui bagaimana kita dapat memiliki kecerdasan super ini - bahwa mereka akan membuat hidup kita lebih baik tanpa menjadikan mereka pihak yang dominan.
Kami memiliki keuntungan, sedikit keuntungan, bahwa hal-hal ini tidak berkembang, kami membangunnya. Karena mereka tidak berevolusi, mungkin mereka tidak memiliki tujuan bersaing yang agresif seperti yang dimiliki manusia, mungkin itu membantu, mungkin kita bisa memberi mereka prinsip moral. Tapi saat ini, saya hanya gugup karena saya tidak tahu ada contoh sesuatu yang lebih cerdas yang didominasi oleh sesuatu yang kurang cerdas daripada ketika ada kesenjangan besar dalam kecerdasan. **Contoh yang ingin saya berikan adalah berasumsi bahwa katak menciptakan manusia. Menurut Anda siapa yang memegang kendali saat ini? Katak atau Manusia? Itu saja untuk pidato saya. **
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Ayah baptis AI Hinton: Saya sudah tua, bagaimana cara mengontrol "kecerdasan super" yang lebih pintar dari manusia terserah Anda
Sumber: Geek Park
"Dan saya sudah tua," kata Hinton yang berusia 75 tahun kepada semua ilmuwan muda yang hadir, dan dia berharap semua orang akan belajar "bagaimana memiliki kecerdasan super". Dia melihat tantangan yang belum pernah terjadi sebelumnya bagi spesies yang kurang cerdas untuk mengendalikan sesuatu yang lebih pintar dari dirinya sendiri. **
Pada Konferensi Kecerdasan Buatan Zhiyuan, Hinton, ayah baptis AI, memberikan pidato tentang "Dua Jalan Menuju Kecerdasan". Dari analisis arsitektur dan prinsip komputasi, dia sampai pada kesimpulannya sendiri bahwa "jaringan syaraf tiruan akan lebih cerdas daripada otak manusia", yang jauh lebih cepat dari yang dia bayangkan.
Tetapi masalah selanjutnya adalah ketika perangkat keras tertentu rusak, perangkat lunak juga rusak, dan "pengetahuan yang dipelajari juga mati bersama". Solusi yang ia usulkan adalah mentransfer pengetahuan tentang perangkat keras lama ke perangkat keras baru dengan cara yang "disaring", seperti seorang guru mengajar siswa.
** Konsep yang sesuai dengan "distilasi pengetahuan" (komputasi biologis) adalah "berbagi bobot" (komputasi digital), yang disebut Hinton sebagai "dua jalur menuju kecerdasan". **Hubungan antara model bahasa besar dan salinannya adalah pembagian bobot, dan setiap salinan secara langsung memperoleh pengetahuan tentang seluruh parameter model—misalnya, ChatGPT dapat berbicara dengan ribuan orang secara bersamaan berdasarkan model di belakangnya. Dan proses belajar terus menerus untuk berbicara dengan semua orang termasuk dalam "distilasi pengetahuan".
Meskipun "distilasi pengetahuan" jauh lebih tidak efisien daripada "berbagi bobot", dan bandwidth juga rendah, model besar dapat memiliki 1000 salinan, dan pada akhirnya memperoleh pengetahuan 1000 kali lebih banyak daripada satu orang.
Saat ini model hanya belajar dari dokumen—yakni pengetahuan yang diproses oleh manusia. Seiring perkembangan teknologi, mereka akan dapat belajar dari informasi visual, dan kemudian dapat belajar memanipulasi robot. Kemudian mereka dengan mudah lebih pintar dari manusia, cukup pintar untuk pandai menipu orang. **Dan manusia tidak pandai bergaul dengan hal-hal yang lebih pintar dari diri mereka sendiri. Bagaimana menghindari bahaya kecerdasan "super pintar" ini? Ini adalah subjek yang dia tinggalkan untuk setiap ilmuwan muda. **
Berikut isi pidato utama yang disusun oleh Geek Park:
**Saya akan berbicara hari ini tentang penelitian yang membuat saya percaya bahwa kecerdasan super lebih dekat dari yang saya kira. **
Saya punya dua pertanyaan yang ingin saya bicarakan, dan energi saya akan difokuskan terutama pada pertanyaan pertama, apakah jaringan saraf tiruan akan segera lebih pintar daripada jaringan saraf nyata? Saya akan menguraikan penelitian saya yang membawa saya pada kesimpulan bahwa hal seperti itu mungkin terjadi segera. Di akhir pembicaraan, saya akan berbicara tentang apakah kita dapat mempertahankan kendali superintelligence, tetapi ini bukan isi utama pembicaraan ini.
Jadi alasan komputer digital ada, dan alasan mereka mengikuti instruksi dengan tepat, adalah karena dalam desain tradisional, manusia melihat masalah, mencari tahu langkah apa yang perlu diambil untuk menyelesaikan masalah, dan kemudian kami memberi tahu komputer untuk mengambil langkah tersebut . Tapi itu telah berubah.
Kami sekarang memiliki cara berbeda untuk membuat komputer melakukan sesuatu, yaitu belajar dari contoh, kami hanya menunjukkan kepada mereka apa yang kami ingin mereka lakukan. Karena perubahan ini, kami sekarang memiliki kesempatan untuk meninggalkan salah satu prinsip ilmu komputer yang paling mendasar, pemisahan perangkat lunak dari perangkat keras.
Sebelum kita menyerah, mari kita lihat mengapa itu prinsip yang bagus. Keterpisahan memungkinkan kita untuk menjalankan program yang sama pada perangkat keras yang berbeda. Kita juga bisa langsung mempelajari sifat-sifat program tanpa perlu khawatir dengan perangkat keras elektronik. Dan itulah mengapa jurusan ilmu komputer bisa menjadi disiplin tersendiri, terlepas dari jurusan teknik elektro.
**Jika kita melepaskan pemisahan perangkat keras dan perangkat lunak, kita mendapatkan apa yang saya sebut komputasi non-abadi. **
Ini jelas memiliki kerugian besar, tetapi juga memiliki beberapa keuntungan besar. Agar dapat menjalankan model bahasa besar dengan lebih sedikit energi, terutama untuk melatihnya, saya mulai mengerjakan komputasi non-abadi.
Kita juga bisa mendapatkan perangkat keras yang lebih murah. Jadi perangkat keras hari ini harus diproduksi dengan sangat tepat dalam 2D (pesawat) sedangkan kita dapat menumbuhkannya dalam 3D (lingkungan) karena kita tidak perlu tahu persis bagaimana perangkat keras menghantarkan listrik, atau persis bagaimana setiap bagiannya bekerja. .
Jelas, untuk melakukan itu akan membutuhkan banyak nanoteknologi baru, atau mungkin rekayasa ulang genetik dari neuron biologis, karena neuron biologis secara kasar melakukan apa yang kita ingin mereka lakukan. **Sebelum kita membahas semua kerugian komputasi non-abadi, saya ingin memberikan contoh komputasi yang dapat dilakukan jauh lebih murah dengan menggunakan perangkat keras analog. **
Jika Anda ingin mengalikan vektor aktivitas saraf dengan matriks bobot, itulah pusat perhitungan jaringan saraf, dan itu melakukan sebagian besar pekerjaan untuk jaringan saraf. Apa yang kami lakukan saat ini adalah menggerakkan transistor dengan daya sangat tinggi untuk mewakili bit angka, dalam angka. Kemudian kita melakukan O(n^2), mengalikan dua angka n-digit. Ini mungkin operasi pada komputer, tetapi pada tingkat bit persegi n.
Pendekatan lain adalah mengimplementasikan aktivitas saraf sebagai tegangan dan berat sebagai konduktivitas. Kemudian dalam satu satuan waktu, tegangan dikalikan dengan konduktansi untuk mendapatkan muatan, dan muatan dijumlahkan dengan sendirinya. Jadi jelas Anda bisa mengalikan vektor tegangan dengan matriks konduktansi. Ini lebih hemat energi, dan chip yang bekerja dengan cara ini sudah ada.
Sayangnya, yang kemudian dilakukan orang adalah mencoba mengubah jawaban analog menjadi digital, yang membutuhkan penggunaan konverter AC yang sangat mahal. Kami ingin sepenuhnya berada di dunia analog jika memungkinkan. Tetapi hal itu menyebabkan perangkat keras yang berbeda akhirnya menghitung hal-hal yang sedikit berbeda.
Oleh karena itu, masalah utama dengan non-immortal computing adalah ketika belajar, program harus belajar sesuai dengan properti spesifik dari perangkat keras yang disimulasikan, tanpa mengetahui dengan pasti apa properti spesifik dari setiap perangkat keras, misalnya Fungsi persis yang menghubungkan input neuron ke output neuron, tanpa mengetahui konektivitas.
Ini berarti bahwa kita tidak dapat menggunakan algoritme seperti backpropagation untuk mendapatkan gradien, karena backpropagation memerlukan model propagasi maju yang tepat. Jadi pertanyaannya adalah, jika kita tidak bisa menggunakan algoritma backpropagation, apalagi yang bisa kita lakukan? Karena kita semua sangat bergantung pada backpropagation sekarang.
Saya dapat menunjukkan pembelajaran yang sangat sederhana dan lugas tentang gangguan berat badan, yang telah banyak dipelajari. Untuk setiap bobot dalam jaringan, dihasilkan vektor gangguan sementara kecil acak. Kemudian mengukur perubahan dalam fungsi tujuan global pada sekumpulan kecil contoh, Anda secara permanen mengubah bobot dengan ukuran vektor perturbasi sesuai dengan peningkatan fungsi tujuan. Jadi jika fungsi tujuan semakin buruk, Anda jelas menuju ke arah lain.
Kami juga memiliki algoritme yang lebih baik untuk pembelajaran gangguan aktivitas. Itu masih memiliki masalah yang sama, tetapi jauh lebih baik daripada gangguan berat badan. Gangguan aktivitas adalah apa yang Anda anggap sebagai gangguan vektor acak dari total input ke setiap neuron. Anda melakukan perturbasi vektor acak untuk setiap input neuron dan melihat apa yang terjadi pada fungsi tujuan Anda saat Anda melakukan perturbasi acak ini pada sekumpulan kecil contoh dan Anda mendapatkan fungsi tujuan karena perturbasi ini Kemudian Anda dapat menghitung cara mengubah masing-masing berat masuk dari neuron untuk mengikuti gradien. Metode ini kurang berisik.
Untuk tugas sederhana seperti MNIST, algoritme semacam itu sudah cukup baik. Tapi itu masih tidak berfungsi dengan baik untuk menskalakan ke jaringan saraf besar.
** Alih-alih menemukan fungsi objektif yang dapat diterapkan pada jaringan saraf kecil, kita dapat mencoba mencari algoritme pembelajaran yang berfungsi untuk jaringan saraf besar. **Idenya adalah untuk melatih jaringan saraf yang besar. Dan yang akan kita lakukan adalah memiliki banyak fungsi tujuan kecil yang berlaku untuk sebagian kecil dari keseluruhan jaringan. Oleh karena itu, setiap kelompok kecil neuron memiliki fungsi objektif lokalnya sendiri.
**Sebagai rangkuman, sejauh ini, kami belum menemukan algoritme pembelajaran yang benar-benar bagus yang dapat memanfaatkan properti simulasi, tetapi kami memiliki algoritme pembelajaran yang tidak buruk, dapat menyelesaikan masalah sederhana seperti MNIST, tetapi tidak terlalu bagus. **
Masalah besar kedua dengan komputasi non-abadi adalah sifatnya yang tidak abadi. Ini berarti bahwa ketika perangkat keras tertentu mati, semua pengetahuan yang dipelajarinya mati bersamanya, karena semua pembelajarannya didasarkan pada detail perangkat keras spesifiknya. Jadi cara terbaik untuk mengatasi masalah ini adalah Anda menyaring pengetahuan dari guru (perangkat keras lama) ke siswa (perangkat keras baru) sebelum perangkat keras mati. Ini adalah arah penelitian yang saya coba promosikan sekarang.
Guru akan menunjukkan kepada siswa tanggapan yang benar terhadap berbagai masukan, dan siswa kemudian akan berusaha untuk meniru tanggapan guru tersebut. Ini seperti Twitter Trump. Beberapa orang sangat marah dengan tweet Trump karena mereka merasa Trump berbohong, dan mereka pikir Trump sedang mencoba menjelaskan fakta. TIDAK. Apa yang telah dilakukan Trump adalah memilih situasi dan memiliki respons yang ditargetkan dan sangat emosional terhadap situasi itu. Pengikutnya melihatnya, belajar bagaimana menghadapi situasi, belajar bagaimana menyesuaikan bobot di jaringan saraf, dan menanggapi situasi secara emosional dengan cara yang sama. Ini tidak ada hubungannya dengan fakta bahwa ini adalah pemimpin sekte yang mengajarkan kefanatikan kepada pengikutnya, tetapi ini sangat efektif.
Jadi, jika kita berpikir tentang cara kerja distilasi, pertimbangkan agen yang mengklasifikasikan gambar ke dalam 1024 kelas yang tidak tumpang tindih. Jawaban yang benar hanya membutuhkan sekitar 10 bit untuk dieja. Jadi saat Anda melatih agen tersebut pada instans pelatihan, jika Anda memberikan jawaban yang benar, Anda hanya memberikan batasan 10-bit pada bobot jaringan.
**Tapi sekarang misalkan kita melatih seorang agen untuk menyesuaikan diri menurut jawaban guru untuk 1024 kategori ini. ** Kemudian distribusi probabilitas yang sama dapat diperoleh, dan diperoleh bilangan real 1023. Dengan asumsi probabilitas ini tidak kecil, ini memberikan kendala ratusan kali lipat.
Biasanya, saat Anda melatih model, Anda melatihnya dengan benar pada kumpulan data pelatihan, lalu berharap model tersebut digeneralisasikan dengan benar pada data pengujian. Tapi di sini, ketika Anda menemukan siswanya, Anda langsung melatih siswa untuk menggeneralisasi, karena yang terlatih menggeneralisasi dengan cara yang sama seperti guru.
Baris pertama jelas 2, dan guru juga memberikan probabilitas tinggi 2. Baris kedua, guru cukup yakin itu adalah angka 2, tetapi ia juga berpikir itu bisa menjadi 3, atau bisa jadi 8, dan Anda dapat melihat bahwa memang, angka 3 dan 8 memiliki sedikit kemiripan dengan gambar ini . Di baris ketiga, 2 ini sangat dekat dengan 0. Jadi guru akan memberi tahu siswa bahwa Anda harus memilih untuk mengeluarkan 2 saat ini, tetapi Anda juga harus bertaruh kecil pada 0. Dengan cara ini, siswa dapat belajar lebih banyak dalam kasus ini daripada langsung memberi tahu siswa bahwa ini adalah 2, dan dapat mempelajari seperti apa bentuknya. Di baris keempat, guru mengira itu adalah 2, tetapi kemungkinan besar juga itu adalah 1, seperti cara saya menulis 1 di gambar, dan kadang-kadang seseorang menulis 1 seperti ini.
Dan baris terakhir ternyata AI salah menebak, dikira 5, dan jawaban benar yang diberikan oleh dataset MNIST adalah 2. Dan siswa sebenarnya bisa belajar dari kesalahan guru.
Yang sangat saya sukai dari model penyulingan pengetahuan adalah kami melatih siswa untuk menggeneralisasi dengan cara yang sama seperti guru, termasuk menandai kemungkinan jawaban salah yang kecil. Biasanya, saat Anda melatih sebuah model, Anda memberinya set data pelatihan dan jawaban yang benar, lalu berharap model tersebut digeneralisasikan dengan benar ke set data uji untuk menghasilkan jawaban yang benar. Anda berusaha agar tidak terlalu rumit, atau melakukan berbagai hal, berharap itu dapat digeneralisasikan dengan benar. Tapi di sini, ketika Anda melatih siswa, Anda langsung melatih siswa untuk menggeneralisasi dengan cara yang sama seperti guru.
Jadi sekarang saya ingin berbicara tentang bagaimana komunitas agen dapat berbagi pengetahuan. Daripada memikirkan agen tunggal, lebih baik berpikir tentang berbagi pengetahuan dalam komunitas.
Dan ternyata cara komunitas berbagi pengetahuan menentukan banyak hal yang Anda lakukan tentang komputasi. Jadi dengan model digital, dengan kecerdasan digital, Anda dapat memiliki banyak agen yang menggunakan salinan bobot yang sama persis dan menggunakan bobot tersebut dengan cara yang persis sama. Ini berarti bahwa agen yang berbeda dapat melihat bit data pelatihan yang berbeda.
Mereka dapat menghitung gradien bobot pada bit-bit data pelatihan ini, dan kemudian dapat menghitung rata-rata gradiennya. Jadi sekarang, setiap model belajar dari data yang dilihat setiap model, yang berarti Anda memperoleh kemampuan luar biasa untuk melihat banyak data, karena Anda akan memiliki salinan model berbeda yang melihat bit data berbeda, dan mereka dapat berbagi Gradien atau berbagi bobot untuk membagikan apa yang mereka pelajari dengan sangat efisien.
Jika Anda memiliki model dengan satu triliun bobot, itu berarti setiap kali mereka berbagi sesuatu, Anda mendapatkan satu triliun bit bandwidth. Tetapi harga dari melakukan ini adalah Anda harus berperilaku sebagai agen digital dengan cara yang persis sama.
Oleh karena itu alternatif penggunaan weight sharing adalah dengan menggunakan distilasi. Dan itulah yang kami lakukan dengan model digital. Ini adalah arsitektur yang berbeda.
Namun, Anda harus melakukan ini jika Anda memiliki model biologis yang memanfaatkan sifat simulasi perangkat keras tertentu. Anda tidak dapat berbagi beban. Oleh karena itu, Anda harus menggunakan pengetahuan bersama yang didistribusikan, yang sangat tidak efisien. **Berbagi pengetahuan dengan penyulingan itu sulit. Kalimat yang saya hasilkan, Anda mencoba mencari cara untuk mengubah bobot Anda sehingga Anda akan menghasilkan kalimat yang sama. **
Namun, bandwidth ini jauh lebih rendah daripada hanya berbagi gradien. Setiap orang yang pernah mengajar, ingin mengatakan apa yang dia ketahui dan menuangkannya ke dalam otak siswanya. Itu akan menjadi akhir dari kuliah. Tetapi kami tidak dapat bekerja seperti ini karena kami secara biologis cerdas dan cara saya tidak akan berhasil untuk Anda.
Sejauh ini, kami memiliki dua cara berbeda dalam melakukan perhitungan. ** Komputasi numerik dan komputasi biologis, yang terakhir menggunakan karakteristik hewan. Mereka sangat berbeda dalam cara berbagi pengetahuan secara efektif di antara agen yang berbeda. **
**Sementara mempelajari setiap salinan model bahasa besar tidak efisien, Anda memiliki 1000 salinan. Itu sebabnya mereka bisa belajar 1000 kali lebih banyak dari kita. Jadi saya yakin model bahasa besar ini tahu 1000 kali lebih banyak daripada individu mana pun. **
Nah, pertanyaannya adalah, apa yang terjadi jika agen digital ini, alih-alih belajar dari kita dengan sangat lambat melalui penyulingan pengetahuan, malah mulai belajar langsung dari dunia nyata?
Saya harus menekankan bahwa penyulingan pengetahuan pun belajar dengan sangat lambat, tetapi ketika mereka belajar dari kita, mereka dapat mempelajari hal-hal yang sangat abstrak. ** Manusia telah belajar banyak tentang dunia selama beberapa milenium terakhir, dan agen digital dapat memanfaatkan pengetahuan ini secara langsung. Manusia dapat mengungkapkan apa yang telah kita pelajari, jadi agen digital memiliki akses langsung ke semua yang telah dipelajari manusia tentang dunia selama beberapa milenium terakhir karena kita menuliskannya.
Namun dengan cara ini, bandwidth masing-masing agen digital masih sangat rendah, karena mereka belajar dari dokumen. Jika mereka melakukan pembelajaran tanpa pengawasan, seperti dengan memodelkan video, setelah kami menemukan cara yang efisien untuk memodelkan video untuk melatih model, mereka dapat belajar dari semua video YouTube, yang merupakan banyak data. Atau jika mereka bisa memanipulasi dunia fisik, seperti mereka bisa mengendalikan lengan robot dan sebagainya.
Saya sangat percaya bahwa begitu agen digital ini mulai melakukan ini, mereka akan dapat belajar lebih banyak daripada manusia, dan mereka akan dapat belajar dengan cukup cepat. Jadi kita perlu sampai pada poin kedua yang saya sebutkan di atas dalam tayangan slide, apa yang terjadi jika hal-hal ini menjadi lebih pintar dari kita? **
** Orang jahat akan menggunakannya untuk melakukan hal-hal seperti memanipulasi elektronik, yang sudah dilakukan di AS atau banyak tempat lain, dan orang akan mencoba menggunakan AI untuk memenangkan perang. **
Jika Anda ingin agen super menjadi efisien, Anda harus mengizinkannya membuat subtujuan. Ini memunculkan masalah yang jelas**, karena ada sub-tujuan jelas yang dapat sangat meningkatkan kemampuannya untuk membantu kita mencapai apa pun: yaitu memberi lebih banyak kekuatan dan kontrol pada sistem kecerdasan buatan. Semakin banyak kontrol yang Anda miliki, semakin mudah untuk mencapai tujuan Anda. **Saya tidak melihat bagaimana kami dapat menghentikan kecerdasan digital untuk mencoba mendapatkan lebih banyak kendali untuk mencapai tujuan mereka yang lain. Jadi begitu mereka mulai melakukan itu, masalah muncul.
Untuk kecerdasan super, bahkan jika Anda menyimpannya di lingkungan yang benar-benar terisolasi (celah udara), ia akan menemukan bahwa ia dapat dengan mudah memperoleh lebih banyak kekuatan dengan memanipulasi orang. ** Kami tidak terbiasa memikirkan hal-hal yang jauh lebih pintar dari kami dan bagaimana kami ingin berinteraksi dengan mereka. **Tapi menurut saya mereka jelas bisa belajar menjadi sangat pandai menipu orang. Karena bisa melihat praktek kita menipu orang lain di banyak novel atau karya Niccolo Machiavelli. Dan setelah Anda benar-benar pandai menipu orang, Anda dapat membuat mereka melakukan tindakan apa pun yang Anda inginkan. Misalnya, jika Anda ingin meretas gedung di Washington, Anda tidak perlu pergi ke sana, Anda hanya menipu orang agar berpikir bahwa dengan meretas gedung itu, mereka menyelamatkan demokrasi. Dan saya pikir itu cukup menakutkan.
**Saya tidak dapat melihat bagaimana mencegah hal ini terjadi sekarang, dan saya semakin tua. **Saya berharap banyak peneliti muda dan cemerlang, seperti Anda di konferensi, dapat mengetahui bagaimana kita dapat memiliki kecerdasan super ini - bahwa mereka akan membuat hidup kita lebih baik tanpa menjadikan mereka pihak yang dominan.
Kami memiliki keuntungan, sedikit keuntungan, bahwa hal-hal ini tidak berkembang, kami membangunnya. Karena mereka tidak berevolusi, mungkin mereka tidak memiliki tujuan bersaing yang agresif seperti yang dimiliki manusia, mungkin itu membantu, mungkin kita bisa memberi mereka prinsip moral. Tapi saat ini, saya hanya gugup karena saya tidak tahu ada contoh sesuatu yang lebih cerdas yang didominasi oleh sesuatu yang kurang cerdas daripada ketika ada kesenjangan besar dalam kecerdasan. **Contoh yang ingin saya berikan adalah berasumsi bahwa katak menciptakan manusia. Menurut Anda siapa yang memegang kendali saat ini? Katak atau Manusia? Itu saja untuk pidato saya. **