Teks lengkapnya ada di sini! Zhang Hongjiang berbicara dengan OpenAI Altman: AGI akan mengubah peradaban secara fundamental, dan tidak akan ada GPT-5 dalam waktu dekat
Pada 10 Juni, pendiri OpenAI Sam Altman muncul di Konferensi Kecerdasan Buatan Zhiyuan 2023 yang diadakan di Beijing, China melalui tautan video. Ini adalah pertama kalinya Altman memberikan pidato kepada audiens China.
Dalam pidatonya, Altman mengutip "Tao Te Ching" dan berbicara tentang kerja sama antar negara besar, mengatakan bahwa keamanan AI dimulai dengan satu langkah, dan kerja sama serta koordinasi antar negara harus dilakukan.
Kemudian Altman menerima Tanya Jawab empat mata dengan Zhang Hongjiang, ketua Institut Penelitian Zhiyuan.
Zhang Hongjiang saat ini adalah ketua Institut Riset Kecerdasan Buatan Zhiyuan Beijing, dan juga menjabat sebagai direktur dan konsultan independen untuk beberapa perusahaan. Dia adalah direktur eksekutif dan CEO Kingsoft Group dan CEO Kingsoft Cloud. Dia adalah salah satu pendiri Microsoft Asia Research Institute. ) Dean dan Microsoft "Distinguished Scientist".
Sebelum bergabung dengan Microsoft, Zhang Hongjiang adalah manajer Hewlett-Packard Labs di Silicon Valley, AS; sebelumnya, dia juga bekerja di Institute of Systems Science, National University of Singapore.
Isi inti pidato Altman:
Alasan mengapa revolusi AI saat ini begitu berdampak bukan hanya karena skala dampaknya, tetapi juga kecepatan kemajuannya. Ini membawa dividen dan risiko.
Dengan munculnya sistem AI yang semakin kuat, pentingnya kerja sama global menjadi semakin penting. Dalam beberapa peristiwa penting, negara harus bekerja sama dan berkoordinasi. Memajukan keamanan AGI adalah salah satu bidang terpenting di mana kita perlu menemukan kepentingan bersama.
Keselarasan tetap menjadi masalah yang belum terselesaikan. Butuh GPT-4 delapan bulan untuk mengerjakan penyelarasan. Namun, penelitian terkait masih terus ditingkatkan, terutama dibagi menjadi dua aspek: skalabilitas dan interpretabilitas.
Konten utama dari sesi tanya jawab:
Manusia akan memiliki sistem kecerdasan buatan (AI) yang kuat dalam sepuluh tahun.
OpenAI tidak memiliki jadwal baru yang relevan untuk open source Model open source memiliki kelebihan, tetapi open source mungkin bukan rute terbaik (untuk mempromosikan pengembangan AI).
Jauh lebih mudah untuk memahami jaringan saraf daripada otak manusia.
Di beberapa titik, akan mencoba membuat model GPT-5, tapi tidak dalam waktu dekat. Saya tidak tahu kapan GPT-5 spesifik akan muncul.
Keamanan AI membutuhkan partisipasi dan kontribusi peneliti China.
Catatan: "AI alignment" adalah masalah terpenting dalam masalah pengendalian AI, yaitu tujuan sistem AI harus selaras dengan nilai dan kepentingan manusia (konsisten).
Isi pidato Sam Altman:
Dengan munculnya sistem kecerdasan buatan yang semakin kuat, taruhan untuk kerja sama global menjadi lebih tinggi.
Jika kita tidak hati-hati, sistem AI yang salah tempat dirancang untuk meningkatkan hasil kesehatan masyarakat dapat mengganggu keseluruhan sistem perawatan kesehatan dengan memberikan rekomendasi yang tidak berdasar. Demikian pula, sistem IB yang dirancang untuk mengoptimalkan produksi pertanian dapat secara tidak sengaja menghabiskan sumber daya alam atau merusak ekosistem karena kurangnya pertimbangan keberlanjutan jangka panjang yang memengaruhi produksi pangan, keseimbangan lingkungan.
Saya harap kita semua dapat sepakat bahwa memajukan keamanan AGI adalah salah satu area terpenting di mana kita perlu bekerja sama dan menemukan kesamaan.
Presentasi saya selanjutnya akan berfokus pada dari mana kita dapat memulai: 1. Area pertama adalah tata kelola AGI, AGI pada dasarnya telah menjadi kekuatan yang kuat untuk perubahan dalam peradaban kita, menekankan pentingnya kerja sama internasional dan kebutuhan koordinasi. Setiap orang mendapat manfaat dari pendekatan tata kelola kolaboratif. Jika kita menempuh jalan ini dengan aman dan bertanggung jawab, sistem AgI dapat menciptakan kemakmuran ekonomi yang tak tertandingi untuk ekonomi global, mengatasi tantangan bersama seperti perubahan iklim dan keamanan kesehatan global, serta meningkatkan kesejahteraan sosial.
Saya juga sangat percaya pada masa depan. Kita perlu berinvestasi dalam keamanan AGI untuk mencapai tempat yang kita inginkan dan menikmatinya di sana.
Untuk itu perlu koordinasi yang cermat. Ini adalah teknologi global dengan jangkauan global. Biaya kecelakaan yang disebabkan oleh pengembangan dan penyebaran yang sembrono akan mempengaruhi kita semua.
Dalam kerja sama internasional, saya kira ada dua area kunci yang paling penting.
Pertama-tama kita perlu menetapkan norma dan standar internasional dan memperhatikan inklusivitas dalam proses. Penggunaan sistem AGI di negara manapun harus mengikuti standar dan norma internasional tersebut secara setara dan konsisten. Di dalam pagar pengaman ini, kami percaya bahwa orang memiliki banyak kesempatan untuk membuat pilihan sendiri.
Kedua, kita benar-benar membutuhkan kerja sama internasional untuk membangun kepercayaan internasional secara nyata dalam pengembangan yang aman dari sistem AI yang semakin kuat. Saya tidak memiliki khayalan bahwa ini adalah tugas mudah yang membutuhkan banyak dedikasi dan perhatian berkelanjutan. **
Tao Te Ching memberi tahu kita: Perjalanan seribu mil dimulai dengan satu langkah. Kami percaya bahwa langkah pertama yang paling konstruktif dalam hal ini adalah bekerja sama dengan komunitas ilmiah dan teknologi internasional.
Yang perlu ditekankan adalah kita harus meningkatkan mekanisme transparansi dan berbagi pengetahuan dalam mendorong kemajuan teknologi. Terkait keamanan AGI, peneliti yang mengungkap masalah keamanan yang muncul harus membagikan wawasan mereka untuk kebaikan yang lebih besar.
Kita perlu berpikir keras tentang bagaimana kita dapat menghormati dan melindungi kekayaan intelektual sambil mendorong norma ini. Jika kita melakukan ini, maka akan membuka pintu baru bagi kita untuk memperdalam kerja sama kita.
Secara lebih luas, kita harus berinvestasi dalam mempromosikan dan memandu penelitian tentang penyelarasan dan keamanan AI.
Di Open AI, penelitian kami hari ini berfokus pada masalah teknis yang memungkinkan AI memainkan peran yang membantu dan lebih aman dalam sistem kami saat ini. Ini juga dapat berarti bahwa kami melatih ChatGPT sedemikian rupa sehingga tidak membuat ancaman kekerasan atau membantu pengguna dalam aktivitas berbahaya.
Namun saat kita mendekati usia AGI, potensi dampak dan ukuran dampak dari sistem AI yang tidak selaras akan tumbuh secara eksponensial. Secara proaktif mengatasi tantangan ini sekarang meminimalkan risiko hasil bencana di masa depan.
Untuk sistem saat ini, kami terutama menggunakan pembelajaran penguatan dengan umpan balik manusia untuk melatih model kami menjadi asisten keamanan yang membantu. Ini hanyalah salah satu contoh dari berbagai teknik penyesuaian pasca pelatihan. Dan kami juga bekerja keras pada teknologi baru, yang membutuhkan banyak kerja teknis yang keras.
Sejak GPT4 menyelesaikan pra-pelatihan hingga kami menerapkannya, kami mendedikasikan 8 bulan untuk pekerjaan penyelarasan. Secara keseluruhan, kami pikir kami melakukan pekerjaan dengan baik di sini. GPT4 lebih selaras dengan manusia daripada model kami sebelumnya.
Namun, penyelarasan tetap menjadi masalah terbuka untuk sistem yang lebih maju, yang menurut kami membutuhkan pendekatan teknis baru dengan peningkatan tata kelola dan pengawasan.
Untuk masa depan sistem AGI, mengusulkan 100.000 baris kode biner. Pengawas manusia tidak mungkin mengetahui apakah model seperti itu melakukan sesuatu yang jahat. Jadi kami berinvestasi dalam beberapa arah penelitian baru yang saling melengkapi yang kami harap akan menghasilkan terobosan.
** **Salah satunya adalah pengawasan yang dapat diskalakan. Kita bisa mencoba menggunakan sistem AI untuk membantu manusia dalam mengawasi sistem AI lainnya. Misalnya, kita dapat melatih sebuah model untuk membantu pengawasan manusia menemukan kekurangan dalam output model lain. **
Yang kedua adalah kemampuan interpretatif. Kami ingin mencoba lebih memahami apa yang terjadi di dalam model ini. Kami baru-baru ini menerbitkan makalah menggunakan GPT-4 untuk menginterpretasikan neuron di GPT-2. **Di makalah lain, kami menggunakan Model Internal untuk mendeteksi saat model berbohong. ** Jalan kita masih panjang. Kami percaya bahwa teknik pembelajaran mesin tingkat lanjut dapat semakin meningkatkan kemampuan kami untuk menjelaskan.
Pada akhirnya, tujuan kami adalah melatih sistem AI untuk membantu studi penyelarasan. **Keindahan dari pendekatan ini adalah dapat diskalakan dengan kecepatan pengembangan AI.
Menuai manfaat luar biasa dari AGI sambil memitigasi risikonya adalah salah satu tantangan besar di zaman kita. Kami melihat potensi besar bagi para peneliti di China, AS, dan di seluruh dunia untuk bekerja sama menuju tujuan yang sama dan bekerja keras untuk memecahkan tantangan teknis yang ditimbulkan oleh penyelarasan AGI.
Jika kita melakukan ini, saya yakin kita akan dapat menggunakan AGI untuk memecahkan masalah paling penting di dunia dan sangat meningkatkan kualitas hidup manusia. Terima kasih banyak.
Berikut transkrip percakapannya:
Dalam sepuluh tahun ke depan kita akan memiliki sistem AI yang sangat kuat
Zhang Hongjiang, ketua Zhiyuan Research Institute, bertanya: **Seberapa jauh kita dari kecerdasan buatan umum (AGI)? Apakah risikonya mendesak, atau apakah kita jauh dari itu? **
Sam Altman: Sulit memperkirakan kapan. **Sangat mungkin bahwa kita akan memiliki sistem AI yang sangat kuat dalam sepuluh tahun ke depan, dan teknologi baru secara fundamental akan mengubah dunia lebih cepat dari yang kita kira. **Di dunia itu, menurut saya penting dan mendesak untuk memperbaiki hal ini (aturan keamanan AI), itulah sebabnya saya menyerukan komunitas internasional untuk bekerja sama.
Dalam arti tertentu, akselerasi dan dampak sistemik dari teknologi baru yang kita lihat sekarang belum pernah terjadi sebelumnya. Jadi saya pikir ini tentang bersiap untuk apa yang akan datang dan menyadari masalah keamanan. Mengingat besarnya skala AI, taruhannya signifikan.
Menurut Anda, di bidang keamanan AGI, apa keunggulan berbagai negara untuk mengatasi masalah ini, terutama untuk mengatasi masalah keamanan AI. Bagaimana kekuatan ini digabungkan?
Kerjasama global untuk mengusulkan standar dan kerangka kerja keselamatan untuk AI
Zhang Hongjiang: Anda baru saja menyebutkan beberapa kali dalam pengantar sebelumnya bahwa kerja sama global sedang berlangsung. Kita tahu bahwa dunia telah menghadapi banyak krisis di masa lalu. Entah bagaimana, bagi banyak dari mereka, kami berhasil membangun konsensus, membangun kerja sama global. Anda juga sedang dalam tur global, kolaborasi global seperti apa yang ingin Anda promosikan?
Sam Altman: Ya, sejauh ini saya sangat senang dengan reaksi dan jawaban semua orang. Saya pikir orang mengambil risiko dan peluang AGI dengan sangat serius.
Saya pikir diskusi keamanan telah berlangsung lama dalam 6 bulan terakhir. Tampaknya ada komitmen nyata untuk menemukan struktur yang memungkinkan kita menikmati manfaat ini sambil bekerja sama secara global untuk mengurangi risiko. Saya pikir kami sangat cocok untuk melakukan ini. Kerja sama global selalu sulit, tetapi saya melihatnya sebagai peluang dan ancaman untuk menyatukan dunia. Akan sangat membantu jika kami dapat membuat kerangka kerja dan standar keamanan untuk sistem ini.
Cara mengatasi masalah penyelarasan kecerdasan buatan
Zhang Hongjiang: Anda menyebutkan bahwa penyelarasan kecerdasan buatan tingkat lanjut adalah masalah yang belum terpecahkan. Saya juga memperhatikan bahwa OpenAI telah berusaha keras dalam beberapa tahun terakhir. Anda menyebutkan bahwa GPT-4 sejauh ini merupakan contoh terbaik di bidang penyelarasan. Apakah menurut Anda kami dapat mengatasi masalah keamanan AGI hanya dengan fine-tuning (API)? Atau apakah ini jauh lebih sulit daripada cara penyelesaian masalah ini?
Sam Altman: Saya pikir ada berbagai cara untuk memahami penyelarasan kata. Saya pikir apa yang perlu kita selesaikan adalah tantangan di seluruh sistem kecerdasan buatan Penyelarasan dalam pengertian tradisional membuat perilaku model sesuai dengan niat pengguna tentu saja merupakan bagian darinya.
Tetapi juga akan ada masalah lain, seperti bagaimana kami memverifikasi apa yang dilakukan sistem, apa yang kami ingin mereka lakukan, dan bagaimana kami menyesuaikan nilai sistem. Hal yang paling penting adalah melihat gambaran menyeluruh tentang keamanan AGI.
Segala sesuatu yang lain sulit tanpa solusi teknis. Saya pikir sangat penting untuk fokus pada memastikan bahwa kami menangani aspek teknis keamanan. Seperti yang saya sebutkan, mencari tahu apa nilai-nilai kita bukanlah pertanyaan teknis. Meskipun membutuhkan masukan teknis, ini adalah masalah yang layak didiskusikan secara mendalam oleh seluruh masyarakat. Kita harus merancang sistem yang adil, representatif, dan inklusif.
Zhang Hongjiang: Untuk penyelarasan, apa yang kami lihat GPT-4 masih merupakan solusi dari segi teknis. Tetapi ada banyak faktor lain selain teknologi, seringkali bersifat sistemik. Keamanan AI mungkin tidak terkecuali di sini. Selain aspek teknis, apa saja faktor dan permasalahan lainnya? Apakah menurut Anda penting untuk keamanan AI? Bagaimana seharusnya kita menanggapi tantangan-tantangan ini? Terutama karena kebanyakan dari kita adalah ilmuwan. Apa yang harus kita lakukan.
Sam Altman: Ini tentu pertanyaan yang sangat rumit. Tetapi yang lainnya sulit tanpa solusi teknis. Saya pikir sangat penting bagi pemerintah untuk fokus memastikan kami menangani aspek teknis keamanan. **Seperti yang saya sebutkan, mencari tahu apa nilai kami bukanlah pertanyaan teknis. Ini membutuhkan masukan teknis, tetapi juga merupakan masalah yang layak didiskusikan secara mendalam oleh seluruh masyarakat. **Kita harus merancang sistem yang adil, representatif, dan inklusif. **
Dan, seperti yang Anda tunjukkan, kita perlu memikirkan keamanan tidak hanya model AI itu sendiri, tetapi sistem secara keseluruhan.
Oleh karena itu, penting untuk dapat membangun pengklasifikasi dan pendeteksi yang aman yang berjalan pada sistem yang memantau kepatuhan AI terhadap kebijakan penggunaan. Saya pikir sulit untuk memprediksi terlebih dahulu semua masalah yang akan muncul dengan teknologi apapun. Jadi belajarlah dari penggunaan dunia nyata dan terapkan secara iteratif untuk melihat apa yang terjadi ketika Anda benar-benar menciptakan realitas dan memperbaikinya.
Penting juga untuk memberikan waktu bagi manusia dan masyarakat untuk belajar dan memperbarui, dan memikirkan bagaimana model ini akan berinteraksi dengan kehidupan mereka dengan cara yang baik dan buruk.
Membutuhkan kerja sama semua negara
Zhang Hongjiang: Sebelumnya, Anda menyebutkan kerja sama global. Anda telah berkeliling dunia, Cina, Amerika Serikat, dan Eropa adalah kekuatan pendorong di balik inovasi kecerdasan buatan Menurut Anda, di AGI, apa keuntungan dari berbagai negara untuk menyelesaikan masalah AGI, terutama untuk menyelesaikan masalah keselamatan manusia? Bagaimana kekuatan ini digabungkan?
Sam Altman: Saya pikir banyak perspektif berbeda dan keamanan AI umumnya diperlukan. Kami belum memiliki semua jawaban, dan ini adalah pertanyaan yang agak sulit dan penting.
Juga, seperti yang disebutkan, ini bukan pertanyaan teknis murni untuk membuat AI aman dan bermanfaat. Melibatkan pemahaman preferensi pengguna di berbagai negara dalam konteks yang sangat berbeda. Kami membutuhkan banyak masukan berbeda untuk mewujudkannya. China memiliki beberapa talenta AI terbaik di dunia. Pada dasarnya, menurut saya pemikiran terbaik dari seluruh dunia diperlukan untuk mengatasi kesulitan menyelaraskan sistem AI tingkat lanjut. Jadi saya sangat berharap peneliti AI China dapat memberikan kontribusi besar di sini.
Membutuhkan arsitektur yang sangat berbeda untuk membuat AGI lebih aman
Zhang Hongjiang: Pertanyaan lanjutan tentang keamanan GPT-4 dan AI. Mungkinkah kita perlu mengubah seluruh infrastruktur atau seluruh arsitektur model AGI. Agar lebih aman dan mudah untuk diperiksa.
Sam Altman: Sangat mungkin bahwa kami membutuhkan beberapa arsitektur yang sangat berbeda, baik dari perspektif fungsional maupun dari perspektif keamanan.
Saya pikir kami akan dapat membuat beberapa kemajuan, kemajuan yang baik dalam menjelaskan kemampuan berbagai model kami saat ini, dan membuat mereka menjelaskan dengan lebih baik kepada kami apa yang mereka lakukan dan mengapa. Tapi ya, saya tidak akan terkejut jika ada lompatan besar lainnya setelah Transformer. Kami telah mengubah banyak arsitektur sejak Transformer asli.
Kemungkinan open source OpenAI
Zhang Hongjiang: Saya mengerti bahwa forum hari ini adalah tentang keamanan AI, karena orang sangat ingin tahu tentang OpenAI, jadi saya punya banyak pertanyaan tentang OpenAI, bukan hanya tentang keamanan AI. Saya memiliki pertanyaan audiens di sini, apakah ada rencana OpenAI untuk membuka kembali modelnya seperti sebelum versi 3.0? Saya juga berpikir open source bagus untuk keamanan AI.
Sam Altman: Beberapa model kami adalah open source dan beberapa tidak, tetapi seiring berjalannya waktu, saya pikir Anda harus mengharapkan kami untuk terus membuka lebih banyak model open source di masa mendatang. Saya tidak memiliki model atau garis waktu tertentu, tetapi itu adalah sesuatu yang sedang kita diskusikan saat ini.
Zhang Hongjiang: BAAI melakukan semua upaya open source, termasuk model dan algoritme itu sendiri. Kami percaya bahwa kami memiliki kebutuhan ini, berbagi dan memberi yang Anda anggap sebagai yang mereka kendalikan. Apakah Anda memiliki ide serupa, atau apakah topik ini telah dibahas di antara rekan atau kolega Anda di OpenAI.
Sam Altman: Ya, **Saya pikir open source memang memiliki peran penting. **
Ada juga banyak model open source baru yang muncul belakangan ini. Saya pikir model API juga memiliki peran penting. Ini memberi kami kontrol keamanan tambahan. Anda dapat memblokir penggunaan tertentu. Anda dapat memblokir jenis tweak tertentu. Jika ada yang tidak berfungsi, Anda dapat mengambilnya kembali. Pada skala model saat ini, saya tidak terlalu khawatir tentang itu. Tapi karena modelnya menjadi sekuat yang kita harapkan, jika kita benar tentangnya, menurut saya open source semuanya mungkin bukan jalan terbaik, meskipun terkadang itu benar. ** Saya pikir kita hanya perlu menyeimbangkannya dengan hati-hati. **
Kami akan memiliki lebih banyak model besar open source di masa mendatang, tetapi tidak ada model dan jadwal khusus.
Langkah selanjutnya untuk AGI? Akankah kita melihat GPT-5 segera?
Zhang Hongjiang: Sebagai seorang peneliti, saya juga penasaran, kemana arah penelitian AGI selanjutnya? Dalam hal model besar, model bahasa besar, apakah kita akan segera melihat GPT-5? Apakah perbatasan berikutnya dalam model yang diwujudkan? Apakah robot otonom merupakan area yang sedang atau akan dijelajahi oleh OpenAI?
Sam Altman: Saya juga ingin tahu tentang apa selanjutnya, dan salah satu hal favorit saya tentang melakukan pekerjaan ini adalah ada banyak kegembiraan dan kejutan di penelitian mutakhir. Kami belum memiliki jawabannya, jadi kami mengeksplorasi banyak kemungkinan paradigma baru. Tentu saja, pada titik tertentu kami akan mencoba membuat model GPT-5, tetapi tidak dalam waktu dekat. Kami tidak tahu kapan persisnya. Kami telah mengerjakan robotika sejak awal OpenAI, dan kami sangat tertarik dengannya, tetapi kami mengalami beberapa kesulitan. Saya berharap suatu hari kita bisa kembali ke lapangan ini.
Zhang Hongjiang: Kedengarannya bagus. Anda juga menyebutkan dalam presentasi Anda bagaimana Anda menggunakan GPT-4 untuk menjelaskan cara kerja GPT-2, membuat model lebih aman. Apakah pendekatan ini dapat diskalakan? Apakah arah OpenAI ini akan terus maju di masa depan?
Sam Altman: Kami akan terus mendorong ke arah ini.
Zhang Hongjiang: Apakah menurut Anda metode ini dapat diterapkan pada neuron biologis? Karena alasan saya mengajukan pertanyaan ini adalah karena ada beberapa ahli biologi dan ahli saraf yang ingin menggunakan metode ini untuk mempelajari dan mengeksplorasi cara kerja neuron manusia di bidangnya.
Sam Altman: Jauh lebih mudah melihat apa yang terjadi pada neuron buatan daripada neuron biologis. ** Jadi menurut saya pendekatan ini valid untuk jaringan saraf tiruan. **Saya pikir ada cara untuk menggunakan model yang lebih kuat untuk membantu kita memahami model lain. Tapi saya tidak begitu yakin bagaimana Anda akan menerapkan pendekatan ini pada otak manusia.
Apakah layak untuk mengontrol jumlah model
Zhang Hongjiang: Oke, terima kasih. Sekarang kita telah berbicara tentang keamanan AI dan kontrol AGI, salah satu pertanyaan yang telah kita diskusikan adalah apakah akan lebih aman jika hanya ada tiga model di dunia? Ini seperti kontrol nuklir, Anda tidak ingin senjata nuklir berkembang biak. Kami memiliki perjanjian ini di mana kami mencoba untuk mengontrol jumlah negara yang bisa mendapatkan teknologi ini. Jadi, apakah mengendalikan jumlah model merupakan arah yang layak?
Sam Altman: Saya pikir ada perbedaan pendapat tentang apakah lebih aman memiliki model minoritas atau model mayoritas di dunia. Saya pikir ini lebih penting, apakah kita memiliki sistem di mana model yang kuat diuji keamanannya secara memadai? Apakah kita memiliki kerangka kerja di mana siapa pun yang membuat model yang cukup kuat memiliki sumber daya dan tanggung jawab untuk memastikan bahwa apa yang mereka buat aman dan selaras?
Zhang Hongjiang: Pada pertemuan kemarin, Profesor Max dari MIT Future of Life Institute menyebutkan metode yang mungkin, yang mirip dengan cara kita mengontrol pengembangan obat. Ketika ilmuwan atau perusahaan mengembangkan obat baru, Anda tidak dapat langsung memasarkannya. Anda harus melalui proses pengujian ini. Apakah ini sesuatu yang bisa kita pelajari?
Sam Altman: Saya yakin kita dapat belajar banyak dari kerangka lisensi dan pengujian yang telah dikembangkan di berbagai industri. Tapi saya pikir pada dasarnya kita punya sesuatu yang bisa berhasil.
Zhang Hongjiang: Terima kasih banyak, Sam. Terima kasih telah meluangkan waktu untuk menghadiri pertemuan ini, meskipun secara online. Saya yakin masih banyak lagi pertanyaan, tetapi mengingat waktunya, kita harus berhenti di sini. Saya harap lain kali Anda memiliki kesempatan untuk datang ke China, datang ke Beijing, kita dapat berdiskusi lebih mendalam. Terima kasih banyak.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Teks lengkapnya ada di sini! Zhang Hongjiang berbicara dengan OpenAI Altman: AGI akan mengubah peradaban secara fundamental, dan tidak akan ada GPT-5 dalam waktu dekat
Sumber: Wall Street News
Pengarang: Ge Jiaming
Pada 10 Juni, pendiri OpenAI Sam Altman muncul di Konferensi Kecerdasan Buatan Zhiyuan 2023 yang diadakan di Beijing, China melalui tautan video. Ini adalah pertama kalinya Altman memberikan pidato kepada audiens China.
Dalam pidatonya, Altman mengutip "Tao Te Ching" dan berbicara tentang kerja sama antar negara besar, mengatakan bahwa keamanan AI dimulai dengan satu langkah, dan kerja sama serta koordinasi antar negara harus dilakukan.
Kemudian Altman menerima Tanya Jawab empat mata dengan Zhang Hongjiang, ketua Institut Penelitian Zhiyuan.
Zhang Hongjiang saat ini adalah ketua Institut Riset Kecerdasan Buatan Zhiyuan Beijing, dan juga menjabat sebagai direktur dan konsultan independen untuk beberapa perusahaan. Dia adalah direktur eksekutif dan CEO Kingsoft Group dan CEO Kingsoft Cloud. Dia adalah salah satu pendiri Microsoft Asia Research Institute. ) Dean dan Microsoft "Distinguished Scientist".
Sebelum bergabung dengan Microsoft, Zhang Hongjiang adalah manajer Hewlett-Packard Labs di Silicon Valley, AS; sebelumnya, dia juga bekerja di Institute of Systems Science, National University of Singapore. Isi inti pidato Altman:
Konten utama dari sesi tanya jawab:
Catatan: "AI alignment" adalah masalah terpenting dalam masalah pengendalian AI, yaitu tujuan sistem AI harus selaras dengan nilai dan kepentingan manusia (konsisten).
Isi pidato Sam Altman:
Dengan munculnya sistem kecerdasan buatan yang semakin kuat, taruhan untuk kerja sama global menjadi lebih tinggi.
Jika kita tidak hati-hati, sistem AI yang salah tempat dirancang untuk meningkatkan hasil kesehatan masyarakat dapat mengganggu keseluruhan sistem perawatan kesehatan dengan memberikan rekomendasi yang tidak berdasar. Demikian pula, sistem IB yang dirancang untuk mengoptimalkan produksi pertanian dapat secara tidak sengaja menghabiskan sumber daya alam atau merusak ekosistem karena kurangnya pertimbangan keberlanjutan jangka panjang yang memengaruhi produksi pangan, keseimbangan lingkungan.
Saya harap kita semua dapat sepakat bahwa memajukan keamanan AGI adalah salah satu area terpenting di mana kita perlu bekerja sama dan menemukan kesamaan.
Saya juga sangat percaya pada masa depan. Kita perlu berinvestasi dalam keamanan AGI untuk mencapai tempat yang kita inginkan dan menikmatinya di sana.
Untuk itu perlu koordinasi yang cermat. Ini adalah teknologi global dengan jangkauan global. Biaya kecelakaan yang disebabkan oleh pengembangan dan penyebaran yang sembrono akan mempengaruhi kita semua.
Dalam kerja sama internasional, saya kira ada dua area kunci yang paling penting.
Pertama-tama kita perlu menetapkan norma dan standar internasional dan memperhatikan inklusivitas dalam proses. Penggunaan sistem AGI di negara manapun harus mengikuti standar dan norma internasional tersebut secara setara dan konsisten. Di dalam pagar pengaman ini, kami percaya bahwa orang memiliki banyak kesempatan untuk membuat pilihan sendiri.
Kedua, kita benar-benar membutuhkan kerja sama internasional untuk membangun kepercayaan internasional secara nyata dalam pengembangan yang aman dari sistem AI yang semakin kuat. Saya tidak memiliki khayalan bahwa ini adalah tugas mudah yang membutuhkan banyak dedikasi dan perhatian berkelanjutan. **
Tao Te Ching memberi tahu kita: Perjalanan seribu mil dimulai dengan satu langkah. Kami percaya bahwa langkah pertama yang paling konstruktif dalam hal ini adalah bekerja sama dengan komunitas ilmiah dan teknologi internasional.
Yang perlu ditekankan adalah kita harus meningkatkan mekanisme transparansi dan berbagi pengetahuan dalam mendorong kemajuan teknologi. Terkait keamanan AGI, peneliti yang mengungkap masalah keamanan yang muncul harus membagikan wawasan mereka untuk kebaikan yang lebih besar.
Kita perlu berpikir keras tentang bagaimana kita dapat menghormati dan melindungi kekayaan intelektual sambil mendorong norma ini. Jika kita melakukan ini, maka akan membuka pintu baru bagi kita untuk memperdalam kerja sama kita.
Secara lebih luas, kita harus berinvestasi dalam mempromosikan dan memandu penelitian tentang penyelarasan dan keamanan AI.
Di Open AI, penelitian kami hari ini berfokus pada masalah teknis yang memungkinkan AI memainkan peran yang membantu dan lebih aman dalam sistem kami saat ini. Ini juga dapat berarti bahwa kami melatih ChatGPT sedemikian rupa sehingga tidak membuat ancaman kekerasan atau membantu pengguna dalam aktivitas berbahaya.
Namun saat kita mendekati usia AGI, potensi dampak dan ukuran dampak dari sistem AI yang tidak selaras akan tumbuh secara eksponensial. Secara proaktif mengatasi tantangan ini sekarang meminimalkan risiko hasil bencana di masa depan.
Untuk sistem saat ini, kami terutama menggunakan pembelajaran penguatan dengan umpan balik manusia untuk melatih model kami menjadi asisten keamanan yang membantu. Ini hanyalah salah satu contoh dari berbagai teknik penyesuaian pasca pelatihan. Dan kami juga bekerja keras pada teknologi baru, yang membutuhkan banyak kerja teknis yang keras.
Sejak GPT4 menyelesaikan pra-pelatihan hingga kami menerapkannya, kami mendedikasikan 8 bulan untuk pekerjaan penyelarasan. Secara keseluruhan, kami pikir kami melakukan pekerjaan dengan baik di sini. GPT4 lebih selaras dengan manusia daripada model kami sebelumnya.
Namun, penyelarasan tetap menjadi masalah terbuka untuk sistem yang lebih maju, yang menurut kami membutuhkan pendekatan teknis baru dengan peningkatan tata kelola dan pengawasan.
Untuk masa depan sistem AGI, mengusulkan 100.000 baris kode biner. Pengawas manusia tidak mungkin mengetahui apakah model seperti itu melakukan sesuatu yang jahat. Jadi kami berinvestasi dalam beberapa arah penelitian baru yang saling melengkapi yang kami harap akan menghasilkan terobosan.
**
**Salah satunya adalah pengawasan yang dapat diskalakan. Kita bisa mencoba menggunakan sistem AI untuk membantu manusia dalam mengawasi sistem AI lainnya. Misalnya, kita dapat melatih sebuah model untuk membantu pengawasan manusia menemukan kekurangan dalam output model lain. **
Yang kedua adalah kemampuan interpretatif. Kami ingin mencoba lebih memahami apa yang terjadi di dalam model ini. Kami baru-baru ini menerbitkan makalah menggunakan GPT-4 untuk menginterpretasikan neuron di GPT-2. **Di makalah lain, kami menggunakan Model Internal untuk mendeteksi saat model berbohong. ** Jalan kita masih panjang. Kami percaya bahwa teknik pembelajaran mesin tingkat lanjut dapat semakin meningkatkan kemampuan kami untuk menjelaskan.
Pada akhirnya, tujuan kami adalah melatih sistem AI untuk membantu studi penyelarasan. **Keindahan dari pendekatan ini adalah dapat diskalakan dengan kecepatan pengembangan AI.
Menuai manfaat luar biasa dari AGI sambil memitigasi risikonya adalah salah satu tantangan besar di zaman kita. Kami melihat potensi besar bagi para peneliti di China, AS, dan di seluruh dunia untuk bekerja sama menuju tujuan yang sama dan bekerja keras untuk memecahkan tantangan teknis yang ditimbulkan oleh penyelarasan AGI.
Jika kita melakukan ini, saya yakin kita akan dapat menggunakan AGI untuk memecahkan masalah paling penting di dunia dan sangat meningkatkan kualitas hidup manusia. Terima kasih banyak.
Berikut transkrip percakapannya:
Dalam sepuluh tahun ke depan kita akan memiliki sistem AI yang sangat kuat
Zhang Hongjiang, ketua Zhiyuan Research Institute, bertanya: **Seberapa jauh kita dari kecerdasan buatan umum (AGI)? Apakah risikonya mendesak, atau apakah kita jauh dari itu? **
Sam Altman: Sulit memperkirakan kapan. **Sangat mungkin bahwa kita akan memiliki sistem AI yang sangat kuat dalam sepuluh tahun ke depan, dan teknologi baru secara fundamental akan mengubah dunia lebih cepat dari yang kita kira. **Di dunia itu, menurut saya penting dan mendesak untuk memperbaiki hal ini (aturan keamanan AI), itulah sebabnya saya menyerukan komunitas internasional untuk bekerja sama.
Dalam arti tertentu, akselerasi dan dampak sistemik dari teknologi baru yang kita lihat sekarang belum pernah terjadi sebelumnya. Jadi saya pikir ini tentang bersiap untuk apa yang akan datang dan menyadari masalah keamanan. Mengingat besarnya skala AI, taruhannya signifikan.
Menurut Anda, di bidang keamanan AGI, apa keunggulan berbagai negara untuk mengatasi masalah ini, terutama untuk mengatasi masalah keamanan AI. Bagaimana kekuatan ini digabungkan?
Kerjasama global untuk mengusulkan standar dan kerangka kerja keselamatan untuk AI
Zhang Hongjiang: Anda baru saja menyebutkan beberapa kali dalam pengantar sebelumnya bahwa kerja sama global sedang berlangsung. Kita tahu bahwa dunia telah menghadapi banyak krisis di masa lalu. Entah bagaimana, bagi banyak dari mereka, kami berhasil membangun konsensus, membangun kerja sama global. Anda juga sedang dalam tur global, kolaborasi global seperti apa yang ingin Anda promosikan?
Sam Altman: Ya, sejauh ini saya sangat senang dengan reaksi dan jawaban semua orang. Saya pikir orang mengambil risiko dan peluang AGI dengan sangat serius.
Saya pikir diskusi keamanan telah berlangsung lama dalam 6 bulan terakhir. Tampaknya ada komitmen nyata untuk menemukan struktur yang memungkinkan kita menikmati manfaat ini sambil bekerja sama secara global untuk mengurangi risiko. Saya pikir kami sangat cocok untuk melakukan ini. Kerja sama global selalu sulit, tetapi saya melihatnya sebagai peluang dan ancaman untuk menyatukan dunia. Akan sangat membantu jika kami dapat membuat kerangka kerja dan standar keamanan untuk sistem ini.
Cara mengatasi masalah penyelarasan kecerdasan buatan
Zhang Hongjiang: Anda menyebutkan bahwa penyelarasan kecerdasan buatan tingkat lanjut adalah masalah yang belum terpecahkan. Saya juga memperhatikan bahwa OpenAI telah berusaha keras dalam beberapa tahun terakhir. Anda menyebutkan bahwa GPT-4 sejauh ini merupakan contoh terbaik di bidang penyelarasan. Apakah menurut Anda kami dapat mengatasi masalah keamanan AGI hanya dengan fine-tuning (API)? Atau apakah ini jauh lebih sulit daripada cara penyelesaian masalah ini?
Sam Altman: Saya pikir ada berbagai cara untuk memahami penyelarasan kata. Saya pikir apa yang perlu kita selesaikan adalah tantangan di seluruh sistem kecerdasan buatan Penyelarasan dalam pengertian tradisional membuat perilaku model sesuai dengan niat pengguna tentu saja merupakan bagian darinya.
Tetapi juga akan ada masalah lain, seperti bagaimana kami memverifikasi apa yang dilakukan sistem, apa yang kami ingin mereka lakukan, dan bagaimana kami menyesuaikan nilai sistem. Hal yang paling penting adalah melihat gambaran menyeluruh tentang keamanan AGI.
Segala sesuatu yang lain sulit tanpa solusi teknis. Saya pikir sangat penting untuk fokus pada memastikan bahwa kami menangani aspek teknis keamanan. Seperti yang saya sebutkan, mencari tahu apa nilai-nilai kita bukanlah pertanyaan teknis. Meskipun membutuhkan masukan teknis, ini adalah masalah yang layak didiskusikan secara mendalam oleh seluruh masyarakat. Kita harus merancang sistem yang adil, representatif, dan inklusif.
Zhang Hongjiang: Untuk penyelarasan, apa yang kami lihat GPT-4 masih merupakan solusi dari segi teknis. Tetapi ada banyak faktor lain selain teknologi, seringkali bersifat sistemik. Keamanan AI mungkin tidak terkecuali di sini. Selain aspek teknis, apa saja faktor dan permasalahan lainnya? Apakah menurut Anda penting untuk keamanan AI? Bagaimana seharusnya kita menanggapi tantangan-tantangan ini? Terutama karena kebanyakan dari kita adalah ilmuwan. Apa yang harus kita lakukan.
Sam Altman: Ini tentu pertanyaan yang sangat rumit. Tetapi yang lainnya sulit tanpa solusi teknis. Saya pikir sangat penting bagi pemerintah untuk fokus memastikan kami menangani aspek teknis keamanan. **Seperti yang saya sebutkan, mencari tahu apa nilai kami bukanlah pertanyaan teknis. Ini membutuhkan masukan teknis, tetapi juga merupakan masalah yang layak didiskusikan secara mendalam oleh seluruh masyarakat. **Kita harus merancang sistem yang adil, representatif, dan inklusif. **
Dan, seperti yang Anda tunjukkan, kita perlu memikirkan keamanan tidak hanya model AI itu sendiri, tetapi sistem secara keseluruhan.
Oleh karena itu, penting untuk dapat membangun pengklasifikasi dan pendeteksi yang aman yang berjalan pada sistem yang memantau kepatuhan AI terhadap kebijakan penggunaan. Saya pikir sulit untuk memprediksi terlebih dahulu semua masalah yang akan muncul dengan teknologi apapun. Jadi belajarlah dari penggunaan dunia nyata dan terapkan secara iteratif untuk melihat apa yang terjadi ketika Anda benar-benar menciptakan realitas dan memperbaikinya.
Penting juga untuk memberikan waktu bagi manusia dan masyarakat untuk belajar dan memperbarui, dan memikirkan bagaimana model ini akan berinteraksi dengan kehidupan mereka dengan cara yang baik dan buruk.
Membutuhkan kerja sama semua negara
Zhang Hongjiang: Sebelumnya, Anda menyebutkan kerja sama global. Anda telah berkeliling dunia, Cina, Amerika Serikat, dan Eropa adalah kekuatan pendorong di balik inovasi kecerdasan buatan Menurut Anda, di AGI, apa keuntungan dari berbagai negara untuk menyelesaikan masalah AGI, terutama untuk menyelesaikan masalah keselamatan manusia? Bagaimana kekuatan ini digabungkan?
Sam Altman: Saya pikir banyak perspektif berbeda dan keamanan AI umumnya diperlukan. Kami belum memiliki semua jawaban, dan ini adalah pertanyaan yang agak sulit dan penting.
Juga, seperti yang disebutkan, ini bukan pertanyaan teknis murni untuk membuat AI aman dan bermanfaat. Melibatkan pemahaman preferensi pengguna di berbagai negara dalam konteks yang sangat berbeda. Kami membutuhkan banyak masukan berbeda untuk mewujudkannya. China memiliki beberapa talenta AI terbaik di dunia. Pada dasarnya, menurut saya pemikiran terbaik dari seluruh dunia diperlukan untuk mengatasi kesulitan menyelaraskan sistem AI tingkat lanjut. Jadi saya sangat berharap peneliti AI China dapat memberikan kontribusi besar di sini.
Membutuhkan arsitektur yang sangat berbeda untuk membuat AGI lebih aman
Zhang Hongjiang: Pertanyaan lanjutan tentang keamanan GPT-4 dan AI. Mungkinkah kita perlu mengubah seluruh infrastruktur atau seluruh arsitektur model AGI. Agar lebih aman dan mudah untuk diperiksa.
Sam Altman: Sangat mungkin bahwa kami membutuhkan beberapa arsitektur yang sangat berbeda, baik dari perspektif fungsional maupun dari perspektif keamanan.
Saya pikir kami akan dapat membuat beberapa kemajuan, kemajuan yang baik dalam menjelaskan kemampuan berbagai model kami saat ini, dan membuat mereka menjelaskan dengan lebih baik kepada kami apa yang mereka lakukan dan mengapa. Tapi ya, saya tidak akan terkejut jika ada lompatan besar lainnya setelah Transformer. Kami telah mengubah banyak arsitektur sejak Transformer asli.
Kemungkinan open source OpenAI
Zhang Hongjiang: Saya mengerti bahwa forum hari ini adalah tentang keamanan AI, karena orang sangat ingin tahu tentang OpenAI, jadi saya punya banyak pertanyaan tentang OpenAI, bukan hanya tentang keamanan AI. Saya memiliki pertanyaan audiens di sini, apakah ada rencana OpenAI untuk membuka kembali modelnya seperti sebelum versi 3.0? Saya juga berpikir open source bagus untuk keamanan AI.
Sam Altman: Beberapa model kami adalah open source dan beberapa tidak, tetapi seiring berjalannya waktu, saya pikir Anda harus mengharapkan kami untuk terus membuka lebih banyak model open source di masa mendatang. Saya tidak memiliki model atau garis waktu tertentu, tetapi itu adalah sesuatu yang sedang kita diskusikan saat ini.
Zhang Hongjiang: BAAI melakukan semua upaya open source, termasuk model dan algoritme itu sendiri. Kami percaya bahwa kami memiliki kebutuhan ini, berbagi dan memberi yang Anda anggap sebagai yang mereka kendalikan. Apakah Anda memiliki ide serupa, atau apakah topik ini telah dibahas di antara rekan atau kolega Anda di OpenAI.
Sam Altman: Ya, **Saya pikir open source memang memiliki peran penting. **
Ada juga banyak model open source baru yang muncul belakangan ini. Saya pikir model API juga memiliki peran penting. Ini memberi kami kontrol keamanan tambahan. Anda dapat memblokir penggunaan tertentu. Anda dapat memblokir jenis tweak tertentu. Jika ada yang tidak berfungsi, Anda dapat mengambilnya kembali. Pada skala model saat ini, saya tidak terlalu khawatir tentang itu. Tapi karena modelnya menjadi sekuat yang kita harapkan, jika kita benar tentangnya, menurut saya open source semuanya mungkin bukan jalan terbaik, meskipun terkadang itu benar. ** Saya pikir kita hanya perlu menyeimbangkannya dengan hati-hati. **
Kami akan memiliki lebih banyak model besar open source di masa mendatang, tetapi tidak ada model dan jadwal khusus.
Langkah selanjutnya untuk AGI? Akankah kita melihat GPT-5 segera?
Zhang Hongjiang: Sebagai seorang peneliti, saya juga penasaran, kemana arah penelitian AGI selanjutnya? Dalam hal model besar, model bahasa besar, apakah kita akan segera melihat GPT-5? Apakah perbatasan berikutnya dalam model yang diwujudkan? Apakah robot otonom merupakan area yang sedang atau akan dijelajahi oleh OpenAI?
Sam Altman: Saya juga ingin tahu tentang apa selanjutnya, dan salah satu hal favorit saya tentang melakukan pekerjaan ini adalah ada banyak kegembiraan dan kejutan di penelitian mutakhir. Kami belum memiliki jawabannya, jadi kami mengeksplorasi banyak kemungkinan paradigma baru. Tentu saja, pada titik tertentu kami akan mencoba membuat model GPT-5, tetapi tidak dalam waktu dekat. Kami tidak tahu kapan persisnya. Kami telah mengerjakan robotika sejak awal OpenAI, dan kami sangat tertarik dengannya, tetapi kami mengalami beberapa kesulitan. Saya berharap suatu hari kita bisa kembali ke lapangan ini.
Zhang Hongjiang: Kedengarannya bagus. Anda juga menyebutkan dalam presentasi Anda bagaimana Anda menggunakan GPT-4 untuk menjelaskan cara kerja GPT-2, membuat model lebih aman. Apakah pendekatan ini dapat diskalakan? Apakah arah OpenAI ini akan terus maju di masa depan?
Sam Altman: Kami akan terus mendorong ke arah ini.
Zhang Hongjiang: Apakah menurut Anda metode ini dapat diterapkan pada neuron biologis? Karena alasan saya mengajukan pertanyaan ini adalah karena ada beberapa ahli biologi dan ahli saraf yang ingin menggunakan metode ini untuk mempelajari dan mengeksplorasi cara kerja neuron manusia di bidangnya.
Sam Altman: Jauh lebih mudah melihat apa yang terjadi pada neuron buatan daripada neuron biologis. ** Jadi menurut saya pendekatan ini valid untuk jaringan saraf tiruan. **Saya pikir ada cara untuk menggunakan model yang lebih kuat untuk membantu kita memahami model lain. Tapi saya tidak begitu yakin bagaimana Anda akan menerapkan pendekatan ini pada otak manusia.
Apakah layak untuk mengontrol jumlah model
Zhang Hongjiang: Oke, terima kasih. Sekarang kita telah berbicara tentang keamanan AI dan kontrol AGI, salah satu pertanyaan yang telah kita diskusikan adalah apakah akan lebih aman jika hanya ada tiga model di dunia? Ini seperti kontrol nuklir, Anda tidak ingin senjata nuklir berkembang biak. Kami memiliki perjanjian ini di mana kami mencoba untuk mengontrol jumlah negara yang bisa mendapatkan teknologi ini. Jadi, apakah mengendalikan jumlah model merupakan arah yang layak?
Sam Altman: Saya pikir ada perbedaan pendapat tentang apakah lebih aman memiliki model minoritas atau model mayoritas di dunia. Saya pikir ini lebih penting, apakah kita memiliki sistem di mana model yang kuat diuji keamanannya secara memadai? Apakah kita memiliki kerangka kerja di mana siapa pun yang membuat model yang cukup kuat memiliki sumber daya dan tanggung jawab untuk memastikan bahwa apa yang mereka buat aman dan selaras?
Zhang Hongjiang: Pada pertemuan kemarin, Profesor Max dari MIT Future of Life Institute menyebutkan metode yang mungkin, yang mirip dengan cara kita mengontrol pengembangan obat. Ketika ilmuwan atau perusahaan mengembangkan obat baru, Anda tidak dapat langsung memasarkannya. Anda harus melalui proses pengujian ini. Apakah ini sesuatu yang bisa kita pelajari?
Sam Altman: Saya yakin kita dapat belajar banyak dari kerangka lisensi dan pengujian yang telah dikembangkan di berbagai industri. Tapi saya pikir pada dasarnya kita punya sesuatu yang bisa berhasil.
Zhang Hongjiang: Terima kasih banyak, Sam. Terima kasih telah meluangkan waktu untuk menghadiri pertemuan ini, meskipun secara online. Saya yakin masih banyak lagi pertanyaan, tetapi mengingat waktunya, kita harus berhenti di sini. Saya harap lain kali Anda memiliki kesempatan untuk datang ke China, datang ke Beijing, kita dapat berdiskusi lebih mendalam. Terima kasih banyak.