Sumber: Shen Ran, Penulis: Jin Yufan, He Shulong, Editor: He Shulong
Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas
Setengah tahun setelah peluncuran ChatGPT, pengejaran model skala besar terus dilakukan di kedua sisi Samudra Pasifik.
Aliansi yang dibentuk oleh OpenAI, Microsoft, dan Nvidia berjalan liar di pantai timur Samudra Pasifik. Sejak Maret tahun ini, perusahaan teknologi China telah segera menindaklanjuti. Baidu, Ali, SenseTime, dan iFLYTEK telah berturut-turut meluncurkan produk "mirip ChatGPT". Tencent, Huawei, dan JD. Waktu juga merupakan peluang "sepuluh kali lebih besar".
Di momen "Perang Seratus Model", Xiaomi, sebagai perusahaan teknologi besar dalam negeri, tampak luar biasa tenang.
Lei Jun, kepala Xiaomi, mengatakan bahwa Xiaomi sedang mengembangkan beberapa teknologi dan produk, dan akan mendemonstrasikannya kepada semua orang setelah dipoles. Lu Weibing, presiden Xiaomi Group, mengatakan bahwa Xiaomi saat ini memiliki tim AI lebih dari 1.200 orang, dan akan secara aktif merangkul model skala besar dan mengintegrasikannya dengan kedalaman bisnis, tetapi tidak akan membuat model skala besar tujuan umum seperti OpenAI .
Informasi ini memperdalam keraguan dunia luar: Akankah Xiaomi bergabung dengan "Perang Seratus Model"?
Wang Bin, direktur AI Lab dari Xiaomi Group, mengatakan kepada Shenran bahwa Xiaomi akan mengembangkan modelnya sendiri untuk keperluan umum, tetapi tidak akan merilis produk seperti ChatGPT saja, "juga tidak akan merilis PPT, atau mendemonstrasikan beberapa contoh, Katakanlah kita memiliki model besar ”, tetapi model besar yang dikembangkan sendiri pada akhirnya akan dikeluarkan oleh produk.
Ini adalah pertama kalinya rute dan kemajuan model besar terungkap ke dunia luar setelah Xiaomi secara resmi mengumumkan tim model besar. Pada 14 April tahun ini, Xiaomi mengumumkan bahwa tim model besar akan dipimpin oleh Luan Jian dan melapor ke Wang Bin. Wang Bin telah terlibat dalam penelitian dan pengembangan terkait NLP (Natural Language Processing) di Chinese Academy of Sciences selama lebih dari 20 tahun.Dia bergabung dengan Xiaomi pada 2018 dan bertanggung jawab atas laboratorium AI sejak 2019. AI Lab adalah departemen inti dari strategi AI Xiaomi.
Xiaomi, yang telah membuat model dialog skala besar, adalah seorang rasionalis yang langka dalam model bahasa skala besar yang telah dilatih sebelumnya untuk tujuan umum. Wang Bin mengungkapkan bahwa saat ini terdapat lebih dari 30 tim model skala besar penuh waktu, dan tidak akan berkembang dengan cepat; tujuan tim ini masih model bahasa berskala besar, dan parameter model dasar target dari langkah pertama adalah puluhan miliar** , dan kemudian tergantung pada hasil pendakian sebelumnya, langkah selanjutnya akan diputuskan.
"Masih ada jalan panjang dari pengembangan model skala besar ke pendaratan. Apakah mereka dapat menemukan adegan penting yang cocok adalah masalah bagi banyak perusahaan model skala besar. "Dalam pandangan Wang Bin, keunggulan Xiaomi adalah itu itu memiliki model besar siap pakai yang cukup.Skenario pendaratan, termasuk Xiao Ai, loT, mengemudi otonom, robot, dll., skenario aplikasi yang kaya juga dapat memberi umpan balik pada kemampuan model besar.
Xiaomi tidak kekurangan skenario, tetapi untuk melatih model besar, akumulasi data, daya komputasi, dan bakat sangat diperlukan. Wang Bin mengatakan bahwa Xiaomi memiliki cadangan bakat tertentu, dan tantangan dalam hal daya komputasi dan volume data relatif besar. Di satu sisi, daya komputasi perlu mengatasi tantangan tingkat sistem, dan biaya pelatihan harus dapat dikontrol; di sisi lain, dibutuhkan banyak waktu dan biaya untuk mendapatkan dan membersihkan data berkualitas tinggi.
Dalam gelombang baru model besar AI, mengapa tim Xiaomi AI tidak merilis "produk seperti ChatGPT"? Bagaimana Xiaomi menilai rute teknis dan kesulitan teknis model besar? Beberapa hari yang lalu, He Shulong, pemimpin redaksi Shenran, berdialog dengan Wang Bin, direktur Laboratorium AI Komite Teknis Xiaomi. Berikut ini adalah konten intinya:
Model besar Xiaomi: 30 orang dalam tim, tidak ada "seperti ChatGPT"
**Shen Ran: Pada tanggal 14 April, Xiaomi menunjuk Luan Jian sebagai kepala tim model besar untuk melapor kepada Anda. Bisakah Anda memberi tahu kami bagaimana tim model besar Xiaomi lahir? **
**Wang Bin:**Tim model besar diumumkan pada bulan April, tetapi sudah mulai beroperasi sebelumnya.
Pada 30 November tahun lalu, setelah OpenAI merilis ChatGPT, banyak dari kami dengan cepat mendaftarkan akun dan mulai memainkannya. ChatGPT memang subversif. Kami telah mengerjakan AI selama bertahun-tahun, dan banyak dari kemampuannya telah melampaui harapan pengembang kami.
Segera, kami mengorganisir sejumlah grup komunikasi model skala besar internal untuk membahas teknologi model skala besar dan dampaknya yang mengganggu pada terjemahan mesin, dialog manusia-mesin, menjawab pertanyaan cerdas, dan layanan pelanggan. **Banyak orang yang berpartisipasi dalam lokakarya awal kemudian menjadi anggota kunci tim maket penuh waktu. **
**Shen Ran: Akankah tim model skala besar Xiaomi datang agak terlambat? **
Wang Bin: Untuk model besar, kami termasuk dalam aliran rasional.
Sebelum kelahiran ChatGPT, Xiaomi telah melakukan penelitian dan pengembangan internal dan penerapan model besar, terutama dalam bentuk pra-pelatihan + pengawasan tugas hilir dan penyesuaian halus untuk dialog manusia-mesin, dan parameter model berada di miliaran. Tentu saja, model jenis ini bukanlah model skala besar untuk keperluan umum seperti yang sekarang disebut.
Kami sangat jelas bahwa pengembangan dan penerapan model besar umum adalah pekerjaan jangka panjang, bukan masalah waktu. Kami berjalan sesuai rencana waktu dan langkah kami sendiri, saat itu kami merasa waktunya sudah habis, jadi kami membuat rilis tim.
**Shen Ran: Berapa banyak orang yang ada di tim model besar? Apakah ada rencana untuk melanjutkan ekspansi? **
**Wang Bin:**Tim utama saat ini memiliki lebih dari 30 orang. Kami sedang mempersiapkan sesuai dengan aspek bakat, data, model, daya komputasi, evaluasi, dan produk, dan kemudian secara bertahap menyesuaikan atau memperluas setelah tahap tertentu.
Kami tidak akan serta merta menambah jumlah orang, seperti merekrut 100 orang sekaligus. Karena dalam tahap pendakian kapasitas akumulasi, merekrut begitu banyak orang mungkin tidak tahu cara mengaturnya, tapi itu sia-sia.
Dengan pengungkapan informasi yang terus menerus tentang model besar dan aliran modal dan bakat yang terus menerus, bidang model besar telah berkembang sangat cepat, dan pandangan semua orang telah banyak berubah. Ketika ChatGPT pertama kali keluar belum lama ini, semua orang merasa bahwa pada dasarnya tidak mungkin untuk mewujudkan model skala besar yang serupa, tetapi perlahan, banyak orang merasa kemungkinannya sangat tinggi, dan beberapa orang percaya bahwa banyak produk dapat dipenuhi tanpa itu. model berskala besar.permintaan. Intensitas investasi setiap orang juga sangat berbeda. Beberapa orang mungkin berpikir bahwa tim membutuhkan setidaknya beberapa ratus orang, dan beberapa orang berpikir itu tidak perlu.
**Shenran: Apakah ada rencana bertahap untuk masa depan, kapan akan diuji secara internal dan dirilis secara eksternal? **
Wang Bin: Tidak seperti perusahaan lain, Xiaomi lahir dengan atribut produk. Saya percaya bahwa ketika model Xiaomi yang besar keluar, itu dibawa keluar oleh produknya.
Kami dapat menguji secara internal sebelum Q3. Namun, ini bukanlah simpul yang tak terhindarkan.
**Shen Ran: Dengan kata lain, Xiaomi tidak akan merilis produk seperti ChatGPT? **
Wang Bin: Ya, kami tidak akan merilis PPT, atau menunjukkan bahwa kami memiliki model yang besar. Skenario aplikasi yang kaya adalah keunggulan terbesar kami. **Model Xiaomi yang besar akan terintegrasi lebih dekat dengan pemandangan, dan rencana rilis yang sesuai harus dibuat sesuai dengan ritme produk. **
**Shenran: Selain tenaga kerja, berapa biaya daya komputasi Xiaomi untuk membuat model besar? **
Wang Bin: Kami adalah investasi skala menengah, dan kami akan memutuskan langkah investasi selanjutnya berdasarkan hasil pendakian sebelumnya.
Penilaian dasar kami adalah bahwa model yang cocok untuk produk dan bisnis Xiaomi mungkin memiliki parameter dalam puluhan miliar**, yang akan lebih rendah dari skala 100 miliar, dan investasi dalam mesin pelatihan sekitar puluhan juta RMB.
**Shen Ran: Bagaimana model dengan miliaran parameter yang dibuat oleh Xiaomi sebelumnya? **
**Wang Bin: **ChatGPT yang dirilis tahun lalu adalah sejenis model skala besar, yang disebut model besar bahasa pra-pelatihan tujuan umum. Tetapi model besar itu sendiri muncul sangat awal, dan setiap orang memiliki rute dan metode yang berbeda.
Kami mulai menindaklanjuti model besar sebelumnya, saat itu kami membuat model khusus dialog dengan sekitar 2,8 miliar hingga 3 miliar parameter. Ini diwujudkan dengan menyempurnakan data dialog berdasarkan model dasar yang telah dilatih sebelumnya. Ini bukan model besar tujuan umum saat ini, tetapi didedikasikan untuk dialog manusia-mesin. Sex, biarkan saja. Belakangan, model ini diluncurkan ke Xiaoai, dan uji online skala kecil dilakukan.
Oleh karena itu, AIGC telah digunakan di Xiao Ai, tetapi pada tingkat produk, kami tidak menggunakan model besar ini seluruhnya, tetapi menggunakan model tradisional dan model dialog besar yang saling melengkapi untuk menggunakan keduanya secara bersamaan.
Model besar serba guna Xiaomi kemungkinan besar akan menjadi model hybrid ini saat diluncurkan ke dalam produk. Masalah yang ditangani dengan sangat baik oleh model tradisional diserahkan kepada model tradisional. Model besar memecahkan masalah yang dia kuasai, seperti beberapa peristiwa probabilitas kecil atau dialog panjang.
Tingkat dialog model besar tujuan umum yang telah keluar sekarang jauh lebih tinggi daripada model besar khusus dialog sebelumnya, jadi bagian tim ini juga telah dipindahkan ke model besar tujuan umum. Tim ini menjalankan seluruh proses pelatihan model dialog besar, memanjat beberapa lubang, dan dengan akumulasi data, tim ini memiliki keunggulan tertentu.
Model besar millet: pemandangannya dominan, dan datanya bermasalah
**Shenran: Selama periode waktu ini, kemajuan teknologi sangat pesat, dan model skala besar domestik dirilis secara intensif. Apakah Anda akan cemas karena kemajuan yang lambat? **
Wang Bin: Dulu saya cukup cemas untuk sementara waktu, karena saya sedikit panik jika saya tidak melakukannya sepanjang waktu, dan Anda akan berpikir, “Bagaimana orang lain dapat membuat kemajuan yang begitu cepat dan buat semuanya sekaligus?” Sekarang kita turun untuk melakukannya. Tidak perlu khawatir lagi.
** Dikatakan bahwa China sekarang adalah "perang seratus model", dan lebih dari 80 model besar telah dirilis**, beberapa di antaranya menyediakan pengujian internal, dan beberapa hanya dirilis oleh PPT. Efek dari beberapa model masih bagus Dilihat dari tingkat rilisnya, tingkat model besar yang kami kembangkan sendiri sepertinya tidak lebih buruk dari banyak model. Tapi kami tidak terburu-buru untuk melakukan rilis eksternal. Pertama, untuk perusahaan seperti Xiaomi, itu tidak masuk akal. Kedua, kami masih berharap untuk membuat model yang dikembangkan sendiri menjadi lebih baik di sekitar produk, dan kemudian merilisnya bersama.
**Shenran: Apakah menurut Anda model besar perusahaan domestik memiliki peluang untuk mengejar OpenAI? Seberapa besar kesenjangannya? Mereka suka menggunakan tiga bulan, enam bulan untuk menggambarkan. **
Wang Bin: Saat ini, OpenAI harus sangat maju. OpenAI telah berinvestasi lebih awal dan memiliki akumulasi yang sangat kuat dalam bakat, data, daya komputasi, teknik, dan produk. Dari situasi dalam negeri, saya merasa masih ada gap tertentu antara OpenAI dan OpenAI, ada yang bilang tiga bulan atau enam bulan, ada yang bilang satu tahun atau dua tahun. Dari segi waktu, sulit dikatakan.
Karena bagaimana mengevaluasi model besar adalah masalah yang sangat sulit. Sekarang ada peringkat berbagai model besar, tetapi tidak satupun dari mereka yang diakui dengan suara bulat oleh semua orang. **Tidak ada standar evaluasi yang nyata, jadi berbicara tentang mengejar ketinggalan dalam tiga bulan atau enam bulan hanyalah tamparan di wajah. **
Mengenai apakah mungkin bagi China untuk mengejar OpenAI, saya pesimis di masa-masa awal dan berpikir itu hampir tidak mungkin, tetapi dengan masuknya berbagai solusi open source, berbagai tim dan modal, penilaian saya lebih optimis. Saya pikir China memiliki peluang untuk mempersempit jarak dengan OpenAI, untuk mendekati atau bahkan melampauinya dalam banyak skenario.
**Model besar tampaknya tidak memiliki ambang batas yang tinggi untuk chip. Melalui akumulasi terus-menerus dan pengoptimalan talenta, data, daya komputasi, dll., dimungkinkan untuk terus mempersempit kesenjangan. **
**Shenran: Jenis perusahaan domestik mana yang memiliki lebih banyak keunggulan dalam model berskala besar? Di mana peluang untuk Xiaomi? **
Wang Bin: Terlepas dari perusahaan besar atau perusahaan rintisan kecil dan menengah, masing-masing memiliki ruang hidup sendiri. Model besar adalah ekologi, dan tidak ada satu pun yang besar yang dapat mengambil semuanya.Semua perusahaan dalam ekologi, termasuk daya komputasi, data, aplikasi, dan perusahaan yang benar-benar membuat model besar, memiliki peluangnya sendiri.
Model berskala besar seperti Xiaomi memiliki keunggulan skenario aplikasi. Kami percaya bahwa kombinasi model dan adegan besar akan menjadi peluang besar.
Karena jika Anda baru saja merilis model besar dan tidak ada yang menggunakannya, mungkin tidak dapat berkembang dengan cepat melalui rolling. Dan kami dapat segera mendarat di tempat kejadian, dan melalui iterasi terus menerus, kami dapat memainkan sepenuhnya kekuatan model besar dalam pemandangan ini.
Meskipun saat ini kami hanya mengintegrasikan tim utama yang terdiri dari lebih dari 30 orang, sebenarnya ada banyak orang di pinggiran. Di seluruh laboratorium AI, terdapat lebih dari 100 orang yang memiliki latar belakang NLP dan melakukan aplikasi khusus, termasuk grafik pengetahuan, terjemahan mesin, dialog manusia-mesin, layanan pelanggan cerdas, dan menjawab pertanyaan cerdas. Mereka semua adalah orang-orang dengan pemikiran dasar model besar dan teknologi terkait, dan mempromosikan eksplorasi model besar dari perspektif aplikasinya masing-masing.
Wangbin
**Shen Ran: Seberapa berharga akumulasi Xiaomi dalam penelitian NLP untuk model besar? **
Wang Bin: Ada dua opini di industri ini. Salah satu cara untuk mengatakannya adalah bahwa kita mungkin tidak memiliki pekerjaan, dan AI telah membunuh kita, terutama mereka yang melakukan NLP mungkin tidak memiliki pekerjaan. Ada juga yang mengatakan bahwa model besar dibuat dari NLP, dan mereka yang melakukan NLP memiliki kelebihan yang melekat.
Kedua pernyataan ini ada benarnya, tetapi bagaimanapun juga, ini menyangkut pekerjaan saya, saya lebih condong ke pernyataan terakhir.
Model besar awalnya dieksplorasi di berbagai bidang, termasuk visi, ucapan, dan NLP. Tapi mengapa ini merupakan terobosan pertama di bidang NLP, saya yakin ada alasan penting untuk ini. Saya memahami setidaknya dua hal: yang pertama adalah kekayaan dan ketersediaan data bahasa yang mudah, dan yang kedua adalah adanya pengetahuan yang sangat kaya yang mencerminkan proses berpikir manusia yang tersembunyi di balik data bahasa.
Jadi saya percaya bahwa orang yang telah terakumulasi di bidang NLP selama bertahun-tahun memiliki keunggulan bawaan tertentu dalam memahami dan mengubah model besar. Banyak anggota tim model skala besar Xiaomi awalnya bekerja ke arah NLP. Beberapa perusahaan start up yang sangat piawai membuat model skala besar di China juga keluar dari bidang NLP.
**Shen Ran: Apa kesulitan Xiaomi saat ini untuk mengatasi model besar? Bagaimana cara mengatasinya? **
**Wang Bin:**Pertama-tama, saya masih ingin mengatakan bahwa model besar itu sendiri memiliki tantangan yang sangat besar.
Tantangan besar adalah ketidakpastian teknologi. Kami telah membaca beberapa laporan, dan bahkan tim OpenAI sendiri tidak begitu jelas tentang prinsip sebenarnya di balik model besar, dan jika mereka melakukannya lagi, mereka tidak yakin apakah hasil "muncul" yang sama dapat terjadi. Saya yakin OpenAI mengatakan yang sebenarnya tentang hal ini Karena ketidakpastian besar dalam teknologi, investasi tidak dapat menjamin bahwa model besar yang memenuhi harapan dapat dilatih.
Akumulasi data berkualitas tinggi juga merupakan tantangan. Secara umum diyakini bahwa model besar membutuhkan data pelatihan yang sangat besar dan berkualitas tinggi. Kualitas data yang tersedia untuk umum di Internet secara umum relatif buruk, sehingga perolehan dan pembersihan ** data merupakan tantangan yang relatif besar. **
Tantangan lainnya tentu saja daya komputasi. Pertama-tama, ini tidak berarti bahwa ada begitu banyak kartu yang dapat dilatih, bagaimana memanfaatkan kartu-kartu ini dengan baik merupakan tantangan tingkat sistem itu sendiri. Kedua, karena kesalahan dapat terjadi selama proses pelatihan, uang dapat dibakar, dan tidak ada yang dapat dibakar, jadi tergantung apakah Anda memiliki kemampuan untuk melatih model besar dengan biaya yang dapat dikontrol.
Secara praktis, tantangan ** data dan daya komputasi saat ini masih relatif besar, terutama data berkualitas tinggi berskala besar **. Setelah periode pendakian sebelumnya, kami sekarang pada dasarnya yakin bahwa selama data tersedia dan menggunakan daya komputasi yang ada, kami mungkin dapat mengetahui berapa hari yang diperlukan untuk melatih model dasar yang baik.
**Shenran: Apakah biaya pelatihan model besar telah berkurang sekarang? **
Wang Bin: Di satu sisi, biaya trial and error lebih rendah dari sebelumnya. Karena pelatihan model besar dapat mengambil jalan memutar dan gagal, tetapi dengan pengungkapan berbagai informasi, dimungkinkan untuk dengan cepat menemukan arah pelatihan yang benar. Di sisi lain, banyak komputasi awan, chip, dan perusahaan lain, serta banyak perusahaan baru, menyediakan pelatihan model besar dan layanan inferensi berbiaya rendah. Dengan pengembangan lebih lanjut dari seluruh ekologi, saya yakin biaya pelatihan akan terus menurun.
Bagaimana pengaruh model besar terhadap bisnis Xiaomi?
**Shen Ran: Bisakah Anda memperkenalkan Xiaomi AI Lab yang menjadi tanggung jawab Anda secara mendetail? **
Wang Bin: Setelah lahirnya "AlphaGo" pada tahun 2016, Tuan Lei langsung mempromosikan pembangunan tim AI. AI Lab secara resmi didirikan pada tahun 2016, dan saya bertanggung jawab sejak tahun 2019.
Ternyata AI Lab adalah bagian dari Kementerian Kecerdasan Buatan. Belakangan, Departemen Kecerdasan Buatan digabung menjadi Komite Teknis Grup, dan kini Lab AI berada langsung di bawah Komite Teknis.
Ukuran tim Lab AI saat ini adalah sekitar 350 orang, dan memiliki enam arah, yaitu pembelajaran mesin, pemrosesan bahasa alami (NLP), visi komputer, akustik, grafik ucapan dan pengetahuan.
Setelah model besar keluar, AI Lab membentuk tim model besar penuh waktu, kami sekarang fokus pada model besar bahasa, tetapi kami juga memperhatikan model besar lintas modal.
**Shen Ran: Mr. Lu (President of Xiaomi Group Lu Weibing) mengatakan bahwa tim AI Xiaomi saat ini memiliki lebih dari 1.200 orang. Selain laboratorium AI, departemen apa lagi di Xiaomi yang sangat terkait dengan AI? **
**Wang Bin:**Selain laboratorium AI, ada juga tim dari Xiao Ai yang keduanya berada di bawah panitia teknis.
Selain komite teknis, terdapat banyak departemen dengan tim AI yang relatif besar, termasuk departemen autopilot departemen otomotif, departemen kamera ponsel, dan departemen perangkat lunak. Selain itu, pertumbuhan pengguna dan rekomendasi periklanan di Semua departemen bisnis internet terkait dengan AI.
Singkatnya, beberapa tim terkait AI ada di departemen bisnis, dan beberapa di komite teknis.Jumlah totalnya sekitar 1.200. Jika Anda mempertimbangkan beberapa tim kecil, menurut saya pribadi angka ini bahkan lebih besar.
**Shen Ran: Apa peran Xiaomi AI Lab dalam strategi AI Xiaomi? **
**Wang Bin:**AI Lab adalah departemen penelitian dan pengembangan serta keluaran teknologi AI di tingkat grup. Dalam istilah awam, kami mengekspor teknologi AI ke seluruh perusahaan.
Kami pernah membandingkan laboratorium AI dengan "bidang percobaan" dan "depot amunisi" teknologi AI di tingkat grup. Karena perkembangan AI yang pesat, laboratorium AI akan mengembangkan beberapa teknologi mutakhir jangka menengah dan panjang, membuat cadangan di sekitar bisnis Xiaomi, dan mengeluarkan "amunisi" saat grup membutuhkannya.
Dalam hal teknologi AI, kami harus memiliki cadangan terlengkap di perusahaan, dan kami juga sangat kuat di industri.
**Shen Ran: Apa pencapaian penelitian penting dari Xiaomi AI Lab? **
Wang Bin: Konsep laboratorium AI kami menekankan kombinasi teknologi dan skenario. Saat ini, makalah yang diterbitkan tidak dianggap sebagai OKR. Oleh karena itu, setelah saya datang ke Xiaomi dari Akademi Ilmu Pengetahuan China (Akademi Ilmu Pengetahuan China), saya merasa bahwa pencapaian terbesar bukanlah kemajuan satu titik teknologi, tetapi integrasi teknologi dan produk yang cerdik.
Xiaomi adalah perusahaan To C. Keluaran kemampuan AI kami tidak diekspor langsung ke dunia luar untuk saat ini, tetapi melalui produk perusahaan. Kami telah membuat banyak pencapaian, termasuk banyak algoritme pemrosesan kamera dan album foto di ponsel Xiaomi, algoritme suara dan NLP yang terlibat dalam Xiao Ai, dan algoritme AI dalam sistem rekomendasi, pencarian, dan layanan pelanggan Xiaomi Mall.
Izinkan saya memberi Anda contoh. Kami telah mengembangkan fungsi terjemahan offline di ponsel kami. Misalnya, setelah pergi ke luar negeri, jaringannya tidak begitu baik dalam banyak kasus. Saat ini, aktifkan fungsi terjemahan ponsel Xiaomi tanpa menggunakan cloud Dalam keadaan offline, real-time, privasi dan efek terjemahan lebih baik. Implementasi dan penerapan fungsi ini tidak mudah, kami telah melakukan banyak pekerjaan pengoptimalan pada efek dan kinerja terjemahan.
**Di Xiaomi, bukan teknologi kita sendiri yang akan digunakan terlebih dahulu. Teknologi internal juga harus bersaing dengan teknologi eksternal secara adil. Hanya pemenang yang dapat bertahan dan diterapkan pada produk. **
**Shenran: Bisnis Xiaomi mana yang akan terpengaruh oleh teknologi model berskala besar yang diwakili oleh ChatGPT? **
Wang Bin: Kemampuan terkuat dari model besar, secara sederhana, adalah memahami orang dengan lebih baik, dan jelas dapat mengoptimalkan cara interaksi manusia-komputer. Teman sekelas Xiaomi Xiao Ai, sistem operasi ponsel MIUI, kokpit mobil, IoT, dan robot adalah skenario tipikal di mana model besar diterapkan.
**Shen Ran: Bisakah Anda menggunakan Xiao Ai sebagai contoh? **
Wang Bin: Diterapkan ke Xiao Ai, itu bisa melakukan dua hal sekaligus. Salah satunya adalah membuat yang tidak mungkin menjadi mungkin, yang setara dengan memiliki fungsi baru. Misalnya, saya meminta Xiao Ai untuk membuat rencana perjalanan atau memesan makanan, dll. Kemampuan teknis asli belum tercapai, dan jika pengguna mengatakannya dengan cara lain, itu akan kacau. Tapi Dengan dukungan model besar, ia memiliki pemahaman yang lebih dalam tentang ucapan manusia, sehingga tugas-tugas kompleks dapat diselesaikan, dan jenis aplikasi ini layak dilakukan.
Kategori lainnya adalah peningkatan fungsi aslinya, yang setara dengan lapisan gula pada kue. Karena kegugupan dan keragaman ekspresi manusia, dalam proses interaksi manusia-komputer Xiaoai, masalah terbesar adalah menghadapi peristiwa probabilitas kecil. Kami menyebutnya Kasus Sudut, dan biasanya mengadopsi strategi konservatif untuk membiarkan Xiaoai berkata, "Saya bisa ' t jawab", "Saya masih belajar"**. Jawaban yang mendasari semacam ini juga dapat melanjutkan percakapan, tetapi pengalamannya tidak baik. Namun teknologi model besar dapat melakukan dialog untuk waktu yang lebih lama, dan sangat meningkatkan kepuasan pengguna.
**Shenran: Apakah model besar berdampak besar pada rumah pintar? **
Wang Bin: Menurut pemahaman pribadi saya, model besar setidaknya dapat meningkatkan pengalaman pengguna rumah pintar dalam hal kemampuan interaktif.
Meskipun ada banyak perangkat yang mengaku "pintar", mereka sering berperilaku seperti "terbelakang mental" dan tingkat penggunaannya tidak tinggi. Misalnya, menyalakan AC atau menyesuaikan suhu AC, jika pernyataannya berbeda dari perintah standar, perangkat IoT mungkin tidak dapat dikendalikan.
Tetapi setelah kedatangan model besar, ia memiliki pemahaman yang lebih dalam tentang bahasa manusia, dalam banyak kasus, ada berbagai ekspresi, model besar dapat menerjemahkan ekspresi pengguna menjadi instruksi yang dapat dipahami oleh mesin. Ini akan mendorong lebih banyak orang untuk menggunakan perangkat pintar dan memungkinkan seluruh ekosistem tumbuh lebih cepat.
**Shenran: Selain peningkatan bisnis yang sudah ada, apakah ada hal lain yang tidak dapat dilakukan Xiaomi sebelumnya, tetapi mungkin dilakukan setelah memiliki model besar? **
Wang Bin: Kami akan membuat kolaborasi mendalam antara model besar dan bisnis ini. Tentu saja, selain itu, kami juga mencari lebih banyak kemungkinan.
Tim kami telah menulis banyak artikel untuk mempromosikan model besar di dalam perusahaan, termasuk konsep dan pengembangan teknologi model besar, dan untuk mengajari semua orang cara menggunakan ChatGPT untuk memecahkan masalah bisnis. Tuan Lei telah meminta setiap departemen untuk mempelajari model skala besar, dan mengharuskan setiap orang untuk memiliki pemikiran model skala besar dasar dan berpikir tentang bagaimana berintegrasi dengan bisnis.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Model besar Xiaomi, jangan terlibat dalam "ChatGPT"
Sumber: Shen Ran, Penulis: Jin Yufan, He Shulong, Editor: He Shulong
Setengah tahun setelah peluncuran ChatGPT, pengejaran model skala besar terus dilakukan di kedua sisi Samudra Pasifik.
Aliansi yang dibentuk oleh OpenAI, Microsoft, dan Nvidia berjalan liar di pantai timur Samudra Pasifik. Sejak Maret tahun ini, perusahaan teknologi China telah segera menindaklanjuti. Baidu, Ali, SenseTime, dan iFLYTEK telah berturut-turut meluncurkan produk "mirip ChatGPT". Tencent, Huawei, dan JD. Waktu juga merupakan peluang "sepuluh kali lebih besar".
Di momen "Perang Seratus Model", Xiaomi, sebagai perusahaan teknologi besar dalam negeri, tampak luar biasa tenang.
Lei Jun, kepala Xiaomi, mengatakan bahwa Xiaomi sedang mengembangkan beberapa teknologi dan produk, dan akan mendemonstrasikannya kepada semua orang setelah dipoles. Lu Weibing, presiden Xiaomi Group, mengatakan bahwa Xiaomi saat ini memiliki tim AI lebih dari 1.200 orang, dan akan secara aktif merangkul model skala besar dan mengintegrasikannya dengan kedalaman bisnis, tetapi tidak akan membuat model skala besar tujuan umum seperti OpenAI .
Informasi ini memperdalam keraguan dunia luar: Akankah Xiaomi bergabung dengan "Perang Seratus Model"?
Wang Bin, direktur AI Lab dari Xiaomi Group, mengatakan kepada Shenran bahwa Xiaomi akan mengembangkan modelnya sendiri untuk keperluan umum, tetapi tidak akan merilis produk seperti ChatGPT saja, "juga tidak akan merilis PPT, atau mendemonstrasikan beberapa contoh, Katakanlah kita memiliki model besar ”, tetapi model besar yang dikembangkan sendiri pada akhirnya akan dikeluarkan oleh produk.
Ini adalah pertama kalinya rute dan kemajuan model besar terungkap ke dunia luar setelah Xiaomi secara resmi mengumumkan tim model besar. Pada 14 April tahun ini, Xiaomi mengumumkan bahwa tim model besar akan dipimpin oleh Luan Jian dan melapor ke Wang Bin. Wang Bin telah terlibat dalam penelitian dan pengembangan terkait NLP (Natural Language Processing) di Chinese Academy of Sciences selama lebih dari 20 tahun.Dia bergabung dengan Xiaomi pada 2018 dan bertanggung jawab atas laboratorium AI sejak 2019. AI Lab adalah departemen inti dari strategi AI Xiaomi.
Xiaomi, yang telah membuat model dialog skala besar, adalah seorang rasionalis yang langka dalam model bahasa skala besar yang telah dilatih sebelumnya untuk tujuan umum. Wang Bin mengungkapkan bahwa saat ini terdapat lebih dari 30 tim model skala besar penuh waktu, dan tidak akan berkembang dengan cepat; tujuan tim ini masih model bahasa berskala besar, dan parameter model dasar target dari langkah pertama adalah puluhan miliar** , dan kemudian tergantung pada hasil pendakian sebelumnya, langkah selanjutnya akan diputuskan.
"Masih ada jalan panjang dari pengembangan model skala besar ke pendaratan. Apakah mereka dapat menemukan adegan penting yang cocok adalah masalah bagi banyak perusahaan model skala besar. "Dalam pandangan Wang Bin, keunggulan Xiaomi adalah itu itu memiliki model besar siap pakai yang cukup.Skenario pendaratan, termasuk Xiao Ai, loT, mengemudi otonom, robot, dll., skenario aplikasi yang kaya juga dapat memberi umpan balik pada kemampuan model besar.
Xiaomi tidak kekurangan skenario, tetapi untuk melatih model besar, akumulasi data, daya komputasi, dan bakat sangat diperlukan. Wang Bin mengatakan bahwa Xiaomi memiliki cadangan bakat tertentu, dan tantangan dalam hal daya komputasi dan volume data relatif besar. Di satu sisi, daya komputasi perlu mengatasi tantangan tingkat sistem, dan biaya pelatihan harus dapat dikontrol; di sisi lain, dibutuhkan banyak waktu dan biaya untuk mendapatkan dan membersihkan data berkualitas tinggi.
Dalam gelombang baru model besar AI, mengapa tim Xiaomi AI tidak merilis "produk seperti ChatGPT"? Bagaimana Xiaomi menilai rute teknis dan kesulitan teknis model besar? Beberapa hari yang lalu, He Shulong, pemimpin redaksi Shenran, berdialog dengan Wang Bin, direktur Laboratorium AI Komite Teknis Xiaomi. Berikut ini adalah konten intinya:
Model besar Xiaomi: 30 orang dalam tim, tidak ada "seperti ChatGPT"
**Shen Ran: Pada tanggal 14 April, Xiaomi menunjuk Luan Jian sebagai kepala tim model besar untuk melapor kepada Anda. Bisakah Anda memberi tahu kami bagaimana tim model besar Xiaomi lahir? **
**Wang Bin:**Tim model besar diumumkan pada bulan April, tetapi sudah mulai beroperasi sebelumnya.
Pada 30 November tahun lalu, setelah OpenAI merilis ChatGPT, banyak dari kami dengan cepat mendaftarkan akun dan mulai memainkannya. ChatGPT memang subversif. Kami telah mengerjakan AI selama bertahun-tahun, dan banyak dari kemampuannya telah melampaui harapan pengembang kami.
Segera, kami mengorganisir sejumlah grup komunikasi model skala besar internal untuk membahas teknologi model skala besar dan dampaknya yang mengganggu pada terjemahan mesin, dialog manusia-mesin, menjawab pertanyaan cerdas, dan layanan pelanggan. **Banyak orang yang berpartisipasi dalam lokakarya awal kemudian menjadi anggota kunci tim maket penuh waktu. **
**Shen Ran: Akankah tim model skala besar Xiaomi datang agak terlambat? **
Wang Bin: Untuk model besar, kami termasuk dalam aliran rasional.
Sebelum kelahiran ChatGPT, Xiaomi telah melakukan penelitian dan pengembangan internal dan penerapan model besar, terutama dalam bentuk pra-pelatihan + pengawasan tugas hilir dan penyesuaian halus untuk dialog manusia-mesin, dan parameter model berada di miliaran. Tentu saja, model jenis ini bukanlah model skala besar untuk keperluan umum seperti yang sekarang disebut.
Kami sangat jelas bahwa pengembangan dan penerapan model besar umum adalah pekerjaan jangka panjang, bukan masalah waktu. Kami berjalan sesuai rencana waktu dan langkah kami sendiri, saat itu kami merasa waktunya sudah habis, jadi kami membuat rilis tim.
**Shen Ran: Berapa banyak orang yang ada di tim model besar? Apakah ada rencana untuk melanjutkan ekspansi? **
**Wang Bin:**Tim utama saat ini memiliki lebih dari 30 orang. Kami sedang mempersiapkan sesuai dengan aspek bakat, data, model, daya komputasi, evaluasi, dan produk, dan kemudian secara bertahap menyesuaikan atau memperluas setelah tahap tertentu.
Kami tidak akan serta merta menambah jumlah orang, seperti merekrut 100 orang sekaligus. Karena dalam tahap pendakian kapasitas akumulasi, merekrut begitu banyak orang mungkin tidak tahu cara mengaturnya, tapi itu sia-sia.
Dengan pengungkapan informasi yang terus menerus tentang model besar dan aliran modal dan bakat yang terus menerus, bidang model besar telah berkembang sangat cepat, dan pandangan semua orang telah banyak berubah. Ketika ChatGPT pertama kali keluar belum lama ini, semua orang merasa bahwa pada dasarnya tidak mungkin untuk mewujudkan model skala besar yang serupa, tetapi perlahan, banyak orang merasa kemungkinannya sangat tinggi, dan beberapa orang percaya bahwa banyak produk dapat dipenuhi tanpa itu. model berskala besar.permintaan. Intensitas investasi setiap orang juga sangat berbeda. Beberapa orang mungkin berpikir bahwa tim membutuhkan setidaknya beberapa ratus orang, dan beberapa orang berpikir itu tidak perlu.
**Shenran: Apakah ada rencana bertahap untuk masa depan, kapan akan diuji secara internal dan dirilis secara eksternal? **
Wang Bin: Tidak seperti perusahaan lain, Xiaomi lahir dengan atribut produk. Saya percaya bahwa ketika model Xiaomi yang besar keluar, itu dibawa keluar oleh produknya.
Kami dapat menguji secara internal sebelum Q3. Namun, ini bukanlah simpul yang tak terhindarkan.
**Shen Ran: Dengan kata lain, Xiaomi tidak akan merilis produk seperti ChatGPT? **
Wang Bin: Ya, kami tidak akan merilis PPT, atau menunjukkan bahwa kami memiliki model yang besar. Skenario aplikasi yang kaya adalah keunggulan terbesar kami. **Model Xiaomi yang besar akan terintegrasi lebih dekat dengan pemandangan, dan rencana rilis yang sesuai harus dibuat sesuai dengan ritme produk. **
**Shenran: Selain tenaga kerja, berapa biaya daya komputasi Xiaomi untuk membuat model besar? **
Wang Bin: Kami adalah investasi skala menengah, dan kami akan memutuskan langkah investasi selanjutnya berdasarkan hasil pendakian sebelumnya.
Penilaian dasar kami adalah bahwa model yang cocok untuk produk dan bisnis Xiaomi mungkin memiliki parameter dalam puluhan miliar**, yang akan lebih rendah dari skala 100 miliar, dan investasi dalam mesin pelatihan sekitar puluhan juta RMB.
**Shen Ran: Bagaimana model dengan miliaran parameter yang dibuat oleh Xiaomi sebelumnya? **
**Wang Bin: **ChatGPT yang dirilis tahun lalu adalah sejenis model skala besar, yang disebut model besar bahasa pra-pelatihan tujuan umum. Tetapi model besar itu sendiri muncul sangat awal, dan setiap orang memiliki rute dan metode yang berbeda.
Kami mulai menindaklanjuti model besar sebelumnya, saat itu kami membuat model khusus dialog dengan sekitar 2,8 miliar hingga 3 miliar parameter. Ini diwujudkan dengan menyempurnakan data dialog berdasarkan model dasar yang telah dilatih sebelumnya. Ini bukan model besar tujuan umum saat ini, tetapi didedikasikan untuk dialog manusia-mesin. Sex, biarkan saja. Belakangan, model ini diluncurkan ke Xiaoai, dan uji online skala kecil dilakukan.
Oleh karena itu, AIGC telah digunakan di Xiao Ai, tetapi pada tingkat produk, kami tidak menggunakan model besar ini seluruhnya, tetapi menggunakan model tradisional dan model dialog besar yang saling melengkapi untuk menggunakan keduanya secara bersamaan.
Model besar serba guna Xiaomi kemungkinan besar akan menjadi model hybrid ini saat diluncurkan ke dalam produk. Masalah yang ditangani dengan sangat baik oleh model tradisional diserahkan kepada model tradisional. Model besar memecahkan masalah yang dia kuasai, seperti beberapa peristiwa probabilitas kecil atau dialog panjang.
Tingkat dialog model besar tujuan umum yang telah keluar sekarang jauh lebih tinggi daripada model besar khusus dialog sebelumnya, jadi bagian tim ini juga telah dipindahkan ke model besar tujuan umum. Tim ini menjalankan seluruh proses pelatihan model dialog besar, memanjat beberapa lubang, dan dengan akumulasi data, tim ini memiliki keunggulan tertentu.
Model besar millet: pemandangannya dominan, dan datanya bermasalah
**Shenran: Selama periode waktu ini, kemajuan teknologi sangat pesat, dan model skala besar domestik dirilis secara intensif. Apakah Anda akan cemas karena kemajuan yang lambat? **
Wang Bin: Dulu saya cukup cemas untuk sementara waktu, karena saya sedikit panik jika saya tidak melakukannya sepanjang waktu, dan Anda akan berpikir, “Bagaimana orang lain dapat membuat kemajuan yang begitu cepat dan buat semuanya sekaligus?” Sekarang kita turun untuk melakukannya. Tidak perlu khawatir lagi.
** Dikatakan bahwa China sekarang adalah "perang seratus model", dan lebih dari 80 model besar telah dirilis**, beberapa di antaranya menyediakan pengujian internal, dan beberapa hanya dirilis oleh PPT. Efek dari beberapa model masih bagus Dilihat dari tingkat rilisnya, tingkat model besar yang kami kembangkan sendiri sepertinya tidak lebih buruk dari banyak model. Tapi kami tidak terburu-buru untuk melakukan rilis eksternal. Pertama, untuk perusahaan seperti Xiaomi, itu tidak masuk akal. Kedua, kami masih berharap untuk membuat model yang dikembangkan sendiri menjadi lebih baik di sekitar produk, dan kemudian merilisnya bersama.
**Shenran: Apakah menurut Anda model besar perusahaan domestik memiliki peluang untuk mengejar OpenAI? Seberapa besar kesenjangannya? Mereka suka menggunakan tiga bulan, enam bulan untuk menggambarkan. **
Wang Bin: Saat ini, OpenAI harus sangat maju. OpenAI telah berinvestasi lebih awal dan memiliki akumulasi yang sangat kuat dalam bakat, data, daya komputasi, teknik, dan produk. Dari situasi dalam negeri, saya merasa masih ada gap tertentu antara OpenAI dan OpenAI, ada yang bilang tiga bulan atau enam bulan, ada yang bilang satu tahun atau dua tahun. Dari segi waktu, sulit dikatakan.
Karena bagaimana mengevaluasi model besar adalah masalah yang sangat sulit. Sekarang ada peringkat berbagai model besar, tetapi tidak satupun dari mereka yang diakui dengan suara bulat oleh semua orang. **Tidak ada standar evaluasi yang nyata, jadi berbicara tentang mengejar ketinggalan dalam tiga bulan atau enam bulan hanyalah tamparan di wajah. **
Mengenai apakah mungkin bagi China untuk mengejar OpenAI, saya pesimis di masa-masa awal dan berpikir itu hampir tidak mungkin, tetapi dengan masuknya berbagai solusi open source, berbagai tim dan modal, penilaian saya lebih optimis. Saya pikir China memiliki peluang untuk mempersempit jarak dengan OpenAI, untuk mendekati atau bahkan melampauinya dalam banyak skenario.
**Model besar tampaknya tidak memiliki ambang batas yang tinggi untuk chip. Melalui akumulasi terus-menerus dan pengoptimalan talenta, data, daya komputasi, dll., dimungkinkan untuk terus mempersempit kesenjangan. **
**Shenran: Jenis perusahaan domestik mana yang memiliki lebih banyak keunggulan dalam model berskala besar? Di mana peluang untuk Xiaomi? **
Wang Bin: Terlepas dari perusahaan besar atau perusahaan rintisan kecil dan menengah, masing-masing memiliki ruang hidup sendiri. Model besar adalah ekologi, dan tidak ada satu pun yang besar yang dapat mengambil semuanya.Semua perusahaan dalam ekologi, termasuk daya komputasi, data, aplikasi, dan perusahaan yang benar-benar membuat model besar, memiliki peluangnya sendiri.
Model berskala besar seperti Xiaomi memiliki keunggulan skenario aplikasi. Kami percaya bahwa kombinasi model dan adegan besar akan menjadi peluang besar.
Karena jika Anda baru saja merilis model besar dan tidak ada yang menggunakannya, mungkin tidak dapat berkembang dengan cepat melalui rolling. Dan kami dapat segera mendarat di tempat kejadian, dan melalui iterasi terus menerus, kami dapat memainkan sepenuhnya kekuatan model besar dalam pemandangan ini.
Meskipun saat ini kami hanya mengintegrasikan tim utama yang terdiri dari lebih dari 30 orang, sebenarnya ada banyak orang di pinggiran. Di seluruh laboratorium AI, terdapat lebih dari 100 orang yang memiliki latar belakang NLP dan melakukan aplikasi khusus, termasuk grafik pengetahuan, terjemahan mesin, dialog manusia-mesin, layanan pelanggan cerdas, dan menjawab pertanyaan cerdas. Mereka semua adalah orang-orang dengan pemikiran dasar model besar dan teknologi terkait, dan mempromosikan eksplorasi model besar dari perspektif aplikasinya masing-masing.
**Shen Ran: Seberapa berharga akumulasi Xiaomi dalam penelitian NLP untuk model besar? **
Wang Bin: Ada dua opini di industri ini. Salah satu cara untuk mengatakannya adalah bahwa kita mungkin tidak memiliki pekerjaan, dan AI telah membunuh kita, terutama mereka yang melakukan NLP mungkin tidak memiliki pekerjaan. Ada juga yang mengatakan bahwa model besar dibuat dari NLP, dan mereka yang melakukan NLP memiliki kelebihan yang melekat.
Kedua pernyataan ini ada benarnya, tetapi bagaimanapun juga, ini menyangkut pekerjaan saya, saya lebih condong ke pernyataan terakhir.
Model besar awalnya dieksplorasi di berbagai bidang, termasuk visi, ucapan, dan NLP. Tapi mengapa ini merupakan terobosan pertama di bidang NLP, saya yakin ada alasan penting untuk ini. Saya memahami setidaknya dua hal: yang pertama adalah kekayaan dan ketersediaan data bahasa yang mudah, dan yang kedua adalah adanya pengetahuan yang sangat kaya yang mencerminkan proses berpikir manusia yang tersembunyi di balik data bahasa.
Jadi saya percaya bahwa orang yang telah terakumulasi di bidang NLP selama bertahun-tahun memiliki keunggulan bawaan tertentu dalam memahami dan mengubah model besar. Banyak anggota tim model skala besar Xiaomi awalnya bekerja ke arah NLP. Beberapa perusahaan start up yang sangat piawai membuat model skala besar di China juga keluar dari bidang NLP.
**Shen Ran: Apa kesulitan Xiaomi saat ini untuk mengatasi model besar? Bagaimana cara mengatasinya? **
**Wang Bin:**Pertama-tama, saya masih ingin mengatakan bahwa model besar itu sendiri memiliki tantangan yang sangat besar.
Tantangan besar adalah ketidakpastian teknologi. Kami telah membaca beberapa laporan, dan bahkan tim OpenAI sendiri tidak begitu jelas tentang prinsip sebenarnya di balik model besar, dan jika mereka melakukannya lagi, mereka tidak yakin apakah hasil "muncul" yang sama dapat terjadi. Saya yakin OpenAI mengatakan yang sebenarnya tentang hal ini Karena ketidakpastian besar dalam teknologi, investasi tidak dapat menjamin bahwa model besar yang memenuhi harapan dapat dilatih.
Akumulasi data berkualitas tinggi juga merupakan tantangan. Secara umum diyakini bahwa model besar membutuhkan data pelatihan yang sangat besar dan berkualitas tinggi. Kualitas data yang tersedia untuk umum di Internet secara umum relatif buruk, sehingga perolehan dan pembersihan ** data merupakan tantangan yang relatif besar. **
Tantangan lainnya tentu saja daya komputasi. Pertama-tama, ini tidak berarti bahwa ada begitu banyak kartu yang dapat dilatih, bagaimana memanfaatkan kartu-kartu ini dengan baik merupakan tantangan tingkat sistem itu sendiri. Kedua, karena kesalahan dapat terjadi selama proses pelatihan, uang dapat dibakar, dan tidak ada yang dapat dibakar, jadi tergantung apakah Anda memiliki kemampuan untuk melatih model besar dengan biaya yang dapat dikontrol.
Secara praktis, tantangan ** data dan daya komputasi saat ini masih relatif besar, terutama data berkualitas tinggi berskala besar **. Setelah periode pendakian sebelumnya, kami sekarang pada dasarnya yakin bahwa selama data tersedia dan menggunakan daya komputasi yang ada, kami mungkin dapat mengetahui berapa hari yang diperlukan untuk melatih model dasar yang baik.
**Shenran: Apakah biaya pelatihan model besar telah berkurang sekarang? **
Wang Bin: Di satu sisi, biaya trial and error lebih rendah dari sebelumnya. Karena pelatihan model besar dapat mengambil jalan memutar dan gagal, tetapi dengan pengungkapan berbagai informasi, dimungkinkan untuk dengan cepat menemukan arah pelatihan yang benar. Di sisi lain, banyak komputasi awan, chip, dan perusahaan lain, serta banyak perusahaan baru, menyediakan pelatihan model besar dan layanan inferensi berbiaya rendah. Dengan pengembangan lebih lanjut dari seluruh ekologi, saya yakin biaya pelatihan akan terus menurun.
Bagaimana pengaruh model besar terhadap bisnis Xiaomi?
**Shen Ran: Bisakah Anda memperkenalkan Xiaomi AI Lab yang menjadi tanggung jawab Anda secara mendetail? **
Wang Bin: Setelah lahirnya "AlphaGo" pada tahun 2016, Tuan Lei langsung mempromosikan pembangunan tim AI. AI Lab secara resmi didirikan pada tahun 2016, dan saya bertanggung jawab sejak tahun 2019.
Ternyata AI Lab adalah bagian dari Kementerian Kecerdasan Buatan. Belakangan, Departemen Kecerdasan Buatan digabung menjadi Komite Teknis Grup, dan kini Lab AI berada langsung di bawah Komite Teknis.
Ukuran tim Lab AI saat ini adalah sekitar 350 orang, dan memiliki enam arah, yaitu pembelajaran mesin, pemrosesan bahasa alami (NLP), visi komputer, akustik, grafik ucapan dan pengetahuan.
Setelah model besar keluar, AI Lab membentuk tim model besar penuh waktu, kami sekarang fokus pada model besar bahasa, tetapi kami juga memperhatikan model besar lintas modal.
**Shen Ran: Mr. Lu (President of Xiaomi Group Lu Weibing) mengatakan bahwa tim AI Xiaomi saat ini memiliki lebih dari 1.200 orang. Selain laboratorium AI, departemen apa lagi di Xiaomi yang sangat terkait dengan AI? **
**Wang Bin:**Selain laboratorium AI, ada juga tim dari Xiao Ai yang keduanya berada di bawah panitia teknis.
Selain komite teknis, terdapat banyak departemen dengan tim AI yang relatif besar, termasuk departemen autopilot departemen otomotif, departemen kamera ponsel, dan departemen perangkat lunak. Selain itu, pertumbuhan pengguna dan rekomendasi periklanan di Semua departemen bisnis internet terkait dengan AI.
Singkatnya, beberapa tim terkait AI ada di departemen bisnis, dan beberapa di komite teknis.Jumlah totalnya sekitar 1.200. Jika Anda mempertimbangkan beberapa tim kecil, menurut saya pribadi angka ini bahkan lebih besar.
**Shen Ran: Apa peran Xiaomi AI Lab dalam strategi AI Xiaomi? **
**Wang Bin:**AI Lab adalah departemen penelitian dan pengembangan serta keluaran teknologi AI di tingkat grup. Dalam istilah awam, kami mengekspor teknologi AI ke seluruh perusahaan.
Kami pernah membandingkan laboratorium AI dengan "bidang percobaan" dan "depot amunisi" teknologi AI di tingkat grup. Karena perkembangan AI yang pesat, laboratorium AI akan mengembangkan beberapa teknologi mutakhir jangka menengah dan panjang, membuat cadangan di sekitar bisnis Xiaomi, dan mengeluarkan "amunisi" saat grup membutuhkannya.
Dalam hal teknologi AI, kami harus memiliki cadangan terlengkap di perusahaan, dan kami juga sangat kuat di industri.
**Shen Ran: Apa pencapaian penelitian penting dari Xiaomi AI Lab? **
Wang Bin: Konsep laboratorium AI kami menekankan kombinasi teknologi dan skenario. Saat ini, makalah yang diterbitkan tidak dianggap sebagai OKR. Oleh karena itu, setelah saya datang ke Xiaomi dari Akademi Ilmu Pengetahuan China (Akademi Ilmu Pengetahuan China), saya merasa bahwa pencapaian terbesar bukanlah kemajuan satu titik teknologi, tetapi integrasi teknologi dan produk yang cerdik.
Xiaomi adalah perusahaan To C. Keluaran kemampuan AI kami tidak diekspor langsung ke dunia luar untuk saat ini, tetapi melalui produk perusahaan. Kami telah membuat banyak pencapaian, termasuk banyak algoritme pemrosesan kamera dan album foto di ponsel Xiaomi, algoritme suara dan NLP yang terlibat dalam Xiao Ai, dan algoritme AI dalam sistem rekomendasi, pencarian, dan layanan pelanggan Xiaomi Mall.
Izinkan saya memberi Anda contoh. Kami telah mengembangkan fungsi terjemahan offline di ponsel kami. Misalnya, setelah pergi ke luar negeri, jaringannya tidak begitu baik dalam banyak kasus. Saat ini, aktifkan fungsi terjemahan ponsel Xiaomi tanpa menggunakan cloud Dalam keadaan offline, real-time, privasi dan efek terjemahan lebih baik. Implementasi dan penerapan fungsi ini tidak mudah, kami telah melakukan banyak pekerjaan pengoptimalan pada efek dan kinerja terjemahan.
**Di Xiaomi, bukan teknologi kita sendiri yang akan digunakan terlebih dahulu. Teknologi internal juga harus bersaing dengan teknologi eksternal secara adil. Hanya pemenang yang dapat bertahan dan diterapkan pada produk. **
Wang Bin: Kemampuan terkuat dari model besar, secara sederhana, adalah memahami orang dengan lebih baik, dan jelas dapat mengoptimalkan cara interaksi manusia-komputer. Teman sekelas Xiaomi Xiao Ai, sistem operasi ponsel MIUI, kokpit mobil, IoT, dan robot adalah skenario tipikal di mana model besar diterapkan.
**Shen Ran: Bisakah Anda menggunakan Xiao Ai sebagai contoh? **
Wang Bin: Diterapkan ke Xiao Ai, itu bisa melakukan dua hal sekaligus. Salah satunya adalah membuat yang tidak mungkin menjadi mungkin, yang setara dengan memiliki fungsi baru. Misalnya, saya meminta Xiao Ai untuk membuat rencana perjalanan atau memesan makanan, dll. Kemampuan teknis asli belum tercapai, dan jika pengguna mengatakannya dengan cara lain, itu akan kacau. Tapi Dengan dukungan model besar, ia memiliki pemahaman yang lebih dalam tentang ucapan manusia, sehingga tugas-tugas kompleks dapat diselesaikan, dan jenis aplikasi ini layak dilakukan.
Kategori lainnya adalah peningkatan fungsi aslinya, yang setara dengan lapisan gula pada kue. Karena kegugupan dan keragaman ekspresi manusia, dalam proses interaksi manusia-komputer Xiaoai, masalah terbesar adalah menghadapi peristiwa probabilitas kecil. Kami menyebutnya Kasus Sudut, dan biasanya mengadopsi strategi konservatif untuk membiarkan Xiaoai berkata, "Saya bisa ' t jawab", "Saya masih belajar"**. Jawaban yang mendasari semacam ini juga dapat melanjutkan percakapan, tetapi pengalamannya tidak baik. Namun teknologi model besar dapat melakukan dialog untuk waktu yang lebih lama, dan sangat meningkatkan kepuasan pengguna.
**Shenran: Apakah model besar berdampak besar pada rumah pintar? **
Wang Bin: Menurut pemahaman pribadi saya, model besar setidaknya dapat meningkatkan pengalaman pengguna rumah pintar dalam hal kemampuan interaktif.
Meskipun ada banyak perangkat yang mengaku "pintar", mereka sering berperilaku seperti "terbelakang mental" dan tingkat penggunaannya tidak tinggi. Misalnya, menyalakan AC atau menyesuaikan suhu AC, jika pernyataannya berbeda dari perintah standar, perangkat IoT mungkin tidak dapat dikendalikan.
Tetapi setelah kedatangan model besar, ia memiliki pemahaman yang lebih dalam tentang bahasa manusia, dalam banyak kasus, ada berbagai ekspresi, model besar dapat menerjemahkan ekspresi pengguna menjadi instruksi yang dapat dipahami oleh mesin. Ini akan mendorong lebih banyak orang untuk menggunakan perangkat pintar dan memungkinkan seluruh ekosistem tumbuh lebih cepat.
**Shenran: Selain peningkatan bisnis yang sudah ada, apakah ada hal lain yang tidak dapat dilakukan Xiaomi sebelumnya, tetapi mungkin dilakukan setelah memiliki model besar? **
Wang Bin: Kami akan membuat kolaborasi mendalam antara model besar dan bisnis ini. Tentu saja, selain itu, kami juga mencari lebih banyak kemungkinan.
Tim kami telah menulis banyak artikel untuk mempromosikan model besar di dalam perusahaan, termasuk konsep dan pengembangan teknologi model besar, dan untuk mengajari semua orang cara menggunakan ChatGPT untuk memecahkan masalah bisnis. Tuan Lei telah meminta setiap departemen untuk mempelajari model skala besar, dan mengharuskan setiap orang untuk memiliki pemikiran model skala besar dasar dan berpikir tentang bagaimana berintegrasi dengan bisnis.