Kaynak: Shen Ran, Yazarlar: Jin Yufan, He Shulong, Editör: He Shulong
Resim kaynağı: Unbounded AI aracı tarafından oluşturulmuştur
ChatGPT'nin lansmanından altı ay sonra, Pasifik Okyanusu'nun her iki yakasında büyük ölçekli bir model kovalamacası sahnelenmeye devam etti.
OpenAI, Microsoft ve Nvidia'nın oluşturduğu ittifak, Pasifik Okyanusu'nun doğu kıyısında çılgınca ilerliyor. Bu yılın Mart ayından bu yana Çinli teknoloji şirketleri acilen takip etti. Baidu, Ali, SenseTime ve iFLYTEK arka arkaya "ChatGPT benzeri" ürünleri piyasaya sürdü. Tencent, Huawei ve JD. Zaman ayrıca "on kat daha büyük" fırsatlar.
"Yüz Model Savaşı" anında büyük bir yerli teknoloji şirketi olan Xiaomi, olağanüstü sakin görünüyor.
Xiaomi başkanı Lei Jun, Xiaomi'nin bazı teknolojiler ve ürünler geliştirdiğini ve cilalandıktan sonra bunları herkese göstereceğini söyledi. Xiaomi Group başkanı Lu Weibing, Xiaomi'nin şu anda 1.200'den fazla kişiden oluşan bir AI ekibine sahip olduğunu ve büyük ölçekli modelleri aktif olarak benimseyeceğini ve bunları iş derinliği ile entegre edeceğini ancak OpenAI gibi genel amaçlı büyük ölçekli modeller yapmayacağını söyledi. .
Bu bilgiler dış dünyanın şüphelerini derinleştirdi: Xiaomi "Yüz Model Savaşına" katılacak mı?
Xiaomi Group'un Yapay Zeka Laboratuvarı yöneticisi Dr. Wang Bin, Shenran'a Xiaomi'nin kendi genel amaçlı modelini geliştireceğini, ancak yalnızca ChatGPT benzeri bir ürünü piyasaya sürmeyeceğini, "ne bir PPT yayınlayacağını ne de bir birkaç örnek, diyelim ki büyük bir modelimiz var”, ancak kendi geliştirdiğimiz büyük modeli eninde sonunda ürün ortaya çıkaracaktır.
Xiaomi'nin büyük model ekibini resmi olarak duyurmasının ardından büyük modelin rotası ve ilerleyişi ilk kez dış dünyaya açıklandı. Bu yıl 14 Nisan'da Xiaomi, büyük model ekibinin Luan Jian tarafından yönetileceğini ve Wang Bin'e rapor vereceğini duyurdu. 20 yılı aşkın süredir Çin Bilimler Akademisi'nde NLP (Doğal Dil İşleme) ile ilgili araştırma ve geliştirme yapan Wang Bin, 2018'de Xiaomi'ye katıldı ve 2019'dan beri AI laboratuvarından sorumlu. AI Lab, Xiaomi'nin AI stratejisinin temel departmanıdır.
Büyük ölçekli bir diyalog modeli yapan Xiaomi, genel amaçlı önceden eğitilmiş büyük ölçekli dil modelinde ender rastlanan bir akılcıdır. Wang Bin, şu anda 30'dan fazla tam zamanlı büyük ölçekli model ekibi olduğunu ve hemen hızla genişlemeyeceğini açıkladı; bu ekibin hedefi hala büyük ölçekli bir dil modeli ve hedef temel model parametreleridir ilk adımın tutarı on milyarlarca** olup, daha sonra önceki tırmanış sonuçlarına bağlı olarak bir sonraki adıma karar verilecektir.
"Büyük ölçekli modellerin geliştirilmesinden inişe kadar daha gidilecek çok yol var. Uygun önemli sahneler bulup bulamayacakları, birçok büyük ölçekli model şirketi için sıkıntılı bir nokta." Wang Bin'in görüşüne göre, Xiaomi'nin avantajı şu: Yeterince hazır büyük modele sahiptir.Xiao Ai, IoT, otonom sürüş, robotlar vb.
Xiaomi'nin senaryo sıkıntısı yok, ancak büyük bir modeli eğitmek için veri birikimi, bilgi işlem gücü ve yetenekler vazgeçilmezdir. Wang Bin, Xiaomi'nin belirli bir yetenek rezervine sahip olduğunu ve bilgi işlem gücü ve veri hacmi açısından zorlukların nispeten büyük olduğunu söyledi. Bir yandan bilgi işlem gücünün sistem düzeyindeki zorlukların üstesinden gelmesi ve eğitim maliyetinin kontrol edilebilir olması gerekirken, diğer yandan yüksek kaliteli verileri elde etmek ve temizlemek çok fazla zaman ve maliyet gerektiriyor.
AI büyük modellerinin yeni dalgasında, Xiaomi AI ekibi neden "ChatGPT benzeri ürünler" yayınlamıyor? Xiaomi, büyük modelin teknik rotasını ve teknik zorluğunu nasıl değerlendiriyor? Birkaç gün önce, Shenran'ın genel yayın yönetmeni He Shulong, Xiaomi Teknik Komitesi'nin Yapay Zeka Laboratuvarı yöneticisi Wang Bin ile bir diyalog kurdu. Temel içerik aşağıdadır:
Xiaomi büyük modeli: Ekipte 30 kişi, "ChatGPT benzeri" yok
**Shen Ran: 14 Nisan'da Xiaomi, Luan Jian'ı size rapor vermesi için büyük model ekibinin başına atadı. Xiaomi büyük model ekibinin nasıl doğduğunu bize anlatır mısınız? **
**Wang Bin:**Büyük model ekibi Nisan ayında duyurulmuştu, ancak bundan önce faaliyete geçmişti bile.
Geçen yıl 30 Kasım'da, OpenAI ChatGPT'yi piyasaya sürdükten sonra, bir kısmımız hızla bir hesap kaydettik ve bu hesapta oynamaya başladık. ChatGPT gerçekten yıkıcı. Yapay zeka üzerinde uzun yıllardır çalışıyoruz ve yeteneklerinin çoğu, geliştiricilerimizin beklentilerini aştı.
Kısa bir süre sonra, büyük ölçekli model teknolojisini ve bunun makine çevirisi, insan-makine diyaloğu, akıllı soru yanıtlama ve müşteri hizmetleri üzerindeki yıkıcı etkisini tartışmak için bir dizi dahili büyük ölçekli model iletişim grubu düzenledik. **İlk atölyelere katılan kişilerin çoğu daha sonra tam zamanlı maket ekibinin kilit üyeleri oldu. **
**Shen Ran: Xiaomi büyük ölçekli model ekibi biraz geç mi gelecek? **
Wang Bin: Büyük modeller için, biz rasyonel okula mensubuz.
ChatGPT'nin doğumundan önce Xiaomi, esas olarak eğitim öncesi + aşağı akış görev denetimi ve insan-makine diyaloğu için ince ayar şeklinde dahili araştırma, geliştirme ve büyük modellerin uygulanmasını gerçekleştirmişti ve modelin parametreleri şu şekildeydi: milyarlarca. Elbette bu tip model, şimdiki adıyla genel amaçlı büyük ölçekli bir model değil.
Genel büyük modelin geliştirilmesi ve uygulanmasının zaman meselesi değil, uzun vadeli bir çalışma olduğu konusunda çok netiz. Biz kendi zaman planımıza ve adımlarımıza göre yürüyorduk.O zamanlar sürenin dolduğunu hissettik ve takım çıkışı yaptık.
**Shen Ran: Büyük model ekibinde kaç kişi var? Genişlemeye devam etme planları var mı? **
**Wang Bin:**Ana ekipte şu anda 30'dan fazla kişi var. Şu anda yetenekler, veriler, modeller, bilgi işlem gücü, değerlendirme ve ürünler açısından hazırlanıyoruz ve ardından kademeli olarak ayarlıyoruz veya belirli bir aşamadan sonra genişletiyoruz.
Bir kerede 100 kişiyi işe almak gibi hemen kişi sayısını artırmayacağız. Çünkü kapasite biriktirmenin tırmanma aşamasında, bu kadar çok insanı işe almak nasıl düzenleneceğini bilemeyebilir ama bu bir israftır.
Büyük modeller hakkındaki bilgilerin sürekli açıklanması ve sürekli sermaye ve yetenek akışı ile büyük modeller alanı çok hızlı gelişti ve herkesin görüşleri büyük ölçüde değişti. Kısa süre önce ChatGPT ilk çıktığında, herkes benzer bir büyük ölçekli modeli gerçekleştirmenin temelde imkansız olduğunu hissetti, ancak yavaş yavaş birçok kişi olasılığın çok yüksek olduğunu hissetti ve bazı insanlar bu olmadan birçok ürünün tatmin edilebileceğine inandı. büyük ölçekli bir model. talep. Herkesin yatırım yoğunluğu da çok farklı. Bazıları ekibin en az birkaç yüz kişiye ihtiyacı olduğunu düşünürken, bazıları da buna gerek olmadığını düşünebilir.
**Shenran: Gelecek için herhangi bir aşamalı plan var mı, ne zaman dahili olarak test edilecek ve harici olarak yayınlanacak? **
Wang Bin: Diğer şirketlerden farklı olarak Xiaomi, ürünlerin özellikleriyle doğuyor. Xiaomi'nin büyük modeli çıktığında ürünün öne çıktığına inanıyorum.
Q3'ten önce dahili olarak test edebiliriz. Ancak bu kaçınılmaz bir düğüm değildir.
**Shen Ran: Başka bir deyişle, Xiaomi ChatGPT benzeri bir ürün çıkarmayacak mı? **
Wang Bin: Evet, bir PPT yayınlamayacağız veya büyük bir modelimiz olduğunu göstermeyeceğiz. Zengin uygulama senaryoları en büyük avantajımızdır. **Büyük Xiaomi modeli sahne ile daha yakından entegre olacak ve ilgili sürüm planı ürünün ritmi etrafında yapılmalıdır. **
**Shenran: İnsan gücüne ek olarak, Xiaomi'nin büyük bir model yapması için bilgi işlem gücünün maliyeti nedir? **
Wang Bin: Biz orta ölçekli bir yatırımız ve yatırımın bir sonraki adımına önceki tırmanışın sonuçlarına göre karar vereceğiz.
Temel yargımız, Xiaomi ürünleri ve işletmeleri için uygun modelin on milyarlarca**, yani 100 milyar ölçeğinden daha düşük parametrelere sahip olabileceği ve eğitim makinelerine yapılan yatırımın yaklaşık on milyonlarca RMB olduğu yönündedir.
**Shen Ran: Daha önce Xiaomi tarafından yapılan milyarlarca parametreli model nasıldı? **
**Wang Bin: **Geçen yıl piyasaya sürülen ChatGPT, genel amaçlı önceden eğitilmiş dil büyük modeli olarak adlandırılan bir tür büyük ölçekli modeldir. Ancak büyük modelin kendisi çok erken ortaya çıktı ve herkesin farklı yolları ve yöntemleri var.
Büyük modeli daha önce takip etmeye başladık, o zamanlar yaklaşık 2,8 milyar ila 3 milyar parametreli diyaloğa özgü bir model yaptık. Önceden eğitilmiş temel model temelinde diyalog verilerinin ince ayarlanmasıyla gerçekleştirilir.Mevcut genel amaçlı büyük model değildir, ancak insan-makine diyaloğuna adanmıştır.Sex, bırakın devam etsin. Daha sonra bu model Xiaoai'ye lanse edildi ve küçük ölçekli bir çevrimiçi test gerçekleştirildi.
Bu nedenle AIGC, Xiao Ai'de zaten kullanılıyor, ancak ürün düzeyinde bu büyük modeli tamamen kullanmıyoruz, ikisini birlikte kullanmak için geleneksel model ile büyük diyalog modelinin tamamlayıcılığını kullanıyoruz.
Xiaomi'nin genel amaçlı büyük modeli, üründe kullanıma sunulduğunda muhtemelen bu hibrit model olacaktır. Geleneksel modelin çok iyi ele aldığı problemler, geleneksel modele aktarılır. Büyük model, bazı küçük olasılık olayları veya uzun kuyruklu diyaloglar gibi iyi olduğu sorunları çözer.
Şimdi ortaya çıkan genel amaçlı büyük modelin diyalog seviyesi, önceki diyaloğa özgü büyük modele göre önemli ölçüde yüksek, bu nedenle ekibin bu kısmı da genel amaçlı büyük modele aktarıldı. Bu ekip, büyük diyalog modelinin tüm eğitim sürecinden geçti, bazı çukurları aştı ve veri birikimi ile belirli avantajlar elde etti.
Darı büyük model: sahne baskın ve veriler sorunlu
**Shenran: Bu süre zarfında teknolojik ilerleme çok hızlı oldu ve yerli büyük ölçekli modeller yoğun bir şekilde piyasaya sürülüyor. Yavaş ilerleme nedeniyle endişelenecek misiniz? **
Wang Bin: Bir süredir oldukça endişeliydim, çünkü sonunda bunu sürekli yapmazsam biraz paniğe kapılırdım ve siz de "Başkaları nasıl bu kadar hızlı ilerleyebilir ve hepsini bir kerede mi yapacaksın?” Şimdi aşağı inip yapmaya başlıyoruz.
Çin'in artık bir "yüz model savaşı" olduğu ve 80'den fazla büyük modelin piyasaya sürüldüğü söyleniyor, bunların bir kısmı dahili test sağlıyor, bir kısmı ise sadece PPT tarafından piyasaya sürülüyor. Bazı modellerin etkisi hala iyi.Sürüm seviyesine bakılırsa, kendi geliştirdiğimiz mevcut büyük modellerimizin seviyesi birçok modelden daha kötü görünmüyor. Ancak harici bir yayın yapmak için acelemiz yok. İlk olarak, Xiaomi gibi bir şirket için pek mantıklı değil. İkinci olarak, kendi geliştirdiğimiz modeli ürün etrafında daha iyi hale getirmeyi ve ardından birlikte piyasaya sürmeyi umuyoruz.
**Shenran: Sizce yerli şirketlerin büyük modellerinin OpenAI'yi yakalama şansı var mı? Boşluk ne kadar büyük? Tanımlamak için üç ay, altı ay kullanmayı severler. **
Wang Bin: Şu anda OpenAI çok gelişmiş olmalı. Erken yatırım yaptı ve yetenekler, veriler, bilgi işlem gücü, mühendislik ve ürünler konusunda çok güçlü bir birikime sahip. Yurtiçi durumdan, OpenAI ve OpenAI arasında hala belirli bir boşluk olduğunu hissediyorum.Bazı insanlar bunun üç ay veya altı ay olduğunu söylerken, diğerleri bir yıl veya iki yıl olduğunu söylüyor. Zaman açısından söylemek zor.
Çünkü büyük bir modelin nasıl değerlendirileceği başlı başına çok zor bir problemdir. Şimdi çeşitli büyük modellerin sıralamaları var, ancak hiçbiri herkes tarafından oybirliğiyle tanınmadı. **Gerçek bir değerlendirme standardı yoktur, bu nedenle üç ay veya altı ay içinde arayı kapatmaktan bahsetmek sadece suratınıza bir tokattır. **
Çin'in OpenAI'yi yakalamasının mümkün olup olmadığı konusunda, ilk günlerde karamsardım ve bunun neredeyse imkansız olduğunu düşündüm, ancak çeşitli açık kaynak çözümlerinin, çeşitli ekiplerin ve sermayenin akışıyla, yargım daha iyimser. Çin'in OpenAI ile mesafesini daraltma, ona yaklaşma ve hatta birçok senaryoda onu geçme fırsatı olduğunu düşünüyorum.
**Büyük modellerin çipler için bu kadar yüksek bir eşiği yok gibi görünüyor. Yeteneklerin, verilerin, bilgi işlem gücünün vb. sürekli olarak biriktirilmesi ve optimizasyonu yoluyla, boşluğu sürekli olarak daraltmak mümkündür. **
**Shenran: Büyük ölçekli modellerde hangi tür yerli şirketlerin daha fazla avantajı var? Xiaomi için fırsat nerede? **
Wang Bin: Büyük şirketler veya küçük ve orta ölçekli yeni şirketler fark etmeksizin her birinin kendi yaşam alanı vardır. Büyük model bir ekolojidir ve tek bir büyük model hepsini kaldıramaz.Ekolojideki bilgi işlem gücü, veriler, uygulamalar ve gerçekten büyük modeller yapan şirketler dahil tüm şirketlerin kendi fırsatları vardır.
Xiaomi gibi büyük ölçekli modeller, uygulama senaryolarının avantajına sahiptir. Büyük modeller ve sahnelerin birleşiminin çok büyük bir fırsat olacağına inanıyoruz.
Çünkü büyük bir modeli öylece bırakırsanız ve kimse kullanmazsa, yuvarlanma yoluyla hızlı bir şekilde gelişemeyebilir. Ve hemen sahneye inebiliriz ve sürekli yineleme yoluyla, bu sahnelerde büyük modelin gücünü tam anlamıyla kullanabiliriz.
Şu anda sadece 30'dan fazla kişiden oluşan bir ana ekibi entegre etmemize rağmen, aslında çevrede çok sayıda insan var. Yapay zeka laboratuvarının tamamında, NLP geçmişi olan ve bilgi grafiği, makine çevirisi, insan-makine diyaloğu, akıllı müşteri hizmetleri ve akıllı soru yanıtlama dahil olmak üzere belirli uygulamalar yapan 100'den fazla kişi var. Hepsi, büyük modeller ve ilgili teknolojiler hakkında temel düşünceye sahip kişilerdir ve büyük modellerin kendi uygulamalarının perspektifinden keşfedilmesini teşvik etmektedirler.
Wang Bin
**Shen Ran: Xiaomi'nin NLP araştırmasındaki birikimi büyük modeller için ne kadar değerli? **
Wang Bin: Sektörde iki görüş var. Söylemenin bir yolu, bizlerin işi olmayabilir ve yapay zeka bizi öldürdü, özellikle NLP yapanların işi olmayabilir. Ne de olsa büyük modelin NLP'den yapıldığı ve NLP yapanların doğasında var olan avantajları olduğu şeklinde bir söz de vardır.
Bu iki ifadenin de doğruluk payı var ama sonuçta bu benim işimle ilgili, ben ikinci ifadeye daha yatkınım.
Büyük modeller başlangıçta görme, konuşma ve NLP dahil olmak üzere çeşitli alanlarda araştırıldı. Ama neden NLP alanında ilk atılım, bunun temel nedenleri olduğuna inanıyorum. En az iki noktayı anlıyorum: Birincisi, dil verilerinin zenginliği ve kolay ulaşılabilirliği, ikincisi ise dil verilerinin ardında gizlenmiş, insanın düşünme sürecini yansıtan çok zengin bir bilgi var.
Bu yüzden NLP alanında uzun yıllar birikim yapmış insanların büyük modelleri anlama ve dönüştürme konusunda doğuştan gelen bazı avantajları olduğuna inanıyorum. Xiaomi'nin büyük ölçekli model ekibinin birçok üyesi başlangıçta NLP yönünde çalıştı. Çin'de büyük ölçekli modeller yapmakta çok iyi olan birkaç yeni şirket de NLP alanından çıktı.
**Shen Ran: Xiaomi'nin büyük modelin üstesinden gelmesindeki mevcut zorluklar nelerdir? Nasıl üstesinden gelinir? **
**Wang Bin:**Öncelikle, büyük modelin kendisinin çok büyük zorluklara sahip olduğunu söylemek istiyorum.
Büyük bir zorluk, teknolojinin belirsizliğidir. Bazı raporlar gördük ve OpenAI ekibi bile büyük modelin arkasındaki gerçek ilkeler konusunda çok net değiller ve bunu tekrar yaparlarsa, aynı "acil" sonuçların gerçekleşip gerçekleşmeyeceğinden emin değiller. OpenAI'nin bu noktada doğru söylediğine inanıyorum.Teknolojideki büyük belirsizlik nedeniyle yatırım, beklentileri karşılayan büyük bir modelin eğitilebileceğini garanti edemez.
Yüksek kaliteli verilerin toplanması da bir zorluktur. Genellikle büyük modellerin son derece büyük ve yüksek kaliteli eğitim verileri gerektirdiğine inanılmaktadır. İnternette herkese açık olarak bulunan verilerin kalitesi genel olarak nispeten düşüktür, bu nedenle ** verilerin elde edilmesi ve temizlenmesi nispeten büyük zorluklardır. **
Diğer bir zorluk da elbette bilgi işlem gücü. Her şeyden önce, bu, eğitilebilecek çok fazla kart olduğu anlamına gelmez.Bu kartların nasıl iyi bir şekilde kullanılacağı, başlı başına sistem düzeyinde bir zorluktur. İkincisi, eğitim sürecinde hatalar yapılabileceğinden, para yakılabilir ve hiçbir şey yakılamaz, bu nedenle, büyük bir modeli kontrol edilebilir bir maliyetle eğitme becerinizin olup olmadığına bağlıdır.
Pratik olarak, ** veri ve bilgi işlem gücünün mevcut zorlukları, özellikle büyük ölçekli yüksek kaliteli veriler ** için hala nispeten büyüktür. Önceki tırmanış döneminden sonra, veriler yerinde olduğu ve mevcut hesaplama gücünü kullandığı sürece, iyi bir temel modeli eğitmenin kaç gün süreceğini muhtemelen bilebileceğimizden artık temelde eminiz.
**Shenran: Büyük model eğitiminin maliyeti şimdi düşürüldü mü? **
Wang Bin: Bir yandan, deneme yanılma maliyeti eskisinden daha düşük. Çünkü büyük model eğitimi sapmalar gösterebilir ve başarısız olabilir, ancak çeşitli bilgilerin ifşa edilmesiyle eğitimin doğru yönünü hızlı bir şekilde bulmak mümkündür. Öte yandan, birçok bulut bilişim, çip ve diğer şirketlerin yanı sıra birçok start-up şirket, daha düşük maliyetli büyük model eğitim ve çıkarım hizmetleri sağlıyor. Tüm ekolojinin daha da gelişmesiyle, eğitim maliyetinin düşmeye devam edeceğine inanıyorum.
Büyük model Xiaomi'nin işini nasıl etkiler?
**Shen Ran: Sorumlu olduğunuz Xiaomi AI Lab'ı detaylı olarak tanıtır mısınız? **
Wang Bin: 2016'da "AlphaGo"nun doğumundan sonra, Bay Lei hemen yapay zeka ekibinin kurulmasını destekledi. AI Lab resmi olarak 2016 yılında kuruldu ve 2019'dan beri görevdeyim.
AI Lab'ın Yapay Zeka Bakanlığı'nın bir parçası olduğu ortaya çıktı. Daha sonra Yapay Zeka Departmanı, Grup Teknik Komitesi ile birleştirildi ve şimdi AI Laboratuvarı doğrudan Teknik Komite'nin altında.
AI Lab'in mevcut ekip büyüklüğü yaklaşık 350 kişidir ve makine öğrenimi, doğal dil işleme (NLP), bilgisayarla görme, akustik, konuşma ve bilgi grafikleri olmak üzere altı yönü vardır.
Büyük model çıktıktan sonra, AI Lab tam zamanlı bir büyük model ekibi kurdu.Şimdi dil büyük modeline odaklanıyoruz, ancak aynı zamanda modlar arası büyük modele de dikkat ediyoruz.
**Shen Ran: Bay Lu (Xiaomi Group Lu Weibing Başkanı), Xiaomi AI ekibinin şu anda 1.200'den fazla kişiye sahip olduğunu söyledi. AI laboratuvarına ek olarak, Xiaomi içindeki diğer hangi departmanlar AI ile güçlü bir şekilde ilişkilidir? **
**Wang Bin:**AI laboratuvarına ek olarak, her ikisi de teknik komiteye bağlı olan Xiao Ai'nin ekibi de var.
Teknik komiteye ek olarak, otomotiv departmanının otopilot departmanı, cep telefonunun kamera departmanı ve yazılım departmanı dahil olmak üzere nispeten büyük yapay zeka ekiplerine sahip birçok departman bulunmaktadır. İnternet iş departmanının tümü yapay zeka ile ilgilidir.
Kısacası AI ile ilgili bazı ekipler iş bölümünde, bazıları teknik komitede.Toplam sayı yaklaşık 1.200, Bazı küçük ekipleri düşünürseniz, kişisel olarak bu sayının daha da büyük olduğunu düşünüyorum.
**Shen Ran: Xiaomi AI Lab'ın Xiaomi'nin AI stratejisindeki rolü nedir? **
**Wang Bin:**AI Lab, AI teknolojisinin grup düzeyinde araştırma, geliştirme ve çıktı departmanıdır. Layman açısından, AI teknolojisini tüm şirkete ihraç ediyoruz.
Bir zamanlar yapay zeka laboratuvarını, grup düzeyinde yapay zeka teknolojisinin "deneysel alanı" ve "mühimmat deposu" ile karşılaştırmıştık. AI'nın hızlı gelişimi nedeniyle, AI laboratuvarı bazı orta ve uzun vadeli son teknolojiler geliştirecek, Xiaomi'nin işi etrafında rezervler oluşturacak ve grubun ihtiyacı olduğunda "mühimmat" üretecek.
AI teknolojisi açısından, şirketteki en eksiksiz rezervlere sahip olmalıyız ve ayrıca sektörde çok güçlüyüz.
**Shen Ran: Xiaomi AI Lab'in önemli araştırma başarıları nelerdir? **
Wang Bin: AI laboratuvarımızın konsepti, teknoloji ve senaryoların birleşimini vurgulamaktadır. Şu anda yayınlanan makaleler OKR olarak kabul edilmemektedir. Bu nedenle, Çin Bilimler Akademisi'nden (Çin Bilimler Akademisi) Xiaomi'ye geldikten sonra, en büyük başarının teknolojinin tek bir noktasında ilerleme değil, teknoloji ve ürünlerin ustaca entegrasyonu olduğunu hissediyorum.
Xiaomi bir To C şirketidir.Yapay zeka yeteneği çıktımız şimdilik doğrudan dış dünyaya değil, şirketin ürünleri aracılığıyla ihraç edilmektedir. Xiaomi cep telefonlarında birçok kamera ve fotoğraf albümü işleme algoritması, Xiao Ai'de yer alan ses ve NLP algoritmaları ve Xiaomi Alışveriş Merkezi'nin öneri, arama ve müşteri hizmetleri sistemlerinde AI algoritmaları dahil olmak üzere birçok başarıya imza attık.
Size bir örnek vereyim.Cep telefonumuzda çevrimdışı çeviri işlevi geliştirdik.Örneğin yurt dışına çıktıktan sonra ağ çoğu durumda pek iyi değil.Şu anda Xiaomi cep telefonunun çeviri işlevini açın bulutu kullanmadan Çevrimdışı durumda, gerçek zamanlı, gizlilik ve çeviri etkisi daha iyidir. Bu fonksiyonun uygulanması ve uygulanması kolay değildir.Çeviri efektleri ve performansı üzerinde birçok optimizasyon çalışması yaptık.
**Xiaomi'de ilk olarak kendi teknolojimiz kullanılacak değildir. Dahili teknoloji de harici teknoloji ile adil bir şekilde rekabet etmelidir. Yalnızca kazanan hayatta kalabilir ve ürünlere uygulanabilir. **
**Shenran: Xiaomi'nin hangi işletmeleri, ChatGPT tarafından temsil edilen büyük ölçekli model teknolojisinden etkilenecek? **
**Wang Bin:**Basit bir ifadeyle büyük modelin en güçlü yeteneği, insanları daha iyi anlaması ve insan-bilgisayar etkileşimini açıkça optimize edebilmesidir. Xiaomi'nin Xiao Ai sınıf arkadaşı, cep telefonu işletim sistemi MIUI, araba kokpiti, IoT ve robotlar, büyük modellerin uygulandığı tipik senaryolardır.
**Shen Ran: Örnek olarak Xiao Ai'yi kullanabilir misiniz? **
Wang Bin: Xiao Ai'ye uygulandığında, aynı anda iki şey yapabilir. Birincisi, yeni işlevlere sahip olmakla eşdeğer olan imkansızı mümkün kılmaktır. Örneğin, Xiao Ai'den bir seyahat planı yapmasını veya yemek sipariş etmesini vb. istedim. Orijinal teknik yeteneğe ulaşılmamıştır ve kullanıcı bunu başka bir şekilde ifade ederse ortalık karışacaktır. Ancak Büyük modellerin desteğiyle, karmaşık görevlerin tamamlanabilmesi için insan konuşmasına ilişkin daha derin bir anlayışa sahiptir ve bu tür bir uygulama uygulanabilir.
Başka bir kategori, pastanın üzerine krema yapmaya eşdeğer olan orijinal işlevin geliştirilmesidir. İnsan ifadelerinin sıçraması ve çeşitliliği nedeniyle, Xiaoai'nin insan-bilgisayar etkileşimi sürecinde en büyük sorun, küçük olasılıklı olaylarla karşılaşmak. t yanıtla", "Hala öğreniyorum"**. Bu tür destekleyici bir cevap da sohbeti devam ettirebilir, ancak deneyim iyi değildir. Ancak büyük model teknolojisi, diyaloğu daha uzun süre devam ettirebilir ve kullanıcı memnuniyetini büyük ölçüde artırabilir.
**Shenran: Büyük modelin akıllı ev üzerinde büyük bir etkisi var mı? **
**Wang Bin:**Kişisel anlayışıma göre, büyük model, etkileşimli yetenekler açısından en azından akıllı evin kullanıcı deneyimini iyileştirebilir.
"Akıllı" olduğunu iddia eden birçok cihaz olmasına rağmen, çoğu zaman "zihinsel engelli" gibi davranırlar ve kullanım oranı yüksek değildir. Örneğin, klimanın açılması veya klimanın sıcaklığının ayarlanması, eğer ifade standart komuttan farklı ise IoT cihazını kontrol etmek mümkün olmayabilir.
Ancak büyük modelin ortaya çıkmasından sonra, insan dilini daha derinden anlıyor.Birçok durumda çeşitli ifadeler var.Büyük model, kullanıcının ifadesini makinenin anlayabileceği talimatlara çevirebiliyor. Bu, daha fazla insanı akıllı cihazları kullanmaya yönlendirecek ve tüm ekosistemin daha hızlı büyümesini sağlayacaktır.
**Shenran: Mevcut işi geliştirmeye ek olarak, Xiaomi'nin daha önce yapamadığı, ancak büyük bir modele sahip olduktan sonra yapması mümkün olan başka şeyler var mı? **
Wang Bin: Büyük model ile bu işletmeler arasında derin bir işbirliği kuracağız. Elbette buna ek olarak daha fazla olasılık da arıyoruz.
Ekibimiz, büyük modellerin konsept ve teknoloji geliştirmesi de dahil olmak üzere, şirket içinde büyük modelleri tanıtmak ve iş sorunlarını çözmek için ChatGPT'yi nasıl kullanacaklarını herkese öğretmek için birçok makale yazdı. Bay Lei, her departmandan büyük ölçekli modelleri öğrenmesini istedi ve herkesin temel büyük ölçekli model düşüncesine sahip olmasını ve iş dünyasına nasıl entegre edileceğini düşünmesini istiyor.
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Xiaomi büyük modeli, "ChatGPT" ile meşgul olmayın
Kaynak: Shen Ran, Yazarlar: Jin Yufan, He Shulong, Editör: He Shulong
ChatGPT'nin lansmanından altı ay sonra, Pasifik Okyanusu'nun her iki yakasında büyük ölçekli bir model kovalamacası sahnelenmeye devam etti.
OpenAI, Microsoft ve Nvidia'nın oluşturduğu ittifak, Pasifik Okyanusu'nun doğu kıyısında çılgınca ilerliyor. Bu yılın Mart ayından bu yana Çinli teknoloji şirketleri acilen takip etti. Baidu, Ali, SenseTime ve iFLYTEK arka arkaya "ChatGPT benzeri" ürünleri piyasaya sürdü. Tencent, Huawei ve JD. Zaman ayrıca "on kat daha büyük" fırsatlar.
"Yüz Model Savaşı" anında büyük bir yerli teknoloji şirketi olan Xiaomi, olağanüstü sakin görünüyor.
Xiaomi başkanı Lei Jun, Xiaomi'nin bazı teknolojiler ve ürünler geliştirdiğini ve cilalandıktan sonra bunları herkese göstereceğini söyledi. Xiaomi Group başkanı Lu Weibing, Xiaomi'nin şu anda 1.200'den fazla kişiden oluşan bir AI ekibine sahip olduğunu ve büyük ölçekli modelleri aktif olarak benimseyeceğini ve bunları iş derinliği ile entegre edeceğini ancak OpenAI gibi genel amaçlı büyük ölçekli modeller yapmayacağını söyledi. .
Bu bilgiler dış dünyanın şüphelerini derinleştirdi: Xiaomi "Yüz Model Savaşına" katılacak mı?
Xiaomi Group'un Yapay Zeka Laboratuvarı yöneticisi Dr. Wang Bin, Shenran'a Xiaomi'nin kendi genel amaçlı modelini geliştireceğini, ancak yalnızca ChatGPT benzeri bir ürünü piyasaya sürmeyeceğini, "ne bir PPT yayınlayacağını ne de bir birkaç örnek, diyelim ki büyük bir modelimiz var”, ancak kendi geliştirdiğimiz büyük modeli eninde sonunda ürün ortaya çıkaracaktır.
Xiaomi'nin büyük model ekibini resmi olarak duyurmasının ardından büyük modelin rotası ve ilerleyişi ilk kez dış dünyaya açıklandı. Bu yıl 14 Nisan'da Xiaomi, büyük model ekibinin Luan Jian tarafından yönetileceğini ve Wang Bin'e rapor vereceğini duyurdu. 20 yılı aşkın süredir Çin Bilimler Akademisi'nde NLP (Doğal Dil İşleme) ile ilgili araştırma ve geliştirme yapan Wang Bin, 2018'de Xiaomi'ye katıldı ve 2019'dan beri AI laboratuvarından sorumlu. AI Lab, Xiaomi'nin AI stratejisinin temel departmanıdır.
Büyük ölçekli bir diyalog modeli yapan Xiaomi, genel amaçlı önceden eğitilmiş büyük ölçekli dil modelinde ender rastlanan bir akılcıdır. Wang Bin, şu anda 30'dan fazla tam zamanlı büyük ölçekli model ekibi olduğunu ve hemen hızla genişlemeyeceğini açıkladı; bu ekibin hedefi hala büyük ölçekli bir dil modeli ve hedef temel model parametreleridir ilk adımın tutarı on milyarlarca** olup, daha sonra önceki tırmanış sonuçlarına bağlı olarak bir sonraki adıma karar verilecektir.
"Büyük ölçekli modellerin geliştirilmesinden inişe kadar daha gidilecek çok yol var. Uygun önemli sahneler bulup bulamayacakları, birçok büyük ölçekli model şirketi için sıkıntılı bir nokta." Wang Bin'in görüşüne göre, Xiaomi'nin avantajı şu: Yeterince hazır büyük modele sahiptir.Xiao Ai, IoT, otonom sürüş, robotlar vb.
Xiaomi'nin senaryo sıkıntısı yok, ancak büyük bir modeli eğitmek için veri birikimi, bilgi işlem gücü ve yetenekler vazgeçilmezdir. Wang Bin, Xiaomi'nin belirli bir yetenek rezervine sahip olduğunu ve bilgi işlem gücü ve veri hacmi açısından zorlukların nispeten büyük olduğunu söyledi. Bir yandan bilgi işlem gücünün sistem düzeyindeki zorlukların üstesinden gelmesi ve eğitim maliyetinin kontrol edilebilir olması gerekirken, diğer yandan yüksek kaliteli verileri elde etmek ve temizlemek çok fazla zaman ve maliyet gerektiriyor.
AI büyük modellerinin yeni dalgasında, Xiaomi AI ekibi neden "ChatGPT benzeri ürünler" yayınlamıyor? Xiaomi, büyük modelin teknik rotasını ve teknik zorluğunu nasıl değerlendiriyor? Birkaç gün önce, Shenran'ın genel yayın yönetmeni He Shulong, Xiaomi Teknik Komitesi'nin Yapay Zeka Laboratuvarı yöneticisi Wang Bin ile bir diyalog kurdu. Temel içerik aşağıdadır:
Xiaomi büyük modeli: Ekipte 30 kişi, "ChatGPT benzeri" yok
**Shen Ran: 14 Nisan'da Xiaomi, Luan Jian'ı size rapor vermesi için büyük model ekibinin başına atadı. Xiaomi büyük model ekibinin nasıl doğduğunu bize anlatır mısınız? **
**Wang Bin:**Büyük model ekibi Nisan ayında duyurulmuştu, ancak bundan önce faaliyete geçmişti bile.
Geçen yıl 30 Kasım'da, OpenAI ChatGPT'yi piyasaya sürdükten sonra, bir kısmımız hızla bir hesap kaydettik ve bu hesapta oynamaya başladık. ChatGPT gerçekten yıkıcı. Yapay zeka üzerinde uzun yıllardır çalışıyoruz ve yeteneklerinin çoğu, geliştiricilerimizin beklentilerini aştı.
Kısa bir süre sonra, büyük ölçekli model teknolojisini ve bunun makine çevirisi, insan-makine diyaloğu, akıllı soru yanıtlama ve müşteri hizmetleri üzerindeki yıkıcı etkisini tartışmak için bir dizi dahili büyük ölçekli model iletişim grubu düzenledik. **İlk atölyelere katılan kişilerin çoğu daha sonra tam zamanlı maket ekibinin kilit üyeleri oldu. **
**Shen Ran: Xiaomi büyük ölçekli model ekibi biraz geç mi gelecek? **
Wang Bin: Büyük modeller için, biz rasyonel okula mensubuz.
ChatGPT'nin doğumundan önce Xiaomi, esas olarak eğitim öncesi + aşağı akış görev denetimi ve insan-makine diyaloğu için ince ayar şeklinde dahili araştırma, geliştirme ve büyük modellerin uygulanmasını gerçekleştirmişti ve modelin parametreleri şu şekildeydi: milyarlarca. Elbette bu tip model, şimdiki adıyla genel amaçlı büyük ölçekli bir model değil.
Genel büyük modelin geliştirilmesi ve uygulanmasının zaman meselesi değil, uzun vadeli bir çalışma olduğu konusunda çok netiz. Biz kendi zaman planımıza ve adımlarımıza göre yürüyorduk.O zamanlar sürenin dolduğunu hissettik ve takım çıkışı yaptık.
**Shen Ran: Büyük model ekibinde kaç kişi var? Genişlemeye devam etme planları var mı? **
**Wang Bin:**Ana ekipte şu anda 30'dan fazla kişi var. Şu anda yetenekler, veriler, modeller, bilgi işlem gücü, değerlendirme ve ürünler açısından hazırlanıyoruz ve ardından kademeli olarak ayarlıyoruz veya belirli bir aşamadan sonra genişletiyoruz.
Bir kerede 100 kişiyi işe almak gibi hemen kişi sayısını artırmayacağız. Çünkü kapasite biriktirmenin tırmanma aşamasında, bu kadar çok insanı işe almak nasıl düzenleneceğini bilemeyebilir ama bu bir israftır.
Büyük modeller hakkındaki bilgilerin sürekli açıklanması ve sürekli sermaye ve yetenek akışı ile büyük modeller alanı çok hızlı gelişti ve herkesin görüşleri büyük ölçüde değişti. Kısa süre önce ChatGPT ilk çıktığında, herkes benzer bir büyük ölçekli modeli gerçekleştirmenin temelde imkansız olduğunu hissetti, ancak yavaş yavaş birçok kişi olasılığın çok yüksek olduğunu hissetti ve bazı insanlar bu olmadan birçok ürünün tatmin edilebileceğine inandı. büyük ölçekli bir model. talep. Herkesin yatırım yoğunluğu da çok farklı. Bazıları ekibin en az birkaç yüz kişiye ihtiyacı olduğunu düşünürken, bazıları da buna gerek olmadığını düşünebilir.
**Shenran: Gelecek için herhangi bir aşamalı plan var mı, ne zaman dahili olarak test edilecek ve harici olarak yayınlanacak? **
Wang Bin: Diğer şirketlerden farklı olarak Xiaomi, ürünlerin özellikleriyle doğuyor. Xiaomi'nin büyük modeli çıktığında ürünün öne çıktığına inanıyorum.
Q3'ten önce dahili olarak test edebiliriz. Ancak bu kaçınılmaz bir düğüm değildir.
**Shen Ran: Başka bir deyişle, Xiaomi ChatGPT benzeri bir ürün çıkarmayacak mı? **
Wang Bin: Evet, bir PPT yayınlamayacağız veya büyük bir modelimiz olduğunu göstermeyeceğiz. Zengin uygulama senaryoları en büyük avantajımızdır. **Büyük Xiaomi modeli sahne ile daha yakından entegre olacak ve ilgili sürüm planı ürünün ritmi etrafında yapılmalıdır. **
**Shenran: İnsan gücüne ek olarak, Xiaomi'nin büyük bir model yapması için bilgi işlem gücünün maliyeti nedir? **
Wang Bin: Biz orta ölçekli bir yatırımız ve yatırımın bir sonraki adımına önceki tırmanışın sonuçlarına göre karar vereceğiz.
Temel yargımız, Xiaomi ürünleri ve işletmeleri için uygun modelin on milyarlarca**, yani 100 milyar ölçeğinden daha düşük parametrelere sahip olabileceği ve eğitim makinelerine yapılan yatırımın yaklaşık on milyonlarca RMB olduğu yönündedir.
**Shen Ran: Daha önce Xiaomi tarafından yapılan milyarlarca parametreli model nasıldı? **
**Wang Bin: **Geçen yıl piyasaya sürülen ChatGPT, genel amaçlı önceden eğitilmiş dil büyük modeli olarak adlandırılan bir tür büyük ölçekli modeldir. Ancak büyük modelin kendisi çok erken ortaya çıktı ve herkesin farklı yolları ve yöntemleri var.
Büyük modeli daha önce takip etmeye başladık, o zamanlar yaklaşık 2,8 milyar ila 3 milyar parametreli diyaloğa özgü bir model yaptık. Önceden eğitilmiş temel model temelinde diyalog verilerinin ince ayarlanmasıyla gerçekleştirilir.Mevcut genel amaçlı büyük model değildir, ancak insan-makine diyaloğuna adanmıştır.Sex, bırakın devam etsin. Daha sonra bu model Xiaoai'ye lanse edildi ve küçük ölçekli bir çevrimiçi test gerçekleştirildi.
Bu nedenle AIGC, Xiao Ai'de zaten kullanılıyor, ancak ürün düzeyinde bu büyük modeli tamamen kullanmıyoruz, ikisini birlikte kullanmak için geleneksel model ile büyük diyalog modelinin tamamlayıcılığını kullanıyoruz.
Xiaomi'nin genel amaçlı büyük modeli, üründe kullanıma sunulduğunda muhtemelen bu hibrit model olacaktır. Geleneksel modelin çok iyi ele aldığı problemler, geleneksel modele aktarılır. Büyük model, bazı küçük olasılık olayları veya uzun kuyruklu diyaloglar gibi iyi olduğu sorunları çözer.
Şimdi ortaya çıkan genel amaçlı büyük modelin diyalog seviyesi, önceki diyaloğa özgü büyük modele göre önemli ölçüde yüksek, bu nedenle ekibin bu kısmı da genel amaçlı büyük modele aktarıldı. Bu ekip, büyük diyalog modelinin tüm eğitim sürecinden geçti, bazı çukurları aştı ve veri birikimi ile belirli avantajlar elde etti.
Darı büyük model: sahne baskın ve veriler sorunlu
**Shenran: Bu süre zarfında teknolojik ilerleme çok hızlı oldu ve yerli büyük ölçekli modeller yoğun bir şekilde piyasaya sürülüyor. Yavaş ilerleme nedeniyle endişelenecek misiniz? **
Wang Bin: Bir süredir oldukça endişeliydim, çünkü sonunda bunu sürekli yapmazsam biraz paniğe kapılırdım ve siz de "Başkaları nasıl bu kadar hızlı ilerleyebilir ve hepsini bir kerede mi yapacaksın?” Şimdi aşağı inip yapmaya başlıyoruz.
Çin'in artık bir "yüz model savaşı" olduğu ve 80'den fazla büyük modelin piyasaya sürüldüğü söyleniyor, bunların bir kısmı dahili test sağlıyor, bir kısmı ise sadece PPT tarafından piyasaya sürülüyor. Bazı modellerin etkisi hala iyi.Sürüm seviyesine bakılırsa, kendi geliştirdiğimiz mevcut büyük modellerimizin seviyesi birçok modelden daha kötü görünmüyor. Ancak harici bir yayın yapmak için acelemiz yok. İlk olarak, Xiaomi gibi bir şirket için pek mantıklı değil. İkinci olarak, kendi geliştirdiğimiz modeli ürün etrafında daha iyi hale getirmeyi ve ardından birlikte piyasaya sürmeyi umuyoruz.
**Shenran: Sizce yerli şirketlerin büyük modellerinin OpenAI'yi yakalama şansı var mı? Boşluk ne kadar büyük? Tanımlamak için üç ay, altı ay kullanmayı severler. **
Wang Bin: Şu anda OpenAI çok gelişmiş olmalı. Erken yatırım yaptı ve yetenekler, veriler, bilgi işlem gücü, mühendislik ve ürünler konusunda çok güçlü bir birikime sahip. Yurtiçi durumdan, OpenAI ve OpenAI arasında hala belirli bir boşluk olduğunu hissediyorum.Bazı insanlar bunun üç ay veya altı ay olduğunu söylerken, diğerleri bir yıl veya iki yıl olduğunu söylüyor. Zaman açısından söylemek zor.
Çünkü büyük bir modelin nasıl değerlendirileceği başlı başına çok zor bir problemdir. Şimdi çeşitli büyük modellerin sıralamaları var, ancak hiçbiri herkes tarafından oybirliğiyle tanınmadı. **Gerçek bir değerlendirme standardı yoktur, bu nedenle üç ay veya altı ay içinde arayı kapatmaktan bahsetmek sadece suratınıza bir tokattır. **
Çin'in OpenAI'yi yakalamasının mümkün olup olmadığı konusunda, ilk günlerde karamsardım ve bunun neredeyse imkansız olduğunu düşündüm, ancak çeşitli açık kaynak çözümlerinin, çeşitli ekiplerin ve sermayenin akışıyla, yargım daha iyimser. Çin'in OpenAI ile mesafesini daraltma, ona yaklaşma ve hatta birçok senaryoda onu geçme fırsatı olduğunu düşünüyorum.
**Büyük modellerin çipler için bu kadar yüksek bir eşiği yok gibi görünüyor. Yeteneklerin, verilerin, bilgi işlem gücünün vb. sürekli olarak biriktirilmesi ve optimizasyonu yoluyla, boşluğu sürekli olarak daraltmak mümkündür. **
**Shenran: Büyük ölçekli modellerde hangi tür yerli şirketlerin daha fazla avantajı var? Xiaomi için fırsat nerede? **
Wang Bin: Büyük şirketler veya küçük ve orta ölçekli yeni şirketler fark etmeksizin her birinin kendi yaşam alanı vardır. Büyük model bir ekolojidir ve tek bir büyük model hepsini kaldıramaz.Ekolojideki bilgi işlem gücü, veriler, uygulamalar ve gerçekten büyük modeller yapan şirketler dahil tüm şirketlerin kendi fırsatları vardır.
Xiaomi gibi büyük ölçekli modeller, uygulama senaryolarının avantajına sahiptir. Büyük modeller ve sahnelerin birleşiminin çok büyük bir fırsat olacağına inanıyoruz.
Çünkü büyük bir modeli öylece bırakırsanız ve kimse kullanmazsa, yuvarlanma yoluyla hızlı bir şekilde gelişemeyebilir. Ve hemen sahneye inebiliriz ve sürekli yineleme yoluyla, bu sahnelerde büyük modelin gücünü tam anlamıyla kullanabiliriz.
Şu anda sadece 30'dan fazla kişiden oluşan bir ana ekibi entegre etmemize rağmen, aslında çevrede çok sayıda insan var. Yapay zeka laboratuvarının tamamında, NLP geçmişi olan ve bilgi grafiği, makine çevirisi, insan-makine diyaloğu, akıllı müşteri hizmetleri ve akıllı soru yanıtlama dahil olmak üzere belirli uygulamalar yapan 100'den fazla kişi var. Hepsi, büyük modeller ve ilgili teknolojiler hakkında temel düşünceye sahip kişilerdir ve büyük modellerin kendi uygulamalarının perspektifinden keşfedilmesini teşvik etmektedirler.
**Shen Ran: Xiaomi'nin NLP araştırmasındaki birikimi büyük modeller için ne kadar değerli? **
Wang Bin: Sektörde iki görüş var. Söylemenin bir yolu, bizlerin işi olmayabilir ve yapay zeka bizi öldürdü, özellikle NLP yapanların işi olmayabilir. Ne de olsa büyük modelin NLP'den yapıldığı ve NLP yapanların doğasında var olan avantajları olduğu şeklinde bir söz de vardır.
Bu iki ifadenin de doğruluk payı var ama sonuçta bu benim işimle ilgili, ben ikinci ifadeye daha yatkınım.
Büyük modeller başlangıçta görme, konuşma ve NLP dahil olmak üzere çeşitli alanlarda araştırıldı. Ama neden NLP alanında ilk atılım, bunun temel nedenleri olduğuna inanıyorum. En az iki noktayı anlıyorum: Birincisi, dil verilerinin zenginliği ve kolay ulaşılabilirliği, ikincisi ise dil verilerinin ardında gizlenmiş, insanın düşünme sürecini yansıtan çok zengin bir bilgi var.
Bu yüzden NLP alanında uzun yıllar birikim yapmış insanların büyük modelleri anlama ve dönüştürme konusunda doğuştan gelen bazı avantajları olduğuna inanıyorum. Xiaomi'nin büyük ölçekli model ekibinin birçok üyesi başlangıçta NLP yönünde çalıştı. Çin'de büyük ölçekli modeller yapmakta çok iyi olan birkaç yeni şirket de NLP alanından çıktı.
**Shen Ran: Xiaomi'nin büyük modelin üstesinden gelmesindeki mevcut zorluklar nelerdir? Nasıl üstesinden gelinir? **
**Wang Bin:**Öncelikle, büyük modelin kendisinin çok büyük zorluklara sahip olduğunu söylemek istiyorum.
Büyük bir zorluk, teknolojinin belirsizliğidir. Bazı raporlar gördük ve OpenAI ekibi bile büyük modelin arkasındaki gerçek ilkeler konusunda çok net değiller ve bunu tekrar yaparlarsa, aynı "acil" sonuçların gerçekleşip gerçekleşmeyeceğinden emin değiller. OpenAI'nin bu noktada doğru söylediğine inanıyorum.Teknolojideki büyük belirsizlik nedeniyle yatırım, beklentileri karşılayan büyük bir modelin eğitilebileceğini garanti edemez.
Yüksek kaliteli verilerin toplanması da bir zorluktur. Genellikle büyük modellerin son derece büyük ve yüksek kaliteli eğitim verileri gerektirdiğine inanılmaktadır. İnternette herkese açık olarak bulunan verilerin kalitesi genel olarak nispeten düşüktür, bu nedenle ** verilerin elde edilmesi ve temizlenmesi nispeten büyük zorluklardır. **
Diğer bir zorluk da elbette bilgi işlem gücü. Her şeyden önce, bu, eğitilebilecek çok fazla kart olduğu anlamına gelmez.Bu kartların nasıl iyi bir şekilde kullanılacağı, başlı başına sistem düzeyinde bir zorluktur. İkincisi, eğitim sürecinde hatalar yapılabileceğinden, para yakılabilir ve hiçbir şey yakılamaz, bu nedenle, büyük bir modeli kontrol edilebilir bir maliyetle eğitme becerinizin olup olmadığına bağlıdır.
Pratik olarak, ** veri ve bilgi işlem gücünün mevcut zorlukları, özellikle büyük ölçekli yüksek kaliteli veriler ** için hala nispeten büyüktür. Önceki tırmanış döneminden sonra, veriler yerinde olduğu ve mevcut hesaplama gücünü kullandığı sürece, iyi bir temel modeli eğitmenin kaç gün süreceğini muhtemelen bilebileceğimizden artık temelde eminiz.
**Shenran: Büyük model eğitiminin maliyeti şimdi düşürüldü mü? **
Wang Bin: Bir yandan, deneme yanılma maliyeti eskisinden daha düşük. Çünkü büyük model eğitimi sapmalar gösterebilir ve başarısız olabilir, ancak çeşitli bilgilerin ifşa edilmesiyle eğitimin doğru yönünü hızlı bir şekilde bulmak mümkündür. Öte yandan, birçok bulut bilişim, çip ve diğer şirketlerin yanı sıra birçok start-up şirket, daha düşük maliyetli büyük model eğitim ve çıkarım hizmetleri sağlıyor. Tüm ekolojinin daha da gelişmesiyle, eğitim maliyetinin düşmeye devam edeceğine inanıyorum.
Büyük model Xiaomi'nin işini nasıl etkiler?
**Shen Ran: Sorumlu olduğunuz Xiaomi AI Lab'ı detaylı olarak tanıtır mısınız? **
Wang Bin: 2016'da "AlphaGo"nun doğumundan sonra, Bay Lei hemen yapay zeka ekibinin kurulmasını destekledi. AI Lab resmi olarak 2016 yılında kuruldu ve 2019'dan beri görevdeyim.
AI Lab'ın Yapay Zeka Bakanlığı'nın bir parçası olduğu ortaya çıktı. Daha sonra Yapay Zeka Departmanı, Grup Teknik Komitesi ile birleştirildi ve şimdi AI Laboratuvarı doğrudan Teknik Komite'nin altında.
AI Lab'in mevcut ekip büyüklüğü yaklaşık 350 kişidir ve makine öğrenimi, doğal dil işleme (NLP), bilgisayarla görme, akustik, konuşma ve bilgi grafikleri olmak üzere altı yönü vardır.
Büyük model çıktıktan sonra, AI Lab tam zamanlı bir büyük model ekibi kurdu.Şimdi dil büyük modeline odaklanıyoruz, ancak aynı zamanda modlar arası büyük modele de dikkat ediyoruz.
**Shen Ran: Bay Lu (Xiaomi Group Lu Weibing Başkanı), Xiaomi AI ekibinin şu anda 1.200'den fazla kişiye sahip olduğunu söyledi. AI laboratuvarına ek olarak, Xiaomi içindeki diğer hangi departmanlar AI ile güçlü bir şekilde ilişkilidir? **
**Wang Bin:**AI laboratuvarına ek olarak, her ikisi de teknik komiteye bağlı olan Xiao Ai'nin ekibi de var.
Teknik komiteye ek olarak, otomotiv departmanının otopilot departmanı, cep telefonunun kamera departmanı ve yazılım departmanı dahil olmak üzere nispeten büyük yapay zeka ekiplerine sahip birçok departman bulunmaktadır. İnternet iş departmanının tümü yapay zeka ile ilgilidir.
Kısacası AI ile ilgili bazı ekipler iş bölümünde, bazıları teknik komitede.Toplam sayı yaklaşık 1.200, Bazı küçük ekipleri düşünürseniz, kişisel olarak bu sayının daha da büyük olduğunu düşünüyorum.
**Shen Ran: Xiaomi AI Lab'ın Xiaomi'nin AI stratejisindeki rolü nedir? **
**Wang Bin:**AI Lab, AI teknolojisinin grup düzeyinde araştırma, geliştirme ve çıktı departmanıdır. Layman açısından, AI teknolojisini tüm şirkete ihraç ediyoruz.
Bir zamanlar yapay zeka laboratuvarını, grup düzeyinde yapay zeka teknolojisinin "deneysel alanı" ve "mühimmat deposu" ile karşılaştırmıştık. AI'nın hızlı gelişimi nedeniyle, AI laboratuvarı bazı orta ve uzun vadeli son teknolojiler geliştirecek, Xiaomi'nin işi etrafında rezervler oluşturacak ve grubun ihtiyacı olduğunda "mühimmat" üretecek.
AI teknolojisi açısından, şirketteki en eksiksiz rezervlere sahip olmalıyız ve ayrıca sektörde çok güçlüyüz.
**Shen Ran: Xiaomi AI Lab'in önemli araştırma başarıları nelerdir? **
Wang Bin: AI laboratuvarımızın konsepti, teknoloji ve senaryoların birleşimini vurgulamaktadır. Şu anda yayınlanan makaleler OKR olarak kabul edilmemektedir. Bu nedenle, Çin Bilimler Akademisi'nden (Çin Bilimler Akademisi) Xiaomi'ye geldikten sonra, en büyük başarının teknolojinin tek bir noktasında ilerleme değil, teknoloji ve ürünlerin ustaca entegrasyonu olduğunu hissediyorum.
Xiaomi bir To C şirketidir.Yapay zeka yeteneği çıktımız şimdilik doğrudan dış dünyaya değil, şirketin ürünleri aracılığıyla ihraç edilmektedir. Xiaomi cep telefonlarında birçok kamera ve fotoğraf albümü işleme algoritması, Xiao Ai'de yer alan ses ve NLP algoritmaları ve Xiaomi Alışveriş Merkezi'nin öneri, arama ve müşteri hizmetleri sistemlerinde AI algoritmaları dahil olmak üzere birçok başarıya imza attık.
Size bir örnek vereyim.Cep telefonumuzda çevrimdışı çeviri işlevi geliştirdik.Örneğin yurt dışına çıktıktan sonra ağ çoğu durumda pek iyi değil.Şu anda Xiaomi cep telefonunun çeviri işlevini açın bulutu kullanmadan Çevrimdışı durumda, gerçek zamanlı, gizlilik ve çeviri etkisi daha iyidir. Bu fonksiyonun uygulanması ve uygulanması kolay değildir.Çeviri efektleri ve performansı üzerinde birçok optimizasyon çalışması yaptık.
**Xiaomi'de ilk olarak kendi teknolojimiz kullanılacak değildir. Dahili teknoloji de harici teknoloji ile adil bir şekilde rekabet etmelidir. Yalnızca kazanan hayatta kalabilir ve ürünlere uygulanabilir. **
**Wang Bin:**Basit bir ifadeyle büyük modelin en güçlü yeteneği, insanları daha iyi anlaması ve insan-bilgisayar etkileşimini açıkça optimize edebilmesidir. Xiaomi'nin Xiao Ai sınıf arkadaşı, cep telefonu işletim sistemi MIUI, araba kokpiti, IoT ve robotlar, büyük modellerin uygulandığı tipik senaryolardır.
**Shen Ran: Örnek olarak Xiao Ai'yi kullanabilir misiniz? **
Wang Bin: Xiao Ai'ye uygulandığında, aynı anda iki şey yapabilir. Birincisi, yeni işlevlere sahip olmakla eşdeğer olan imkansızı mümkün kılmaktır. Örneğin, Xiao Ai'den bir seyahat planı yapmasını veya yemek sipariş etmesini vb. istedim. Orijinal teknik yeteneğe ulaşılmamıştır ve kullanıcı bunu başka bir şekilde ifade ederse ortalık karışacaktır. Ancak Büyük modellerin desteğiyle, karmaşık görevlerin tamamlanabilmesi için insan konuşmasına ilişkin daha derin bir anlayışa sahiptir ve bu tür bir uygulama uygulanabilir.
Başka bir kategori, pastanın üzerine krema yapmaya eşdeğer olan orijinal işlevin geliştirilmesidir. İnsan ifadelerinin sıçraması ve çeşitliliği nedeniyle, Xiaoai'nin insan-bilgisayar etkileşimi sürecinde en büyük sorun, küçük olasılıklı olaylarla karşılaşmak. t yanıtla", "Hala öğreniyorum"**. Bu tür destekleyici bir cevap da sohbeti devam ettirebilir, ancak deneyim iyi değildir. Ancak büyük model teknolojisi, diyaloğu daha uzun süre devam ettirebilir ve kullanıcı memnuniyetini büyük ölçüde artırabilir.
**Shenran: Büyük modelin akıllı ev üzerinde büyük bir etkisi var mı? **
**Wang Bin:**Kişisel anlayışıma göre, büyük model, etkileşimli yetenekler açısından en azından akıllı evin kullanıcı deneyimini iyileştirebilir.
"Akıllı" olduğunu iddia eden birçok cihaz olmasına rağmen, çoğu zaman "zihinsel engelli" gibi davranırlar ve kullanım oranı yüksek değildir. Örneğin, klimanın açılması veya klimanın sıcaklığının ayarlanması, eğer ifade standart komuttan farklı ise IoT cihazını kontrol etmek mümkün olmayabilir.
Ancak büyük modelin ortaya çıkmasından sonra, insan dilini daha derinden anlıyor.Birçok durumda çeşitli ifadeler var.Büyük model, kullanıcının ifadesini makinenin anlayabileceği talimatlara çevirebiliyor. Bu, daha fazla insanı akıllı cihazları kullanmaya yönlendirecek ve tüm ekosistemin daha hızlı büyümesini sağlayacaktır.
**Shenran: Mevcut işi geliştirmeye ek olarak, Xiaomi'nin daha önce yapamadığı, ancak büyük bir modele sahip olduktan sonra yapması mümkün olan başka şeyler var mı? **
Wang Bin: Büyük model ile bu işletmeler arasında derin bir işbirliği kuracağız. Elbette buna ek olarak daha fazla olasılık da arıyoruz.
Ekibimiz, büyük modellerin konsept ve teknoloji geliştirmesi de dahil olmak üzere, şirket içinde büyük modelleri tanıtmak ve iş sorunlarını çözmek için ChatGPT'yi nasıl kullanacaklarını herkese öğretmek için birçok makale yazdı. Bay Lei, her departmandan büyük ölçekli modelleri öğrenmesini istedi ve herkesin temel büyük ölçekli model düşüncesine sahip olmasını ve iş dünyasına nasıl entegre edileceğini düşünmesini istiyor.