Tüm dünya bilgi işlem gücü için mücadele ediyor ve büyük Çinli şirketler daha acil.
2022'nin ikinci yarısında, üretken yapay zeka patlama yaşarken, Silikon Vadisi'ndeki ünlü bir girişim sermayesi olan a16z, düzinelerce yapay zeka girişimini ve büyük teknoloji şirketini ziyaret etti. Başlangıçların, kendi modellerini eğitmek için erken finansman fonlarının %80-90'ını bulut bilişim platformlarına verdiğini gördüler. Bu şirketlerin ürünleri olgunlaşsa bile her yıl gelirlerinin %10-%20'sini bulut bilişim şirketlerine vermek zorunda olduklarını tahmin ediyorlar. Bir "AI vergisine" eşdeğerdir.
Bu, bulutta model yetenekleri ve eğitim hizmetleri sağlamak ve bilgi işlem gücünü diğer müşterilere ve yeni girişimlere kiralamak için büyük bir pazar yarattı. Yalnızca Çin'de, en az düzinelerce başlangıç şirketi ve küçük ve orta ölçekli şirket kendi karmaşık büyük dil modellerini oluşturuyor ve hepsinin bulut bilgi işlem platformlarından GPU kiralaması gerekiyor. a16z'nin hesaplamalarına göre, bir şirketin yıllık yapay zeka bilgi işlem harcaması, toplu GPU satın alımını desteklemek için yeterli ölçeğe sahip olmadan önce yalnızca 50 milyon ABD dolarını aşıyor.
"LatePost"a göre, bu yılki Bahar Şenliği'nden sonra, Çin'deki bulut bilişim hizmetlerine sahip tüm büyük İnternet şirketleri Nvidia'dan büyük siparişler verdi. Byte, bu yıl Nvidia'dan 1 milyar dolardan fazla GPU sipariş etti ve başka bir büyük şirket en az 1 milyar yuan'dan fazla sipariş verdi.
Yalnızca Byte, bu yıl Nvidia'nın geçen yıl Çin'de sattığı toplam ticari GPU sayısına yakın siparişler vermiş olabilir. Geçen yıl Eylül ayında, ABD hükümeti A100 ve H100 (NVIDIA'nın en yeni iki nesil veri merkezi ticari GPU'su) ihracatına kısıtlamalar getirdiğinde, Nvidia bunun Çin pazarındaki 400 milyon ABD Dolarını (yaklaşık 2,8 milyar yuan) etkileyebileceğini söyledi. geçen yılın dördüncü çeyreğinde. RMB) potansiyel satışlar. Bu hesaplamaya göre, 2022'de Çin'deki Nvidia veri merkezi GPU'larının satışı yaklaşık 10 milyar yuan olacak.
Denizaşırı devlerle karşılaştırıldığında, Çin'in büyük teknoloji şirketleri GPU satın alma konusunda daha acil. Son iki yıldaki maliyet düşürme ve verimlilik artışında bazı bulut bilişim platformları GPU alımlarını azaltmış ve rezervleri yetersiz kalmıştır. Ayrıca, bugün satın alınabilen yüksek performanslı GPU'nun yarın yeni kısıtlamalara tabi olacağını kimse garanti edemez.
Dahili hareket ederken siparişleri kesmekten satın almaları eklemeye kadar
Bu yılın başından önce, Çin'in büyük teknoloji şirketlerinin GPU'lara olan talebi cansızdı.
GPU'ların Çin'in büyük İnternet teknolojisi şirketlerinde iki ana kullanım alanı vardır: biri, işletmeleri dahili olarak desteklemek ve son teknoloji AI araştırmaları yapmak, diğeri ise GPU'ları bulut bilgi işlem platformlarında satmaktır.
Byte'tan bir kişi "LatePost"a, OpenAI'nin Haziran 2020'de GPT-3'ü piyasaya sürmesinden sonra, Byte'ın milyarlarca parametreyle büyük bir üretken dil modeli eğittiğini söyledi. O zamanlar, ağırlıklı olarak kullanılan GPU, A100.V100'ün öncülüydü. Sınırlı parametre ölçeği nedeniyle, bu modelin üretim yeteneği ortalamadır ve Byte o sırada ticarileştirme olasılığını görememiştir, "ROI (yatırım getirisi) hesaplanamaz", bu sefer girişim boşunaydı. .
Ali ayrıca 2018-2019'da aktif olarak GPU satın aldı. Bir Alibaba bulut kaynağına göre, Ali'nin o zamanki satın alımları en az on binlerce yuan'a ulaştı ve satın alınan modeller çoğunlukla Nvidia tarafından daha önce piyasaya sürülen V100 ve T4 idi. Ancak, bu GPU'ların yalnızca yaklaşık onda biri yapay zeka teknolojisi araştırma ve geliştirme için DAMO Academy'ye verildi. 2021'de trilyon parametreli büyük model M6'nın piyasaya sürülmesinin ardından Dharma Academy, M6'yı eğitmek için 480 V100 kullanıldığını açıkladı.
O dönemde Alibaba tarafından satın alınan GPU'ların çoğu, harici kiralama için Alibaba Cloud'a verildi. Ancak aralarında Alibaba Cloud'un da bulunduğu bir grup Çinli bulut bilişim şirketi, Çin pazarındaki yapay zeka talebini abarttı. Bir teknoloji yatırımcısı, büyük ölçekli modellerin yükselişinden önce, önde gelen yerel bulut satıcılarının GPU bilgi işlem gücünün yetersiz olmadığını, ancak satış konusunda endişeli olduğunu ve bulut satıcılarının kaynakları satmak için fiyatları düşürmek zorunda kaldığını söyledi. Geçen yıl, Alibaba Cloud fiyatları altı kez düşürdü ve GPU kiralama fiyatları %20'den fazla düştü.
Maliyetleri düşürme ve verimliliği artırma ve "kaliteli büyüme" ve kâr peşinde koşma bağlamında, Ali'nin 2020'den sonra GPU tedarik ölçeğini azalttığı ve Tencent'in de geçen yılın sonunda tek bir Nvidia GPU grubunu kestiği anlaşılıyor. .
Ancak çok geçmeden, 2022'nin başında, ChatGPT herkesin görüşlerini değiştirdi ve kısa sürede bir fikir birliğine varıldı: büyük bir model, kaçırılmaması gereken büyük bir fırsat.
Her şirketin kurucusu, büyük modelin gelişimine bizzat yakından ilgi gösterdi: ByteDance'in kurucusu Zhang Yiming, yapay zeka belgelerini okumaya başladı; Alibaba'nın yönetim kurulu başkanı Zhang Yong, Alibaba Cloud'u devraldı ve Alibaba'nın büyük modelinin ilerleyişini Alibaba Bulut Zirvesi'nde duyurdu. , yazılım ve hizmetlerin tümü, büyük modelin yeteneklerine dayalı olarak yeniden yapılmaya değer."
Byte'tan bir kişi eskiden Byte bünyesindeki GPU'ların satın alınması için başvururken girdi-çıktı oranını, iş önceliğini ve önemini açıklamak gerektiğini söylemişti. Ancak artık büyük ölçekli model işi, şirketin stratejik düzeyinde yeni bir iştir ve yatırım getirisi şu an için hesaplanamaz ve yatırım yapılması gerekir.
Kendi genel amaçlı büyük ölçekli modellerini geliştirmek yalnızca ilk adımdır. Her şirketin daha büyük hedefi, büyük ölçekli model yetenekleri sağlayan bulut hizmetlerini başlatmaktır. Bu, yatırımı karşılayabilecek gerçekten büyük bir pazardır.
Microsoft'un bulut hizmeti Azure, Çin'in bulut bilişim pazarında güçlü bir mevcudiyete sahip değil, on yıldır Çin'deki çok uluslu şirketlerin Çin işine hizmet ediyor. Ancak OpenAI ticarileştirmesi için tek bulut aracısı olduğu için müşteriler artık sırada beklemek zorunda.
Ali, Nisan ayındaki bulut zirvesinde, MaaS'ın (Model as a Service) bulut bilişimin gelecekteki trendi olduğunu bir kez daha vurguladı.Açık ve kendi geliştirdiği genel temel model "Tongyi Qianwen" testine ek olarak, bir dizi de yayınladı. bulutta müşterilere yardım etme. Büyük modelleri eğitmek ve kullanmak için araçlar. Kısa bir süre sonra Tencent ve Byte Volcano Engine, eğitim kümesi hizmetlerinin kendi yeni sürümlerini de yayınladı. Tencent, trilyonlarca parametreye sahip büyük bir modeli eğitmek için yeni nesil kümeler kullanarak sürenin 4 güne sıkıştırılabileceğini söyledi; Byte, yeni kümelerinin Wanka düzeyinde büyük ölçekli model eğitimini desteklediğini söyledi. Çin'deki şirketlerin çoğu zaten volkan motorunu kullanıyor.
Tüm bu platformlar, ya Nvidia A100 ve H100 GPU'ları ya da Nvidia'nın geçen yılki yasaktan sonra özel olarak piyasaya sürdüğü A800 ve H800'ün azaltılmış sürümlerini kullanıyor.Bu iki işlemcinin bant genişliği, orijinal sürümün yaklaşık 3/4'ü ve yaklaşık yarısı kadar, yüksek Sınırlandırma kriterlerinden kaçınıyor. performans GPU'ları için.
H800 ve A800 civarında, Çin'in önde gelen teknoloji şirketleri yeni bir sipariş rekabeti başlattı.
Bir bulut üreticisinden bir kişi, Byte ve Ali gibi büyük şirketlerin satın alma için çoğunlukla doğrudan Nvidia'nın orijinal fabrikasıyla pazarlık yaptığını ve aracıların ve ikinci el pazarlarının bu devasa ihtiyaçlarını karşılamanın zor olduğunu söyledi.
Nvidia, liste fiyatına ve satın alma ölçeğine göre bir indirim pazarlığı yapacak. Nvidia'nın resmi internet sitesine göre, A100'ün fiyatı adet başına 10.000 ABD Doları (yaklaşık 71.000 yuan), H100'ün fiyatı ise parça başına 36.000 ABD Doları (yaklaşık 257.000 yuan) olup, A800 ve H800'ün fiyatının biraz daha düşük olduğu anlaşılmaktadır. orijinal sürümden daha. .
Çinli bir şirketin bir kartı alıp alamayacağı, geçmişte Nvidia'nın önemli bir müşterisi olup olmadığı gibi iş ilişkilerine bağlıdır. Bir bulut satıcısından bir kişi, "Çin'de Nvidia ile görüşmeniz veya Lao Huang (Huang Renxun, Nvidia'nın CEO'su Huang Renxun) ile doğrudan görüşmek için Amerika Birleşik Devletleri'ne gitmeniz fark yaratır." dedi.
Bazı şirketler ayrıca Nvidia ile "ticari iş birliği" yürüteceklerdir.Popüler veri merkezi GPU'ları satın alırken, öncelikli tedarik için başka ürünler de satın alırlar. Bu Hermès dağıtımına benzer.Popüler bir çanta satın almak istiyorsanız, onu genellikle onbinlerce yuan değerindeki kıyafet ve ayakkabılarla eşleştirmeniz gerekir.
Edindiğimiz sektör bilgilerine göre, Byte'ın bu yılki yeni siparişleri nispeten agresif ve 1 milyar dolar seviyesini aşıyor.
Nvidia'ya yakın bir kişiye göre gelen ve gelmeyen toplam 100.000 adet A100 ve H800 var. Bunlardan H800, bu yıl sadece Mart ayında üretime başladı ve çiplerin bu kısmının bu yılki ek alımlardan gelmesi gerekiyor. Mevcut üretim programı ile bazı H800'lerin bu yıl sonuna kadar teslim edilmeyeceği anlaşılmaktadır.
ByteDance, 2017 yılında kendi veri merkezini oluşturmaya başladı. Veri merkezleri, tüm hesaplamalar için CPU'lara daha fazla güveniyordu. 2020 yılına kadar Byte, Intel CPU'lara Nvidia GPU'lardan daha fazla harcadı. Bayt alımlarındaki değişiklikler, günümüzde büyük teknoloji şirketlerinin bilgi işlem gereksinimlerinde akıllı bilgi işlemin genel bilgi işlemi yakaladığını da yansıtıyor.
Büyük bir internet şirketinin bu yıl Nvidia'ya katalog fiyatına göre tahmini değeri 1 milyar yuan'ın üzerinde olan en az 10.000'lik sipariş verdiği anlaşılıyor.
Tencent, H800'ü kullandığını duyurmada başı çekti.Tencent Cloud, bu yılın Mart ayında piyasaya sürülen yüksek performanslı bilgi işlem hizmetlerinin yeni sürümünde, bunun ilk yerli lansman olduğunu söyleyerek H800'ü zaten kullandı. Şu anda bu hizmet, çoğu Çinli şirketin ilerlemesinden daha hızlı olan uygulamaları test etmek için kurumsal müşterilere açıldı.
Alibaba Cloud'un da bu yılın Mayıs ayında dahili olarak "Akıllı Bilgi İşlem Savaşı"nı bu yılın bir numaralı savaşı olarak kabul etmeyi teklif ettiği ve makine ölçeği, müşteri ölçeği ve gelir ölçeği olmak üzere üç hedef belirlediği anlaşılıyor; bunların arasında önemli gösterge makine ölçeği GPU sayısıdır.
Yeni GPU'nun gelişinden önce şirketler, büyük modellerin geliştirilmesini desteklemeye öncelik vermek için şirket içinde de hamleler yapıyor.
Bir kerede daha fazla kaynağı serbest bırakmanın yolu, bazı daha az önemli yönleri veya kısa vadede net bir beklentinin olmadığı yönleri kesmektir. Büyük bir İnternet şirketinde çalışan bir yapay zeka uygulayıcısı, "Büyük şirketlerin, kaynakları işgal eden pek çok yarı ölü işletmesi var" dedi.
Bu yılın Mayıs ayında, Ali Dharma Enstitüsü otonom sürüş laboratuvarını kaldırdı: 300'den fazla çalışanın yaklaşık 1/3'ü çaylak teknik ekibe atandı ve geri kalanlar işten çıkarıldı Dharma Institute artık otonom sürüş işini elinde tutmuyor. Otonom sürüşün geliştirilmesi, eğitim için yüksek performanslı GPU'lar da gerektirir. Bu ayarlama doğrudan büyük modelle ilgili olmayabilir, ancak Ali'nin bir grup "ücretsiz GPU" almasına izin verdi.
Byte ve Meituan, şirkete reklam geliri getiren ticari teknoloji ekibinden GPU'ları doğrudan paylaşıyor.
"LatePost"a göre, bu yılki Bahar Şenliği'nden kısa bir süre sonra Byte, başlangıçta Byte ticarileştirme teknolojisi ekibine eklenmesi planlanan bir A100 grubunu TikTok ürün teknolojisi başkanı Zhu Wenjia'ya dağıttı. Zhu Wenjia, bayt büyük modellerin araştırma ve geliştirmesine liderlik ediyor. Ticarileştirme teknik ekibi, Douyin reklam tavsiyesi algoritmasını destekleyen temel iş departmanıdır.
Meituan, bu yılın ilk çeyreğinde büyük modeller geliştirmeye başladı. Meituan'ın yakın zamanda birden fazla departmandan bir grup 80G video belleği üst sürüm A100'ü transfer ettiği ve bu departmanların daha düşük konfigürasyonlu GPU'lara geçebilmesi için büyük modellerin tedarikine öncelik verdiği anlaşılmaktadır.
Finansal kaynakları büyük platformlara göre çok daha az bol olan Bilibili'nin de büyük modeller için planları var. İstasyon B'nin daha önce yüzlerce GPU ayırdığı anlaşılmaktadır. Bilibili bu yıl bir yandan ek GPU alımlarına devam ederken, diğer yandan kartların büyük modellere eşit dağıtılması için çeşitli departmanları koordine ediyor. B istasyonuna yakın bir kişi, "Bazı departmanlar 10, bazı departmanlar ise 20 bilet veriyor" dedi.
Byte, Meituan ve Station B gibi internet şirketlerinin teknik departmanlarında genellikle başlangıçta arama ve öneriyi destekleyen bazı yedekli GPU kaynakları bulunur.
Bununla birlikte, doğuyu parçalayıp batıyı tamamlayan bu yöntemle elde edilebilecek GPU sayısı sınırlıdır ve büyük modelleri eğitmek için gereken büyük GPU'lar, yine de her şirketin geçmiş birikimine güvenmek ve gelişini beklemek zorundadır. yeni GPU'lar.
Bütün dünya bilgi işlem gücü için mücadele ediyor
Nvidia'nın veri merkezi GPU'ları için yarış da dünya çapında oluyor. Bununla birlikte, denizaşırı devler daha önce çok sayıda GPU satın aldı ve satın alma hacmi daha büyük ve son yıllardaki yatırım nispeten sürekli oldu.
2022'de Meta ve Oracle, A100'e şimdiden büyük yatırımlar yaptı. Meta, geçtiğimiz Ocak ayında 16.000 A100 içeren RSC süper bilgi işlem kümesini oluşturmak için Nvidia ile ortaklık kurdu. Aynı yılın Kasım ayında Oracle, yeni bir bilgi işlem merkezi inşa etmek için on binlerce A100 ve H100 satın aldığını duyurdu. Şimdi bilgi işlem merkezi 32.700'den fazla A100 konuşlandırdı ve birbiri ardına yeni H100'ler piyasaya sürüldü.
Microsoft, 2019'da OpenAI'ye ilk yatırım yaptığından beri, OpenAI'ye on binlerce GPU sağladı. Bu yılın Mart ayında Microsoft, OpenAI'nin on binlerce A100 dahil olmak üzere yeni bir bilgi işlem merkezi kurmasına yardım ettiğini duyurdu. Bu yılın Mayıs ayında Google, büyük modelleri kendi başlarına eğitmek isteyen şirketlere hizmet veren, 26.000 H100 içeren bir bilgi işlem kümesi olan Compute Engine A3'ü piyasaya sürdü.
Büyük Çinli şirketlerin mevcut eylemleri ve zihniyeti, denizaşırı devlerinkinden daha acil. Baidu'yu örnek alarak, bu yıl Nvidia'ya on binlerce yeni GPU siparişi verdi. Baidu'nun hacmi çok daha küçük olmasına rağmen, büyüklük sırası Google gibi şirketlerle karşılaştırılabilir.Geçen yılki geliri 123.6 milyar yuan, yani Google'ın yalnızca %6'sıydı.
Yapay zeka ve bulut bilişime en çok yatırım yapan Çinli dört teknoloji şirketi Byte, Tencent, Ali ve Baidu'nun geçmişte onbinlerce A100 biriktirdiği anlaşılıyor. Bunların arasında A100, en mutlak bayt sayısına sahiptir. Bu yıl yeni siparişler hariç, Byte A100 ve selefi V100'ün toplam sayısı 100.000'e yakın.
Büyüyen şirketler arasında, Shangtang ayrıca bu yıl "AI büyük cihaz" bilgi işlem kümesinde 10.000 A100 dahil olmak üzere toplam 27.000 GPU'nun konuşlandırıldığını duyurdu. AI ile hiçbir ilgisi yok gibi görünen nicel bir yatırım şirketi olan Magic Square bile daha önce 10.000 A100 satın aldı.
Sadece toplam sayıya bakıldığında bu GPU'lar şirketlerin büyük modelleri eğitmesi için fazlasıyla yeterli gibi görünüyor.Nvidia'nın resmi internet sitesinde yer alan vakaya göre OpenAI, 175 milyar parametre ile GPT-3'ü eğitirken 10.000 V100 kullandı. 1 aylık eğitim için 1024 blok A100 gereklidir.A100, V100 ile karşılaştırıldığında 4,3 kat performans artışına sahiptir. Bununla birlikte, geçmişte büyük Çinli şirketler tarafından satın alınan çok sayıda GPU'nun mevcut işletmeleri desteklemesi veya bulut bilgi işlem platformlarında satılması gerekir ve müşterilerin büyük ölçekli model ihtiyaçları için büyük ölçekli model geliştirme ve harici destek için serbestçe kullanılamaz.
Bu aynı zamanda Çinli AI uygulayıcıları tarafından bilgi işlem kaynakları tahminindeki büyük farkı da açıklıyor. Tsinghua Akıllı Endüstri Araştırma Enstitüsü Dekanı Zhang Yaqin, Nisan sonunda Tsinghua Forum'da şunları söyledi: "Çin'in bilgi işlem gücünün bir parçası eklenirse, 500.000 A100'e eşdeğerdir ve beş modeli eğitmek sorun değil. AI şirketi Megvii Technology'nin CEO'su Yin Qi, bir röportajda "Caixin" i kabul etti: Çin'in şu anda yalnızca büyük ölçekli model eğitimi için kullanılabilecek toplam yaklaşık 40.000 A100'ü var.
Esas olarak çipler, sunucular ve veri merkezleri gibi sabit varlıklara yapılan yatırımlara yapılan sermaye harcamalarını yansıtır ve büyük Çinli ve yabancı şirketlerin bilgi işlem kaynaklarındaki büyüklük sırasını sezgisel olarak gösterebilir.
ChatGPT benzeri ürünleri ilk test eden Baidu'nun 2020'den bu yana yıllık 800 milyon ABD Doları ile 2 milyar ABD Doları arasında, Ali'nin 6 milyar ABD Doları ile 8 milyar ABD Doları ve Tencent'in 7 milyar ABD Doları ile 11 milyar ABD Doları arasında yıllık sermaye harcaması var. . Aynı dönemde, kendi kendine veri merkezleri inşa eden dört Amerikan teknoloji şirketi olan Amazon, Meta, Google ve Microsoft'un yıllık sermaye harcamalarının tümü en az 15 milyar ABD dolarını aştı.
Salgının üç yılı boyunca, denizaşırı şirketlerin sermaye harcamaları artmaya devam etti. Amazon'un geçen yılki sermaye harcaması 58 milyar ABD dolarına ulaştı, Meta ve Google'ın her ikisi de 31,4 milyar ABD doları ve Microsoft 24 milyar ABD dolarına yakın. Çinli şirketlerin yatırımları 2021'den sonra küçülüyor. Tencent ve Baidu'nun sermaye harcamaları geçen yıla göre %25'ten fazla düştü.
Büyük modelleri eğitmek için GPU'lar artık yeterli değil.Çinli şirketler gerçekten uzun süre büyük modellere yatırım yapmak ve diğer model ihtiyaçları için "kürek satarak" para kazanmak istiyorlarsa, gelecekte GPU kaynaklarını artırmaya devam etmeleri gerekecek.
Daha Hızlı Gitmek OpenAI bu zorluğun üstesinden geldi. Mayıs ortasında OpenAI CEO'su SamAltman, bir grup geliştiriciyle yaptığı küçük çaplı bir iletişimde, yetersiz GPU'lar nedeniyle OpenAI'nin mevcut API hizmetinin yeterince kararlı olmadığını ve hızın yeterince hızlı olmadığını söyledi. 4'ün çok modlu Yetenekleri her kullanıcıya genişletilemez ve yakın gelecekte yeni tüketici ürünleri piyasaya sürmeyi planlamazlar. Teknik danışmanlık ajansı TrendForce tarafından bu yılın Haziran ayında yayınlanan bir rapora göre, OpenAI'nin ChatGPT'yi sürekli olarak optimize etmesi ve ticarileştirmesi için yaklaşık 30.000 A100'e ihtiyacı var.
OpenAI ile derin bir işbirliğine sahip olan Microsoft da benzer bir durumla karşı karşıya: Bu yılın Mayıs ayında, bazı kullanıcılar Yeni Bing yanıt hızının yavaş olduğundan şikayet ettiler ve Microsoft, bunun GPU yenileme hızının yetişememesinden kaynaklandığını söyledi. kullanıcı büyüme oranı ile. Büyük ölçekli model yetenekleriyle gömülü olan Microsoft Office 365 Copilot şu anda büyük ölçekte açık değil. En son rakam, 600'den fazla şirketin onu denediğidir - dünya çapında toplam Office 365 kullanıcısı sayısı 300'e yakındır. milyon.
Büyük bir Çinli şirket yalnızca büyük bir modeli eğitmeyi ve piyasaya sürmeyi amaçlamıyorsa, aynı zamanda daha fazla kullanıcıya hizmet veren ürünler oluşturmak için büyük modeli gerçekten kullanmak istiyorsa ve diğer müşterileri bulutta daha büyük modeller eğitmek için daha fazla desteklemek istiyorsa, bunu yapması gerekir. önceden daha fazlasını ayırın.Birden fazla GPU.
**Neden sadece bu dört kart? **
AI büyük model eğitimi açısından, Çin'e özel olarak sağlanan A100, H100 ve azaltılmış A800 ve H800 sürümlerinin yerini hiçbir şey tutamaz. Kantitatif riskten korunma fonu Khaveen Investments'a göre, Nvidia'nın veri merkezi GPU pazar payı 2022'de %88'e ulaşacak ve geri kalanı AMD ve Intel paylaşacak.
2020'deki GTC konferansında Huang Renxun, A100 ile ilk çıkışını yaptı.
Nvidia GPU'nun şu anki vazgeçilmezliği büyük modellerin eğitim mekanizmasından geliyor.Temel adımları ön eğitim ve ince ayardır.İlki, üniversiteden mezun olmak için genel eğitim almaya eşdeğer olan temeli atmaktır. ; ikincisi iş performansını artırmak için belirli senaryolar ve görevler için optimize edilmiştir.
Eğitim öncesi bağlantı, hesaplama açısından özellikle yoğundur ve tek bir GPU'nun performansı ve birden çok kart arasında veri aktarım kapasitesi konusunda son derece yüksek gereksinimlere sahiptir.
Artık sadece A100 ve H100, ön eğitim için gereken bilgi işlem verimliliğini sağlayabilir.Pahalı görünseler de en ucuz seçenektirler. Bugün yapay zeka, ticari kullanımın henüz ilk aşamalarında ve maliyet, bir hizmetin mevcut olup olmadığını doğrudan etkiliyor.
Geçmişte, kedileri kedi olarak tanıyabilen VGG16 gibi bazı modellerde yalnızca 130 milyon parametre vardı.O zamanlar bazı şirketler, AI modellerini çalıştırmak için oyun oynamak için RTX serisi tüketici sınıfı grafik kartlarını kullanırdı. GPT-3'ün iki yılı aşkın bir süre önce yayınlanan parametre ölçeği 175 milyara ulaştı.
Büyük modellerin devasa bilgi işlem gereksinimleri altında, bilgi işlem gücü oluşturmak için daha düşük performanslı GPU'lar kullanmak artık mümkün değil. Çünkü eğitim için birden fazla GPU kullanırken, çipler arasında veri aktarmak ve parametre bilgilerini senkronize etmek gerekir.Bu sırada bazı GPU'lar boşta kalır ve her zaman doygun olamaz. Bu nedenle, tek bir kartın performansı ne kadar düşük olursa, o kadar çok kart kullanılır ve bilgi işlem gücü kaybı o kadar büyük olur. OpenAI, GPT-3'ü eğitmek için 10.000 V100 kullandığında, bilgi işlem gücü kullanım oranı %50'den azdır.
A100 ve H100, kartlar arasında veri iletimini iyileştirmek için hem tek bir kartın yüksek bilgi işlem gücüne hem de yüksek bant genişliğine sahiptir. A100'ün FP32'si (4 baytlık kodlama ve depolama hesaplamasına atıfta bulunur) 19,5 TFLOPS'luk bir hesaplama gücüne sahiptir (1 TFLOPS, saniyede bir trilyon kayan nokta işlemi anlamına gelir) ve H100'ün FP32 hesaplama gücü 134 TFLOPS'a kadar çıkar. MI250'nin.
A100 ve H100, boşta kalan bilgi işlem gücünü en aza indirmek için verimli veri aktarım yetenekleri de sağlar. Nvidia'nın özel hileleri, 2014'ten beri piyasaya sürülen NVLink ve NVSwitch gibi iletişim protokolü teknolojileridir. H100'de kullanılan dördüncü nesil NVLink, aynı sunucu içindeki GPU'ların iki yönlü iletişim bant genişliğini 900 GB/sn'ye (saniyede 900 GB veri) yükseltebilir; bu, en son nesil PCle'nin (bir nokta) 7 katıdır. -noktaya yüksek hızlı seri iletim standardı) birçok.
Geçen yıl, ABD Ticaret Bakanlığı'nın GPU'ların ihracatına ilişkin düzenlemeleri de iki bilgi işlem gücü ve bant genişliği hattına takıldı: üst hat bilgi işlem gücü 4800 TOPS ve üst hat bant genişliği 600 GB/s idi.
A800 ve H800, orijinal sürümle aynı bilgi işlem gücüne sahiptir, ancak bant genişliği azaltılmıştır. A800'ün bant genişliği A100'ün 600GB/sn'den 400GB/sn'ye düşürüldü.H800'ün spesifik parametreleri açıklanmadı.Bloomberg'e göre bant genişliği H100'ün (900GB/sn) yarısı kadar. s) Aynı AI görevini gerçekleştirirken H800, H100'den %10 - %30 daha fazla zaman alacaktır. Bir AI mühendisi, H800'ün eğitim etkisinin A100 kadar iyi olmayabileceğini, ancak daha pahalı olduğunu tahmin etti.
Buna rağmen, A800 ve H800'ün performansı, diğer büyük şirketlerin ve yeni başlayanların benzer ürünlerinden daha iyi performans gösteriyor. Performans ve daha özel mimarilerle sınırlı olan AI yongaları veya çeşitli şirketler tarafından piyasaya sürülen GPU yongaları, artık büyük ölçekli model ön eğitimi için zor olan yapay zeka muhakemesi için kullanılıyor. Basitçe ifade etmek gerekirse, AI eğitimi bir model yapmaktır, AI muhakemesi modeli kullanmaktır ve eğitim daha yüksek çip performansı gerektirir.
Performans boşluğuna ek olarak, Nvidia'nın daha derin hendeği yazılım ekolojisidir.
2006 gibi erken bir tarihte Nvidia, paralel bir bilgi işlem yazılım motoru olan bilgi işlem platformu CUDA'yı piyasaya sürdü.Geliştiriciler, AI eğitimini ve akıl yürütmeyi daha verimli bir şekilde gerçekleştirmek ve GPU bilgi işlem gücünden iyi bir şekilde yararlanmak için CUDA'yı kullanabilir. CUDA, günümüzün yapay zeka altyapısı haline geldi ve ana akım yapay zeka çerçeveleri, kitaplıkları ve araçlarının tümü, CUDA'ya dayalı olarak geliştiriliyor.
Nvidia dışındaki GPU'lar ve AI yongaları CUDA'ya bağlanmak istiyorsa, kendi uyarlama yazılımlarını sağlamaları gerekir, ancak bu yalnızca CUDA performansının bir parçasıdır ve güncelleme yinelemesi daha yavaştır. PyTorch gibi AI çerçeveleri, CUDA'nın yazılım ekolojik tekelini kırmaya ve diğer üreticilerin GPU'larını desteklemek için daha fazla yazılım yeteneği sağlamaya çalışıyor, ancak bu, geliştiriciler için sınırlı bir çekiciliğe sahip.
Bir yapay zeka uygulayıcısı, şirketinin, yongalar ve hizmetler için Nvidia'dan daha düşük fiyatlar sunan ve daha zamanında hizmet sağlama sözü veren, NVIDIA olmayan bir GPU üreticisiyle iletişime geçtiğini, ancak diğer GPU'ları kullanan genel eğitim ve geliştirmenin maliyetinin artacağını düşündüklerini söyledi. Nvidia'nınkinden daha yüksek olacak ve sonuçların belirsizliğine katlanmak zorunda kalacak ve daha fazla zaman alacaktır.
"A100 pahalı olmasına rağmen, aslında kullanımı en ucuz olanıdır" dedi. Büyük modellerin fırsatlarını değerlendirmek isteyen büyük teknoloji şirketleri ve önde gelen startup'lar için para genellikle bir sorun değildir ve zaman daha değerli bir kaynaktır.
Kısa vadede Nvidia'nın veri merkezi GPU satışlarını etkileyen tek şey TSMC'nin üretim kapasitesi olabilir.
H100/800 4 nm'lik bir işlemdir ve A100/800 7 nm'lik bir işlemdir.Bu dört çipin tümü TSMC tarafından üretilmiştir. Çin Tayvan basınında yer alan haberlere göre Nvidia, bu yıl TSMC'ye 10.000 yeni veri merkezi GPU siparişi ekledi ve üretim süresini %50'ye kadar kısaltabilen süper acil bir sipariş verdi. Normalde, TSMC'nin A100'ü üretmesi birkaç ay sürerdi. Mevcut üretim darboğazı, temel olarak, kademeli olarak artması 3-6 ay sürecek yüzde 10 ila 20'lik bir boşlukla gelişmiş ambalajın yetersiz üretim kapasitesinden kaynaklanmaktadır.
Paralel bilgi işlem için uygun GPU'lar derin öğrenmeye dahil edildiğinden, yapay zeka gelişiminin itici gücü on yılı aşkın süredir donanım ve yazılım olmuştur.
Görüntü tanıma ile temsil edilen son derin öğrenme patlaması dalgasında, Çin'in AI yazılım yetenekleri dünyanın en ileri seviyesiyle karşılaştırılabilir; bilgi işlem gücü şu anki zorluktur - çip tasarlamak ve üretmek, uzun bir tedarik zinciri ve uzun bir tedarik zincirini içeren daha uzun bir birikim gerektirir. çok sayıda patent engeli.
Büyük model, model ve algoritma katmanındaki bir başka büyük ilerlemedir. Ağırdan alacak zaman yok. Büyük modeller oluşturmak veya büyük modeller için bulut bilgi işlem yetenekleri sağlamak isteyen şirketler, mümkün olan en kısa sürede yeterli gelişmiş bilgi işlem gücüne sahip olmalıdır. GPU'lar için verilen savaş, dalga ilk şirketleri sevindirene veya hayal kırıklığına uğratana kadar durmayacak.
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Yapay Zeka Biletleri İçin Rekabet: Büyük Çinli Şirketler GPU'lar için Yarışıyor
Kaynak丨Daha Sonra Geç Gönderi
Metin丨Zhang Jiahao
2022'nin ikinci yarısında, üretken yapay zeka patlama yaşarken, Silikon Vadisi'ndeki ünlü bir girişim sermayesi olan a16z, düzinelerce yapay zeka girişimini ve büyük teknoloji şirketini ziyaret etti. Başlangıçların, kendi modellerini eğitmek için erken finansman fonlarının %80-90'ını bulut bilişim platformlarına verdiğini gördüler. Bu şirketlerin ürünleri olgunlaşsa bile her yıl gelirlerinin %10-%20'sini bulut bilişim şirketlerine vermek zorunda olduklarını tahmin ediyorlar. Bir "AI vergisine" eşdeğerdir.
Bu, bulutta model yetenekleri ve eğitim hizmetleri sağlamak ve bilgi işlem gücünü diğer müşterilere ve yeni girişimlere kiralamak için büyük bir pazar yarattı. Yalnızca Çin'de, en az düzinelerce başlangıç şirketi ve küçük ve orta ölçekli şirket kendi karmaşık büyük dil modellerini oluşturuyor ve hepsinin bulut bilgi işlem platformlarından GPU kiralaması gerekiyor. a16z'nin hesaplamalarına göre, bir şirketin yıllık yapay zeka bilgi işlem harcaması, toplu GPU satın alımını desteklemek için yeterli ölçeğe sahip olmadan önce yalnızca 50 milyon ABD dolarını aşıyor.
"LatePost"a göre, bu yılki Bahar Şenliği'nden sonra, Çin'deki bulut bilişim hizmetlerine sahip tüm büyük İnternet şirketleri Nvidia'dan büyük siparişler verdi. Byte, bu yıl Nvidia'dan 1 milyar dolardan fazla GPU sipariş etti ve başka bir büyük şirket en az 1 milyar yuan'dan fazla sipariş verdi.
Yalnızca Byte, bu yıl Nvidia'nın geçen yıl Çin'de sattığı toplam ticari GPU sayısına yakın siparişler vermiş olabilir. Geçen yıl Eylül ayında, ABD hükümeti A100 ve H100 (NVIDIA'nın en yeni iki nesil veri merkezi ticari GPU'su) ihracatına kısıtlamalar getirdiğinde, Nvidia bunun Çin pazarındaki 400 milyon ABD Dolarını (yaklaşık 2,8 milyar yuan) etkileyebileceğini söyledi. geçen yılın dördüncü çeyreğinde. RMB) potansiyel satışlar. Bu hesaplamaya göre, 2022'de Çin'deki Nvidia veri merkezi GPU'larının satışı yaklaşık 10 milyar yuan olacak.
Denizaşırı devlerle karşılaştırıldığında, Çin'in büyük teknoloji şirketleri GPU satın alma konusunda daha acil. Son iki yıldaki maliyet düşürme ve verimlilik artışında bazı bulut bilişim platformları GPU alımlarını azaltmış ve rezervleri yetersiz kalmıştır. Ayrıca, bugün satın alınabilen yüksek performanslı GPU'nun yarın yeni kısıtlamalara tabi olacağını kimse garanti edemez.
Dahili hareket ederken siparişleri kesmekten satın almaları eklemeye kadar
Bu yılın başından önce, Çin'in büyük teknoloji şirketlerinin GPU'lara olan talebi cansızdı.
GPU'ların Çin'in büyük İnternet teknolojisi şirketlerinde iki ana kullanım alanı vardır: biri, işletmeleri dahili olarak desteklemek ve son teknoloji AI araştırmaları yapmak, diğeri ise GPU'ları bulut bilgi işlem platformlarında satmaktır.
Byte'tan bir kişi "LatePost"a, OpenAI'nin Haziran 2020'de GPT-3'ü piyasaya sürmesinden sonra, Byte'ın milyarlarca parametreyle büyük bir üretken dil modeli eğittiğini söyledi. O zamanlar, ağırlıklı olarak kullanılan GPU, A100.V100'ün öncülüydü. Sınırlı parametre ölçeği nedeniyle, bu modelin üretim yeteneği ortalamadır ve Byte o sırada ticarileştirme olasılığını görememiştir, "ROI (yatırım getirisi) hesaplanamaz", bu sefer girişim boşunaydı. .
Ali ayrıca 2018-2019'da aktif olarak GPU satın aldı. Bir Alibaba bulut kaynağına göre, Ali'nin o zamanki satın alımları en az on binlerce yuan'a ulaştı ve satın alınan modeller çoğunlukla Nvidia tarafından daha önce piyasaya sürülen V100 ve T4 idi. Ancak, bu GPU'ların yalnızca yaklaşık onda biri yapay zeka teknolojisi araştırma ve geliştirme için DAMO Academy'ye verildi. 2021'de trilyon parametreli büyük model M6'nın piyasaya sürülmesinin ardından Dharma Academy, M6'yı eğitmek için 480 V100 kullanıldığını açıkladı.
O dönemde Alibaba tarafından satın alınan GPU'ların çoğu, harici kiralama için Alibaba Cloud'a verildi. Ancak aralarında Alibaba Cloud'un da bulunduğu bir grup Çinli bulut bilişim şirketi, Çin pazarındaki yapay zeka talebini abarttı. Bir teknoloji yatırımcısı, büyük ölçekli modellerin yükselişinden önce, önde gelen yerel bulut satıcılarının GPU bilgi işlem gücünün yetersiz olmadığını, ancak satış konusunda endişeli olduğunu ve bulut satıcılarının kaynakları satmak için fiyatları düşürmek zorunda kaldığını söyledi. Geçen yıl, Alibaba Cloud fiyatları altı kez düşürdü ve GPU kiralama fiyatları %20'den fazla düştü.
Maliyetleri düşürme ve verimliliği artırma ve "kaliteli büyüme" ve kâr peşinde koşma bağlamında, Ali'nin 2020'den sonra GPU tedarik ölçeğini azalttığı ve Tencent'in de geçen yılın sonunda tek bir Nvidia GPU grubunu kestiği anlaşılıyor. .
Ancak çok geçmeden, 2022'nin başında, ChatGPT herkesin görüşlerini değiştirdi ve kısa sürede bir fikir birliğine varıldı: büyük bir model, kaçırılmaması gereken büyük bir fırsat.
Her şirketin kurucusu, büyük modelin gelişimine bizzat yakından ilgi gösterdi: ByteDance'in kurucusu Zhang Yiming, yapay zeka belgelerini okumaya başladı; Alibaba'nın yönetim kurulu başkanı Zhang Yong, Alibaba Cloud'u devraldı ve Alibaba'nın büyük modelinin ilerleyişini Alibaba Bulut Zirvesi'nde duyurdu. , yazılım ve hizmetlerin tümü, büyük modelin yeteneklerine dayalı olarak yeniden yapılmaya değer."
Byte'tan bir kişi eskiden Byte bünyesindeki GPU'ların satın alınması için başvururken girdi-çıktı oranını, iş önceliğini ve önemini açıklamak gerektiğini söylemişti. Ancak artık büyük ölçekli model işi, şirketin stratejik düzeyinde yeni bir iştir ve yatırım getirisi şu an için hesaplanamaz ve yatırım yapılması gerekir.
Kendi genel amaçlı büyük ölçekli modellerini geliştirmek yalnızca ilk adımdır. Her şirketin daha büyük hedefi, büyük ölçekli model yetenekleri sağlayan bulut hizmetlerini başlatmaktır. Bu, yatırımı karşılayabilecek gerçekten büyük bir pazardır.
Microsoft'un bulut hizmeti Azure, Çin'in bulut bilişim pazarında güçlü bir mevcudiyete sahip değil, on yıldır Çin'deki çok uluslu şirketlerin Çin işine hizmet ediyor. Ancak OpenAI ticarileştirmesi için tek bulut aracısı olduğu için müşteriler artık sırada beklemek zorunda.
Ali, Nisan ayındaki bulut zirvesinde, MaaS'ın (Model as a Service) bulut bilişimin gelecekteki trendi olduğunu bir kez daha vurguladı.Açık ve kendi geliştirdiği genel temel model "Tongyi Qianwen" testine ek olarak, bir dizi de yayınladı. bulutta müşterilere yardım etme. Büyük modelleri eğitmek ve kullanmak için araçlar. Kısa bir süre sonra Tencent ve Byte Volcano Engine, eğitim kümesi hizmetlerinin kendi yeni sürümlerini de yayınladı. Tencent, trilyonlarca parametreye sahip büyük bir modeli eğitmek için yeni nesil kümeler kullanarak sürenin 4 güne sıkıştırılabileceğini söyledi; Byte, yeni kümelerinin Wanka düzeyinde büyük ölçekli model eğitimini desteklediğini söyledi. Çin'deki şirketlerin çoğu zaten volkan motorunu kullanıyor.
Tüm bu platformlar, ya Nvidia A100 ve H100 GPU'ları ya da Nvidia'nın geçen yılki yasaktan sonra özel olarak piyasaya sürdüğü A800 ve H800'ün azaltılmış sürümlerini kullanıyor.Bu iki işlemcinin bant genişliği, orijinal sürümün yaklaşık 3/4'ü ve yaklaşık yarısı kadar, yüksek Sınırlandırma kriterlerinden kaçınıyor. performans GPU'ları için.
H800 ve A800 civarında, Çin'in önde gelen teknoloji şirketleri yeni bir sipariş rekabeti başlattı.
Bir bulut üreticisinden bir kişi, Byte ve Ali gibi büyük şirketlerin satın alma için çoğunlukla doğrudan Nvidia'nın orijinal fabrikasıyla pazarlık yaptığını ve aracıların ve ikinci el pazarlarının bu devasa ihtiyaçlarını karşılamanın zor olduğunu söyledi.
Nvidia, liste fiyatına ve satın alma ölçeğine göre bir indirim pazarlığı yapacak. Nvidia'nın resmi internet sitesine göre, A100'ün fiyatı adet başına 10.000 ABD Doları (yaklaşık 71.000 yuan), H100'ün fiyatı ise parça başına 36.000 ABD Doları (yaklaşık 257.000 yuan) olup, A800 ve H800'ün fiyatının biraz daha düşük olduğu anlaşılmaktadır. orijinal sürümden daha. .
Çinli bir şirketin bir kartı alıp alamayacağı, geçmişte Nvidia'nın önemli bir müşterisi olup olmadığı gibi iş ilişkilerine bağlıdır. Bir bulut satıcısından bir kişi, "Çin'de Nvidia ile görüşmeniz veya Lao Huang (Huang Renxun, Nvidia'nın CEO'su Huang Renxun) ile doğrudan görüşmek için Amerika Birleşik Devletleri'ne gitmeniz fark yaratır." dedi.
Bazı şirketler ayrıca Nvidia ile "ticari iş birliği" yürüteceklerdir.Popüler veri merkezi GPU'ları satın alırken, öncelikli tedarik için başka ürünler de satın alırlar. Bu Hermès dağıtımına benzer.Popüler bir çanta satın almak istiyorsanız, onu genellikle onbinlerce yuan değerindeki kıyafet ve ayakkabılarla eşleştirmeniz gerekir.
Edindiğimiz sektör bilgilerine göre, Byte'ın bu yılki yeni siparişleri nispeten agresif ve 1 milyar dolar seviyesini aşıyor.
Nvidia'ya yakın bir kişiye göre gelen ve gelmeyen toplam 100.000 adet A100 ve H800 var. Bunlardan H800, bu yıl sadece Mart ayında üretime başladı ve çiplerin bu kısmının bu yılki ek alımlardan gelmesi gerekiyor. Mevcut üretim programı ile bazı H800'lerin bu yıl sonuna kadar teslim edilmeyeceği anlaşılmaktadır.
ByteDance, 2017 yılında kendi veri merkezini oluşturmaya başladı. Veri merkezleri, tüm hesaplamalar için CPU'lara daha fazla güveniyordu. 2020 yılına kadar Byte, Intel CPU'lara Nvidia GPU'lardan daha fazla harcadı. Bayt alımlarındaki değişiklikler, günümüzde büyük teknoloji şirketlerinin bilgi işlem gereksinimlerinde akıllı bilgi işlemin genel bilgi işlemi yakaladığını da yansıtıyor.
Büyük bir internet şirketinin bu yıl Nvidia'ya katalog fiyatına göre tahmini değeri 1 milyar yuan'ın üzerinde olan en az 10.000'lik sipariş verdiği anlaşılıyor.
Tencent, H800'ü kullandığını duyurmada başı çekti.Tencent Cloud, bu yılın Mart ayında piyasaya sürülen yüksek performanslı bilgi işlem hizmetlerinin yeni sürümünde, bunun ilk yerli lansman olduğunu söyleyerek H800'ü zaten kullandı. Şu anda bu hizmet, çoğu Çinli şirketin ilerlemesinden daha hızlı olan uygulamaları test etmek için kurumsal müşterilere açıldı.
Alibaba Cloud'un da bu yılın Mayıs ayında dahili olarak "Akıllı Bilgi İşlem Savaşı"nı bu yılın bir numaralı savaşı olarak kabul etmeyi teklif ettiği ve makine ölçeği, müşteri ölçeği ve gelir ölçeği olmak üzere üç hedef belirlediği anlaşılıyor; bunların arasında önemli gösterge makine ölçeği GPU sayısıdır.
Yeni GPU'nun gelişinden önce şirketler, büyük modellerin geliştirilmesini desteklemeye öncelik vermek için şirket içinde de hamleler yapıyor.
Bir kerede daha fazla kaynağı serbest bırakmanın yolu, bazı daha az önemli yönleri veya kısa vadede net bir beklentinin olmadığı yönleri kesmektir. Büyük bir İnternet şirketinde çalışan bir yapay zeka uygulayıcısı, "Büyük şirketlerin, kaynakları işgal eden pek çok yarı ölü işletmesi var" dedi.
Bu yılın Mayıs ayında, Ali Dharma Enstitüsü otonom sürüş laboratuvarını kaldırdı: 300'den fazla çalışanın yaklaşık 1/3'ü çaylak teknik ekibe atandı ve geri kalanlar işten çıkarıldı Dharma Institute artık otonom sürüş işini elinde tutmuyor. Otonom sürüşün geliştirilmesi, eğitim için yüksek performanslı GPU'lar da gerektirir. Bu ayarlama doğrudan büyük modelle ilgili olmayabilir, ancak Ali'nin bir grup "ücretsiz GPU" almasına izin verdi.
Byte ve Meituan, şirkete reklam geliri getiren ticari teknoloji ekibinden GPU'ları doğrudan paylaşıyor.
"LatePost"a göre, bu yılki Bahar Şenliği'nden kısa bir süre sonra Byte, başlangıçta Byte ticarileştirme teknolojisi ekibine eklenmesi planlanan bir A100 grubunu TikTok ürün teknolojisi başkanı Zhu Wenjia'ya dağıttı. Zhu Wenjia, bayt büyük modellerin araştırma ve geliştirmesine liderlik ediyor. Ticarileştirme teknik ekibi, Douyin reklam tavsiyesi algoritmasını destekleyen temel iş departmanıdır.
Meituan, bu yılın ilk çeyreğinde büyük modeller geliştirmeye başladı. Meituan'ın yakın zamanda birden fazla departmandan bir grup 80G video belleği üst sürüm A100'ü transfer ettiği ve bu departmanların daha düşük konfigürasyonlu GPU'lara geçebilmesi için büyük modellerin tedarikine öncelik verdiği anlaşılmaktadır.
Finansal kaynakları büyük platformlara göre çok daha az bol olan Bilibili'nin de büyük modeller için planları var. İstasyon B'nin daha önce yüzlerce GPU ayırdığı anlaşılmaktadır. Bilibili bu yıl bir yandan ek GPU alımlarına devam ederken, diğer yandan kartların büyük modellere eşit dağıtılması için çeşitli departmanları koordine ediyor. B istasyonuna yakın bir kişi, "Bazı departmanlar 10, bazı departmanlar ise 20 bilet veriyor" dedi.
Byte, Meituan ve Station B gibi internet şirketlerinin teknik departmanlarında genellikle başlangıçta arama ve öneriyi destekleyen bazı yedekli GPU kaynakları bulunur.
Bununla birlikte, doğuyu parçalayıp batıyı tamamlayan bu yöntemle elde edilebilecek GPU sayısı sınırlıdır ve büyük modelleri eğitmek için gereken büyük GPU'lar, yine de her şirketin geçmiş birikimine güvenmek ve gelişini beklemek zorundadır. yeni GPU'lar.
Bütün dünya bilgi işlem gücü için mücadele ediyor
Nvidia'nın veri merkezi GPU'ları için yarış da dünya çapında oluyor. Bununla birlikte, denizaşırı devler daha önce çok sayıda GPU satın aldı ve satın alma hacmi daha büyük ve son yıllardaki yatırım nispeten sürekli oldu.
2022'de Meta ve Oracle, A100'e şimdiden büyük yatırımlar yaptı. Meta, geçtiğimiz Ocak ayında 16.000 A100 içeren RSC süper bilgi işlem kümesini oluşturmak için Nvidia ile ortaklık kurdu. Aynı yılın Kasım ayında Oracle, yeni bir bilgi işlem merkezi inşa etmek için on binlerce A100 ve H100 satın aldığını duyurdu. Şimdi bilgi işlem merkezi 32.700'den fazla A100 konuşlandırdı ve birbiri ardına yeni H100'ler piyasaya sürüldü.
Microsoft, 2019'da OpenAI'ye ilk yatırım yaptığından beri, OpenAI'ye on binlerce GPU sağladı. Bu yılın Mart ayında Microsoft, OpenAI'nin on binlerce A100 dahil olmak üzere yeni bir bilgi işlem merkezi kurmasına yardım ettiğini duyurdu. Bu yılın Mayıs ayında Google, büyük modelleri kendi başlarına eğitmek isteyen şirketlere hizmet veren, 26.000 H100 içeren bir bilgi işlem kümesi olan Compute Engine A3'ü piyasaya sürdü.
Büyük Çinli şirketlerin mevcut eylemleri ve zihniyeti, denizaşırı devlerinkinden daha acil. Baidu'yu örnek alarak, bu yıl Nvidia'ya on binlerce yeni GPU siparişi verdi. Baidu'nun hacmi çok daha küçük olmasına rağmen, büyüklük sırası Google gibi şirketlerle karşılaştırılabilir.Geçen yılki geliri 123.6 milyar yuan, yani Google'ın yalnızca %6'sıydı.
Yapay zeka ve bulut bilişime en çok yatırım yapan Çinli dört teknoloji şirketi Byte, Tencent, Ali ve Baidu'nun geçmişte onbinlerce A100 biriktirdiği anlaşılıyor. Bunların arasında A100, en mutlak bayt sayısına sahiptir. Bu yıl yeni siparişler hariç, Byte A100 ve selefi V100'ün toplam sayısı 100.000'e yakın.
Büyüyen şirketler arasında, Shangtang ayrıca bu yıl "AI büyük cihaz" bilgi işlem kümesinde 10.000 A100 dahil olmak üzere toplam 27.000 GPU'nun konuşlandırıldığını duyurdu. AI ile hiçbir ilgisi yok gibi görünen nicel bir yatırım şirketi olan Magic Square bile daha önce 10.000 A100 satın aldı.
Sadece toplam sayıya bakıldığında bu GPU'lar şirketlerin büyük modelleri eğitmesi için fazlasıyla yeterli gibi görünüyor.Nvidia'nın resmi internet sitesinde yer alan vakaya göre OpenAI, 175 milyar parametre ile GPT-3'ü eğitirken 10.000 V100 kullandı. 1 aylık eğitim için 1024 blok A100 gereklidir.A100, V100 ile karşılaştırıldığında 4,3 kat performans artışına sahiptir. Bununla birlikte, geçmişte büyük Çinli şirketler tarafından satın alınan çok sayıda GPU'nun mevcut işletmeleri desteklemesi veya bulut bilgi işlem platformlarında satılması gerekir ve müşterilerin büyük ölçekli model ihtiyaçları için büyük ölçekli model geliştirme ve harici destek için serbestçe kullanılamaz.
Bu aynı zamanda Çinli AI uygulayıcıları tarafından bilgi işlem kaynakları tahminindeki büyük farkı da açıklıyor. Tsinghua Akıllı Endüstri Araştırma Enstitüsü Dekanı Zhang Yaqin, Nisan sonunda Tsinghua Forum'da şunları söyledi: "Çin'in bilgi işlem gücünün bir parçası eklenirse, 500.000 A100'e eşdeğerdir ve beş modeli eğitmek sorun değil. AI şirketi Megvii Technology'nin CEO'su Yin Qi, bir röportajda "Caixin" i kabul etti: Çin'in şu anda yalnızca büyük ölçekli model eğitimi için kullanılabilecek toplam yaklaşık 40.000 A100'ü var.
Esas olarak çipler, sunucular ve veri merkezleri gibi sabit varlıklara yapılan yatırımlara yapılan sermaye harcamalarını yansıtır ve büyük Çinli ve yabancı şirketlerin bilgi işlem kaynaklarındaki büyüklük sırasını sezgisel olarak gösterebilir.
ChatGPT benzeri ürünleri ilk test eden Baidu'nun 2020'den bu yana yıllık 800 milyon ABD Doları ile 2 milyar ABD Doları arasında, Ali'nin 6 milyar ABD Doları ile 8 milyar ABD Doları ve Tencent'in 7 milyar ABD Doları ile 11 milyar ABD Doları arasında yıllık sermaye harcaması var. . Aynı dönemde, kendi kendine veri merkezleri inşa eden dört Amerikan teknoloji şirketi olan Amazon, Meta, Google ve Microsoft'un yıllık sermaye harcamalarının tümü en az 15 milyar ABD dolarını aştı.
Salgının üç yılı boyunca, denizaşırı şirketlerin sermaye harcamaları artmaya devam etti. Amazon'un geçen yılki sermaye harcaması 58 milyar ABD dolarına ulaştı, Meta ve Google'ın her ikisi de 31,4 milyar ABD doları ve Microsoft 24 milyar ABD dolarına yakın. Çinli şirketlerin yatırımları 2021'den sonra küçülüyor. Tencent ve Baidu'nun sermaye harcamaları geçen yıla göre %25'ten fazla düştü.
Daha Hızlı Gitmek OpenAI bu zorluğun üstesinden geldi. Mayıs ortasında OpenAI CEO'su SamAltman, bir grup geliştiriciyle yaptığı küçük çaplı bir iletişimde, yetersiz GPU'lar nedeniyle OpenAI'nin mevcut API hizmetinin yeterince kararlı olmadığını ve hızın yeterince hızlı olmadığını söyledi. 4'ün çok modlu Yetenekleri her kullanıcıya genişletilemez ve yakın gelecekte yeni tüketici ürünleri piyasaya sürmeyi planlamazlar. Teknik danışmanlık ajansı TrendForce tarafından bu yılın Haziran ayında yayınlanan bir rapora göre, OpenAI'nin ChatGPT'yi sürekli olarak optimize etmesi ve ticarileştirmesi için yaklaşık 30.000 A100'e ihtiyacı var.
OpenAI ile derin bir işbirliğine sahip olan Microsoft da benzer bir durumla karşı karşıya: Bu yılın Mayıs ayında, bazı kullanıcılar Yeni Bing yanıt hızının yavaş olduğundan şikayet ettiler ve Microsoft, bunun GPU yenileme hızının yetişememesinden kaynaklandığını söyledi. kullanıcı büyüme oranı ile. Büyük ölçekli model yetenekleriyle gömülü olan Microsoft Office 365 Copilot şu anda büyük ölçekte açık değil. En son rakam, 600'den fazla şirketin onu denediğidir - dünya çapında toplam Office 365 kullanıcısı sayısı 300'e yakındır. milyon.
Büyük bir Çinli şirket yalnızca büyük bir modeli eğitmeyi ve piyasaya sürmeyi amaçlamıyorsa, aynı zamanda daha fazla kullanıcıya hizmet veren ürünler oluşturmak için büyük modeli gerçekten kullanmak istiyorsa ve diğer müşterileri bulutta daha büyük modeller eğitmek için daha fazla desteklemek istiyorsa, bunu yapması gerekir. önceden daha fazlasını ayırın.Birden fazla GPU.
**Neden sadece bu dört kart? **
AI büyük model eğitimi açısından, Çin'e özel olarak sağlanan A100, H100 ve azaltılmış A800 ve H800 sürümlerinin yerini hiçbir şey tutamaz. Kantitatif riskten korunma fonu Khaveen Investments'a göre, Nvidia'nın veri merkezi GPU pazar payı 2022'de %88'e ulaşacak ve geri kalanı AMD ve Intel paylaşacak.
Nvidia GPU'nun şu anki vazgeçilmezliği büyük modellerin eğitim mekanizmasından geliyor.Temel adımları ön eğitim ve ince ayardır.İlki, üniversiteden mezun olmak için genel eğitim almaya eşdeğer olan temeli atmaktır. ; ikincisi iş performansını artırmak için belirli senaryolar ve görevler için optimize edilmiştir.
Eğitim öncesi bağlantı, hesaplama açısından özellikle yoğundur ve tek bir GPU'nun performansı ve birden çok kart arasında veri aktarım kapasitesi konusunda son derece yüksek gereksinimlere sahiptir.
Artık sadece A100 ve H100, ön eğitim için gereken bilgi işlem verimliliğini sağlayabilir.Pahalı görünseler de en ucuz seçenektirler. Bugün yapay zeka, ticari kullanımın henüz ilk aşamalarında ve maliyet, bir hizmetin mevcut olup olmadığını doğrudan etkiliyor.
Geçmişte, kedileri kedi olarak tanıyabilen VGG16 gibi bazı modellerde yalnızca 130 milyon parametre vardı.O zamanlar bazı şirketler, AI modellerini çalıştırmak için oyun oynamak için RTX serisi tüketici sınıfı grafik kartlarını kullanırdı. GPT-3'ün iki yılı aşkın bir süre önce yayınlanan parametre ölçeği 175 milyara ulaştı.
Büyük modellerin devasa bilgi işlem gereksinimleri altında, bilgi işlem gücü oluşturmak için daha düşük performanslı GPU'lar kullanmak artık mümkün değil. Çünkü eğitim için birden fazla GPU kullanırken, çipler arasında veri aktarmak ve parametre bilgilerini senkronize etmek gerekir.Bu sırada bazı GPU'lar boşta kalır ve her zaman doygun olamaz. Bu nedenle, tek bir kartın performansı ne kadar düşük olursa, o kadar çok kart kullanılır ve bilgi işlem gücü kaybı o kadar büyük olur. OpenAI, GPT-3'ü eğitmek için 10.000 V100 kullandığında, bilgi işlem gücü kullanım oranı %50'den azdır.
A100 ve H100, kartlar arasında veri iletimini iyileştirmek için hem tek bir kartın yüksek bilgi işlem gücüne hem de yüksek bant genişliğine sahiptir. A100'ün FP32'si (4 baytlık kodlama ve depolama hesaplamasına atıfta bulunur) 19,5 TFLOPS'luk bir hesaplama gücüne sahiptir (1 TFLOPS, saniyede bir trilyon kayan nokta işlemi anlamına gelir) ve H100'ün FP32 hesaplama gücü 134 TFLOPS'a kadar çıkar. MI250'nin.
A100 ve H100, boşta kalan bilgi işlem gücünü en aza indirmek için verimli veri aktarım yetenekleri de sağlar. Nvidia'nın özel hileleri, 2014'ten beri piyasaya sürülen NVLink ve NVSwitch gibi iletişim protokolü teknolojileridir. H100'de kullanılan dördüncü nesil NVLink, aynı sunucu içindeki GPU'ların iki yönlü iletişim bant genişliğini 900 GB/sn'ye (saniyede 900 GB veri) yükseltebilir; bu, en son nesil PCle'nin (bir nokta) 7 katıdır. -noktaya yüksek hızlı seri iletim standardı) birçok.
Geçen yıl, ABD Ticaret Bakanlığı'nın GPU'ların ihracatına ilişkin düzenlemeleri de iki bilgi işlem gücü ve bant genişliği hattına takıldı: üst hat bilgi işlem gücü 4800 TOPS ve üst hat bant genişliği 600 GB/s idi.
A800 ve H800, orijinal sürümle aynı bilgi işlem gücüne sahiptir, ancak bant genişliği azaltılmıştır. A800'ün bant genişliği A100'ün 600GB/sn'den 400GB/sn'ye düşürüldü.H800'ün spesifik parametreleri açıklanmadı.Bloomberg'e göre bant genişliği H100'ün (900GB/sn) yarısı kadar. s) Aynı AI görevini gerçekleştirirken H800, H100'den %10 - %30 daha fazla zaman alacaktır. Bir AI mühendisi, H800'ün eğitim etkisinin A100 kadar iyi olmayabileceğini, ancak daha pahalı olduğunu tahmin etti.
Buna rağmen, A800 ve H800'ün performansı, diğer büyük şirketlerin ve yeni başlayanların benzer ürünlerinden daha iyi performans gösteriyor. Performans ve daha özel mimarilerle sınırlı olan AI yongaları veya çeşitli şirketler tarafından piyasaya sürülen GPU yongaları, artık büyük ölçekli model ön eğitimi için zor olan yapay zeka muhakemesi için kullanılıyor. Basitçe ifade etmek gerekirse, AI eğitimi bir model yapmaktır, AI muhakemesi modeli kullanmaktır ve eğitim daha yüksek çip performansı gerektirir.
Performans boşluğuna ek olarak, Nvidia'nın daha derin hendeği yazılım ekolojisidir.
2006 gibi erken bir tarihte Nvidia, paralel bir bilgi işlem yazılım motoru olan bilgi işlem platformu CUDA'yı piyasaya sürdü.Geliştiriciler, AI eğitimini ve akıl yürütmeyi daha verimli bir şekilde gerçekleştirmek ve GPU bilgi işlem gücünden iyi bir şekilde yararlanmak için CUDA'yı kullanabilir. CUDA, günümüzün yapay zeka altyapısı haline geldi ve ana akım yapay zeka çerçeveleri, kitaplıkları ve araçlarının tümü, CUDA'ya dayalı olarak geliştiriliyor.
Nvidia dışındaki GPU'lar ve AI yongaları CUDA'ya bağlanmak istiyorsa, kendi uyarlama yazılımlarını sağlamaları gerekir, ancak bu yalnızca CUDA performansının bir parçasıdır ve güncelleme yinelemesi daha yavaştır. PyTorch gibi AI çerçeveleri, CUDA'nın yazılım ekolojik tekelini kırmaya ve diğer üreticilerin GPU'larını desteklemek için daha fazla yazılım yeteneği sağlamaya çalışıyor, ancak bu, geliştiriciler için sınırlı bir çekiciliğe sahip.
Bir yapay zeka uygulayıcısı, şirketinin, yongalar ve hizmetler için Nvidia'dan daha düşük fiyatlar sunan ve daha zamanında hizmet sağlama sözü veren, NVIDIA olmayan bir GPU üreticisiyle iletişime geçtiğini, ancak diğer GPU'ları kullanan genel eğitim ve geliştirmenin maliyetinin artacağını düşündüklerini söyledi. Nvidia'nınkinden daha yüksek olacak ve sonuçların belirsizliğine katlanmak zorunda kalacak ve daha fazla zaman alacaktır.
"A100 pahalı olmasına rağmen, aslında kullanımı en ucuz olanıdır" dedi. Büyük modellerin fırsatlarını değerlendirmek isteyen büyük teknoloji şirketleri ve önde gelen startup'lar için para genellikle bir sorun değildir ve zaman daha değerli bir kaynaktır.
Kısa vadede Nvidia'nın veri merkezi GPU satışlarını etkileyen tek şey TSMC'nin üretim kapasitesi olabilir.
H100/800 4 nm'lik bir işlemdir ve A100/800 7 nm'lik bir işlemdir.Bu dört çipin tümü TSMC tarafından üretilmiştir. Çin Tayvan basınında yer alan haberlere göre Nvidia, bu yıl TSMC'ye 10.000 yeni veri merkezi GPU siparişi ekledi ve üretim süresini %50'ye kadar kısaltabilen süper acil bir sipariş verdi. Normalde, TSMC'nin A100'ü üretmesi birkaç ay sürerdi. Mevcut üretim darboğazı, temel olarak, kademeli olarak artması 3-6 ay sürecek yüzde 10 ila 20'lik bir boşlukla gelişmiş ambalajın yetersiz üretim kapasitesinden kaynaklanmaktadır.
Paralel bilgi işlem için uygun GPU'lar derin öğrenmeye dahil edildiğinden, yapay zeka gelişiminin itici gücü on yılı aşkın süredir donanım ve yazılım olmuştur.
Görüntü tanıma ile temsil edilen son derin öğrenme patlaması dalgasında, Çin'in AI yazılım yetenekleri dünyanın en ileri seviyesiyle karşılaştırılabilir; bilgi işlem gücü şu anki zorluktur - çip tasarlamak ve üretmek, uzun bir tedarik zinciri ve uzun bir tedarik zincirini içeren daha uzun bir birikim gerektirir. çok sayıda patent engeli.
Büyük model, model ve algoritma katmanındaki bir başka büyük ilerlemedir. Ağırdan alacak zaman yok. Büyük modeller oluşturmak veya büyük modeller için bulut bilgi işlem yetenekleri sağlamak isteyen şirketler, mümkün olan en kısa sürede yeterli gelişmiş bilgi işlem gücüne sahip olmalıdır. GPU'lar için verilen savaş, dalga ilk şirketleri sevindirene veya hayal kırıklığına uğratana kadar durmayacak.