Tantang hegemoni Nvidia H100! IBM mensimulasikan chip jaringan saraf tiruan otak manusia, yang meningkatkan efisiensi sebanyak 14 kali lipat dan memecahkan masalah konsumsi daya model AI
Baru-baru ini, IBM meluncurkan chip AI analog 14nm baru, yang 14 kali lebih efisien dibandingkan GPU terkemuka, sehingga membuat H100 bernilai uang.
Alamat kertas:
Saat ini, kendala terbesar dalam pengembangan AI generatif adalah konsumsi daya yang sangat besar. Sumber daya yang diperlukan untuk AI tidak dapat tumbuh secara berkelanjutan.
IBM, di sisi lain, telah meneliti cara untuk membentuk kembali komputasi AI. Salah satu pencapaian mereka adalah simulasi komputasi memori/simulasi metode kecerdasan buatan, yang dapat mengurangi konsumsi energi dengan menggunakan fitur utama jaringan saraf yang berjalan di otak biologis.
Pendekatan ini meminimalkan waktu dan upaya yang kita habiskan untuk komputasi.
Apakah monopoli Nvidia akan ditumbangkan?
## Cetak biru terbaru IBM untuk masa depan AI: Chip AI analog 14 kali lebih hemat energi
Menurut laporan media asing Insider, Dylan Patel, kepala analis perusahaan riset semikonduktor SemiAnalysis, menganalisis bahwa biaya operasional harian ChatGPT melebihi 700.000 dolar AS.
ChatGPT memerlukan banyak daya komputasi untuk menghasilkan jawaban berdasarkan permintaan pengguna. Sebagian besar biaya dikeluarkan pada server yang mahal.
Di masa depan, biaya model pelatihan dan pengoperasian infrastruktur akan semakin meningkat.
IBM menerbitkan di Nature bahwa chip baru ini dapat mengurangi tekanan dalam membangun dan mengoperasikan perusahaan AI generatif seperti Midjourney atau GPT-4 dengan mengurangi konsumsi energi.
Chip analog ini dibuat berbeda dari chip digital, yang dapat memanipulasi sinyal analog dan memahami gradien antara 0 dan 1, tetapi hanya untuk sinyal biner yang berbeda.
Simulasi Komputasi Memori/Simulasi AI
Dan pendekatan baru IBM adalah mensimulasikan komputasi memori, atau disingkat simulasi AI. Ini mengurangi konsumsi energi dengan memanfaatkan fitur utama jaringan saraf yang beroperasi di otak biologis.
Di otak manusia dan hewan lain, kekuatan (atau "berat") sinapsis menentukan komunikasi antar neuron.
Untuk sistem AI analog, IBM menyimpan bobot sinaptik ini dalam nilai konduktansi perangkat memori resistif berskala nanometer (seperti PCM memori perubahan fase), dan menggunakan hukum sirkuit untuk mengurangi kebutuhan pengiriman data secara konstan antara memori dan prosesor, lakukan operasi Multiply-accumulate (MAC) - operasi utama di DNN.
Sekarang yang mendukung banyak platform AI generatif adalah H100 dan A100 dari Nvidia.
Namun, jika IBM melakukan iterasi pada prototipe chip tersebut dan berhasil mendorongnya ke pasar massal, chip baru ini mungkin akan menggantikan Nvidia sebagai andalan baru.
Chip AI analog 14nm ini dapat mengkodekan 35 juta perangkat memori perubahan fase untuk setiap komponen dan dapat mensimulasikan hingga 17 juta parameter.
Dan, chip tersebut meniru cara kerja otak manusia, dengan microchip melakukan perhitungan langsung di memori.
Sistem chip dapat mencapai pengenalan suara dan transkripsi yang efisien, dengan akurasi yang mendekati perangkat keras digital.
Chip ini mencapai kinerja sekitar 14 kali lipat, dan simulasi sebelumnya menunjukkan bahwa efisiensi energi perangkat keras ini bahkan 40 kali hingga 140 kali lipat dari GPU terkemuka saat ini.
Susunan palang PCM, pemrograman dan pemrosesan sinyal digital
Revolusi AI generatif ini baru saja dimulai. Deep Neural Networks (DNNs) telah merevolusi bidang AI, menjadi terkenal seiring dengan pengembangan model fundamental dan AI generatif.
Namun, menjalankan model ini pada arsitektur komputasi matematis tradisional membatasi kinerja dan efisiensi energinya.
Meskipun kemajuan telah dicapai dalam pengembangan perangkat keras untuk inferensi AI, banyak dari arsitektur ini secara fisik memisahkan memori dan unit pemrosesan.
Artinya, model AI biasanya disimpan di lokasi memori terpisah, dan tugas komputasi memerlukan pengacakan data secara konstan antara memori dan unit pemrosesan. Proses ini dapat memperlambat perhitungan secara signifikan, sehingga membatasi efisiensi energi maksimum yang dapat dicapai.
Karakteristik kinerja perangkat PCM, menggunakan konfigurasi fase dan izin masuk untuk menyimpan bobot sinaptik gaya analog
Chip akselerasi kecerdasan buatan berbasis memori perubahan fase (PCM) IBM menghilangkan batasan ini.
Memori perubahan fase (PCM) dapat mewujudkan integrasi perhitungan dan penyimpanan, dan secara langsung melakukan perkalian matriks-vektor dalam memori, menghindari masalah transmisi data.
Pada saat yang sama, chip AI analog IBM mewujudkan akselerasi penalaran kecerdasan buatan yang efisien melalui integrasi komputasi dan penyimpanan tingkat perangkat keras, yang merupakan kemajuan penting dalam bidang ini.
Dua Tantangan Utama dalam Simulasi AI
Untuk mewujudkan konsep simulasi AI, ada dua tantangan utama yang perlu diatasi:
Ketepatan komputasi susunan memori harus sebanding dengan sistem digital yang ada
Susunan memori dapat berinteraksi secara mulus dengan unit komputasi digital lainnya dan struktur komunikasi digital pada chip kecerdasan buatan analog
IBM membuat chip akselerator kecerdasan buatan berbasis memori perubahan fase di pusat teknologinya di Albany Nano.
Chip ini terdiri dari 64 inti komputasi memori analog, dan setiap inti berisi 256x256 unit sinaptik lintas jalur.
Dan, terintegrasi ke dalam setiap chip adalah konverter analog-ke-digital berbasis waktu yang ringkas untuk mengkonversi antara dunia analog dan digital.
Unit pemrosesan digital ringan dalam chip juga dapat melakukan fungsi aktivasi neuron nonlinier sederhana dan operasi penskalaan.
Setiap inti dapat dianggap sebagai ubin yang dapat melakukan perkalian matriks-vektor dan operasi lain yang terkait dengan lapisan (seperti lapisan konvolusional) model jaringan saraf dalam (DNN).
Matriks bobot dikodekan ke dalam nilai konduktansi yang disimulasikan perangkat PCM dan disimpan dalam chip.
Unit pemrosesan digital global terintegrasi di tengah susunan inti chip untuk mengimplementasikan beberapa operasi yang lebih kompleks daripada perkalian matriks-vektor, yang sangat penting untuk jenis eksekusi jaringan saraf tertentu (seperti LSTM).
Jalur komunikasi digital terintegrasi dalam chip antara semua inti dan unit pemrosesan digital global untuk transfer data antar inti dan antara inti dan unit global.
a: snapshot otomatisasi desain elektronik dan mikrograf chip, Anda dapat melihat 64 core dan 5616 pad
b: Diagram skema berbagai komponen chip, termasuk 64 inti, 8 unit pemrosesan digital global, dan tautan data antar inti
c: Struktur inti komputasi dalam memori berbasis PCM tunggal
d: Struktur unit pemrosesan digital global untuk penghitungan terkait LSTM
Dengan menggunakan chip tersebut, IBM melakukan studi komprehensif mengenai akurasi komputasi komputasi memori analog dan mencapai akurasi sebesar 92,81% pada kumpulan data gambar CIFAR-10.
a: Struktur jaringan ResNet-9 untuk CIFAR-10
b: cara memetakan jaringan ini ke dalam chip
c: akurasi pengujian CIFAR-10 yang diimplementasikan perangkat keras
Ini adalah akurasi tertinggi yang dilaporkan sejauh ini untuk sebuah chip yang menggunakan teknologi serupa.
IBM juga secara mulus menggabungkan komputasi analog dalam memori dengan beberapa unit pemrosesan digital dan struktur komunikasi digital.
Perkalian matriks input-output 8-bit pada chip ini memiliki throughput area unit sebesar 400 GOPS/mm2, yang lebih dari 15 kali lebih tinggi dari chip komputasi memori multi-core sebelumnya yang berbasis pada memori resistif, sekaligus mencapai efisiensi energi yang cukup besar.
Dalam tugas prediksi karakter dan tugas pembuatan anotasi gambar, IBM membandingkan hasil yang diukur pada perangkat keras dengan metode lain, dan mendemonstrasikan struktur jaringan, pemrograman bobot, dan hasil pengukuran dari tugas terkait yang berjalan pada chip AI yang disimulasikan.
Pengukuran LSTM untuk prediksi karakter
Pengukuran Jaringan LSTM untuk Pembuatan Anotasi Gambar
proses pemrograman berat
**Parit Nvidia tidak berdasar? **
Apakah monopoli Nvidia begitu mudah dipatahkan?
Naveen Rao adalah seorang wirausahawan ilmu saraf yang beralih ke teknologi yang mencoba bersaing dengan Nvidia, pembuat kecerdasan buatan terkemuka di dunia.
“Semua orang mengembangkan Nvidia,” kata Rao. “Jika Anda ingin meluncurkan perangkat keras baru, Anda harus mengejar dan bersaing dengan Nvidia.”
Rao mengerjakan chip yang dirancang untuk menggantikan GPU Nvidia di sebuah perusahaan rintisan yang diakuisisi oleh Intel, tetapi setelah keluar dari Intel, dia menggunakan chip Nvidia di MosesML, sebuah startup perangkat lunak yang dipimpinnya.
Rao mengatakan bahwa Nvidia tidak hanya membuka kesenjangan besar dengan produk chip lainnya, tetapi juga mencapai diferensiasi di luar chip dengan menciptakan komunitas besar pemrogram AI ——
Pemrogram AI telah menggunakan teknologi perusahaan untuk berinovasi.
Selama lebih dari satu dekade, Nvidia telah membangun keunggulan yang hampir tak terbantahkan dalam memproduksi chip yang dapat melakukan tugas-tugas AI yang kompleks seperti pengenalan gambar, wajah dan ucapan, serta menghasilkan teks untuk chatbots seperti ChatGPT.
Perusahaan baru yang pernah menjadi industri baru ini mampu mencapai dominasi dalam pembuatan chip AI karena mereka mengenali tren AI sejak dini, membuat chip khusus untuk tugas-tugas tersebut, dan mengembangkan perangkat lunak penting yang memfasilitasi pengembangan AI.
Sejak itu, salah satu pendiri dan CEO Nvidia Jensen Huang telah meningkatkan standar Nvidia.
Hal ini menjadikan Nvidia sebagai pemasok terpadu untuk pengembangan AI.
Meskipun Google, Amazon, Meta, IBM, dan lainnya juga membuat chip AI, Nvidia saat ini menyumbang lebih dari 70% penjualan chip AI, menurut firma riset Omdia.
Pada bulan Juni tahun ini, nilai pasar Nvidia telah melampaui $1 triliun, menjadikannya pembuat chip paling berharga di dunia.
“Pelanggan akan menunggu 18 bulan untuk membeli sistem Nvidia daripada membeli chip siap pakai dari perusahaan rintisan atau pesaing lainnya. Ini luar biasa,” kata analis FuturumGroup.
NVIDIA, membentuk kembali metode komputasi
Jensen Huang ikut mendirikan Nvidia pada tahun 1993, membuat chip yang membuat gambar dalam video game. Mikroprosesor standar pada saat itu bagus dalam melakukan perhitungan kompleks secara berurutan, namun Nvidia membuat GPU yang dapat menangani banyak tugas sederhana secara bersamaan.
Pada tahun 2006, Jensen Huang mengambil proses ini selangkah lebih maju. Dia merilis teknologi perangkat lunak yang disebut CUDA yang membantu GPU diprogram untuk tugas-tugas baru, mengubah GPU dari chip tujuan tunggal menjadi chip tujuan umum yang dapat melakukan pekerjaan lain di bidang seperti simulasi fisika dan kimia.
Pada tahun 2012, para peneliti menggunakan GPU untuk mencapai akurasi seperti manusia dalam tugas-tugas seperti mengidentifikasi kucing dalam gambar, sebuah terobosan besar dan pendahulu dari perkembangan terkini seperti menghasilkan gambar dari isyarat teks.
Upaya tersebut, yang diperkirakan memakan biaya lebih dari $30 miliar selama satu dekade, menjadikan Nvidia lebih dari sekadar pemasok suku cadang. Selain berkolaborasi dengan ilmuwan terkemuka dan perusahaan rintisan, perusahaan telah membentuk tim yang terlibat langsung dalam aktivitas AI seperti pembuatan dan pelatihan model bahasa.
Selain itu, kebutuhan para praktisi membuat Nvidia mengembangkan beberapa lapisan perangkat lunak utama di luar CUDA, yang juga mencakup perpustakaan ratusan baris kode yang telah dibuat sebelumnya.
Di sisi perangkat keras, Nvidia telah mendapatkan reputasi karena secara konsisten menghadirkan chip yang lebih cepat setiap dua atau tiga tahun. Pada tahun 2017, Nvidia mulai menyempurnakan GPU untuk menangani penghitungan AI tertentu.
September lalu, Nvidia mengumumkan akan memproduksi chip baru bernama H100, yang telah ditingkatkan untuk menangani apa yang disebut operasi Transformer. Perhitungan seperti itu terbukti menjadi dasar layanan seperti ChatGPT, yang oleh Huang disebut sebagai “momen iPhone” dari kecerdasan buatan generatif.
Saat ini, kecuali produk dari produsen lain dapat bersaing secara positif dengan GPU Nvidia, monopoli Nvidia saat ini atas daya komputasi AI dapat dipatahkan.
Apakah mungkin untuk chip AI analog IBM?
Referensi:
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Tantang hegemoni Nvidia H100! IBM mensimulasikan chip jaringan saraf tiruan otak manusia, yang meningkatkan efisiensi sebanyak 14 kali lipat dan memecahkan masalah konsumsi daya model AI
Sumber asli: Xinzhiyuan
Baru-baru ini, IBM meluncurkan chip AI analog 14nm baru, yang 14 kali lebih efisien dibandingkan GPU terkemuka, sehingga membuat H100 bernilai uang.
Saat ini, kendala terbesar dalam pengembangan AI generatif adalah konsumsi daya yang sangat besar. Sumber daya yang diperlukan untuk AI tidak dapat tumbuh secara berkelanjutan.
IBM, di sisi lain, telah meneliti cara untuk membentuk kembali komputasi AI. Salah satu pencapaian mereka adalah simulasi komputasi memori/simulasi metode kecerdasan buatan, yang dapat mengurangi konsumsi energi dengan menggunakan fitur utama jaringan saraf yang berjalan di otak biologis.
Pendekatan ini meminimalkan waktu dan upaya yang kita habiskan untuk komputasi.
Apakah monopoli Nvidia akan ditumbangkan?
Menurut laporan media asing Insider, Dylan Patel, kepala analis perusahaan riset semikonduktor SemiAnalysis, menganalisis bahwa biaya operasional harian ChatGPT melebihi 700.000 dolar AS.
ChatGPT memerlukan banyak daya komputasi untuk menghasilkan jawaban berdasarkan permintaan pengguna. Sebagian besar biaya dikeluarkan pada server yang mahal.
Di masa depan, biaya model pelatihan dan pengoperasian infrastruktur akan semakin meningkat.
Chip analog ini dibuat berbeda dari chip digital, yang dapat memanipulasi sinyal analog dan memahami gradien antara 0 dan 1, tetapi hanya untuk sinyal biner yang berbeda.
Simulasi Komputasi Memori/Simulasi AI
Dan pendekatan baru IBM adalah mensimulasikan komputasi memori, atau disingkat simulasi AI. Ini mengurangi konsumsi energi dengan memanfaatkan fitur utama jaringan saraf yang beroperasi di otak biologis.
Di otak manusia dan hewan lain, kekuatan (atau "berat") sinapsis menentukan komunikasi antar neuron.
Untuk sistem AI analog, IBM menyimpan bobot sinaptik ini dalam nilai konduktansi perangkat memori resistif berskala nanometer (seperti PCM memori perubahan fase), dan menggunakan hukum sirkuit untuk mengurangi kebutuhan pengiriman data secara konstan antara memori dan prosesor, lakukan operasi Multiply-accumulate (MAC) - operasi utama di DNN.
Sekarang yang mendukung banyak platform AI generatif adalah H100 dan A100 dari Nvidia.
Namun, jika IBM melakukan iterasi pada prototipe chip tersebut dan berhasil mendorongnya ke pasar massal, chip baru ini mungkin akan menggantikan Nvidia sebagai andalan baru.
Dan, chip tersebut meniru cara kerja otak manusia, dengan microchip melakukan perhitungan langsung di memori.
Sistem chip dapat mencapai pengenalan suara dan transkripsi yang efisien, dengan akurasi yang mendekati perangkat keras digital.
Chip ini mencapai kinerja sekitar 14 kali lipat, dan simulasi sebelumnya menunjukkan bahwa efisiensi energi perangkat keras ini bahkan 40 kali hingga 140 kali lipat dari GPU terkemuka saat ini.
Revolusi AI generatif ini baru saja dimulai. Deep Neural Networks (DNNs) telah merevolusi bidang AI, menjadi terkenal seiring dengan pengembangan model fundamental dan AI generatif.
Namun, menjalankan model ini pada arsitektur komputasi matematis tradisional membatasi kinerja dan efisiensi energinya.
Meskipun kemajuan telah dicapai dalam pengembangan perangkat keras untuk inferensi AI, banyak dari arsitektur ini secara fisik memisahkan memori dan unit pemrosesan.
Artinya, model AI biasanya disimpan di lokasi memori terpisah, dan tugas komputasi memerlukan pengacakan data secara konstan antara memori dan unit pemrosesan. Proses ini dapat memperlambat perhitungan secara signifikan, sehingga membatasi efisiensi energi maksimum yang dapat dicapai.
Chip akselerasi kecerdasan buatan berbasis memori perubahan fase (PCM) IBM menghilangkan batasan ini.
Memori perubahan fase (PCM) dapat mewujudkan integrasi perhitungan dan penyimpanan, dan secara langsung melakukan perkalian matriks-vektor dalam memori, menghindari masalah transmisi data.
Pada saat yang sama, chip AI analog IBM mewujudkan akselerasi penalaran kecerdasan buatan yang efisien melalui integrasi komputasi dan penyimpanan tingkat perangkat keras, yang merupakan kemajuan penting dalam bidang ini.
Dua Tantangan Utama dalam Simulasi AI
Untuk mewujudkan konsep simulasi AI, ada dua tantangan utama yang perlu diatasi:
Ketepatan komputasi susunan memori harus sebanding dengan sistem digital yang ada
Susunan memori dapat berinteraksi secara mulus dengan unit komputasi digital lainnya dan struktur komunikasi digital pada chip kecerdasan buatan analog
IBM membuat chip akselerator kecerdasan buatan berbasis memori perubahan fase di pusat teknologinya di Albany Nano.
Chip ini terdiri dari 64 inti komputasi memori analog, dan setiap inti berisi 256x256 unit sinaptik lintas jalur.
Dan, terintegrasi ke dalam setiap chip adalah konverter analog-ke-digital berbasis waktu yang ringkas untuk mengkonversi antara dunia analog dan digital.
Unit pemrosesan digital ringan dalam chip juga dapat melakukan fungsi aktivasi neuron nonlinier sederhana dan operasi penskalaan.
Setiap inti dapat dianggap sebagai ubin yang dapat melakukan perkalian matriks-vektor dan operasi lain yang terkait dengan lapisan (seperti lapisan konvolusional) model jaringan saraf dalam (DNN).
Matriks bobot dikodekan ke dalam nilai konduktansi yang disimulasikan perangkat PCM dan disimpan dalam chip.
Unit pemrosesan digital global terintegrasi di tengah susunan inti chip untuk mengimplementasikan beberapa operasi yang lebih kompleks daripada perkalian matriks-vektor, yang sangat penting untuk jenis eksekusi jaringan saraf tertentu (seperti LSTM).
Jalur komunikasi digital terintegrasi dalam chip antara semua inti dan unit pemrosesan digital global untuk transfer data antar inti dan antara inti dan unit global.
b: Diagram skema berbagai komponen chip, termasuk 64 inti, 8 unit pemrosesan digital global, dan tautan data antar inti
c: Struktur inti komputasi dalam memori berbasis PCM tunggal
d: Struktur unit pemrosesan digital global untuk penghitungan terkait LSTM
Dengan menggunakan chip tersebut, IBM melakukan studi komprehensif mengenai akurasi komputasi komputasi memori analog dan mencapai akurasi sebesar 92,81% pada kumpulan data gambar CIFAR-10.
b: cara memetakan jaringan ini ke dalam chip
c: akurasi pengujian CIFAR-10 yang diimplementasikan perangkat keras
Ini adalah akurasi tertinggi yang dilaporkan sejauh ini untuk sebuah chip yang menggunakan teknologi serupa.
IBM juga secara mulus menggabungkan komputasi analog dalam memori dengan beberapa unit pemrosesan digital dan struktur komunikasi digital.
Perkalian matriks input-output 8-bit pada chip ini memiliki throughput area unit sebesar 400 GOPS/mm2, yang lebih dari 15 kali lebih tinggi dari chip komputasi memori multi-core sebelumnya yang berbasis pada memori resistif, sekaligus mencapai efisiensi energi yang cukup besar.
Dalam tugas prediksi karakter dan tugas pembuatan anotasi gambar, IBM membandingkan hasil yang diukur pada perangkat keras dengan metode lain, dan mendemonstrasikan struktur jaringan, pemrograman bobot, dan hasil pengukuran dari tugas terkait yang berjalan pada chip AI yang disimulasikan.
**Parit Nvidia tidak berdasar? **
Apakah monopoli Nvidia begitu mudah dipatahkan?
Naveen Rao adalah seorang wirausahawan ilmu saraf yang beralih ke teknologi yang mencoba bersaing dengan Nvidia, pembuat kecerdasan buatan terkemuka di dunia.
“Semua orang mengembangkan Nvidia,” kata Rao. “Jika Anda ingin meluncurkan perangkat keras baru, Anda harus mengejar dan bersaing dengan Nvidia.”
Rao mengerjakan chip yang dirancang untuk menggantikan GPU Nvidia di sebuah perusahaan rintisan yang diakuisisi oleh Intel, tetapi setelah keluar dari Intel, dia menggunakan chip Nvidia di MosesML, sebuah startup perangkat lunak yang dipimpinnya.
Rao mengatakan bahwa Nvidia tidak hanya membuka kesenjangan besar dengan produk chip lainnya, tetapi juga mencapai diferensiasi di luar chip dengan menciptakan komunitas besar pemrogram AI ——
Pemrogram AI telah menggunakan teknologi perusahaan untuk berinovasi.
Perusahaan baru yang pernah menjadi industri baru ini mampu mencapai dominasi dalam pembuatan chip AI karena mereka mengenali tren AI sejak dini, membuat chip khusus untuk tugas-tugas tersebut, dan mengembangkan perangkat lunak penting yang memfasilitasi pengembangan AI.
Sejak itu, salah satu pendiri dan CEO Nvidia Jensen Huang telah meningkatkan standar Nvidia.
Meskipun Google, Amazon, Meta, IBM, dan lainnya juga membuat chip AI, Nvidia saat ini menyumbang lebih dari 70% penjualan chip AI, menurut firma riset Omdia.
Pada bulan Juni tahun ini, nilai pasar Nvidia telah melampaui $1 triliun, menjadikannya pembuat chip paling berharga di dunia.
NVIDIA, membentuk kembali metode komputasi
Jensen Huang ikut mendirikan Nvidia pada tahun 1993, membuat chip yang membuat gambar dalam video game. Mikroprosesor standar pada saat itu bagus dalam melakukan perhitungan kompleks secara berurutan, namun Nvidia membuat GPU yang dapat menangani banyak tugas sederhana secara bersamaan.
Pada tahun 2006, Jensen Huang mengambil proses ini selangkah lebih maju. Dia merilis teknologi perangkat lunak yang disebut CUDA yang membantu GPU diprogram untuk tugas-tugas baru, mengubah GPU dari chip tujuan tunggal menjadi chip tujuan umum yang dapat melakukan pekerjaan lain di bidang seperti simulasi fisika dan kimia.
Upaya tersebut, yang diperkirakan memakan biaya lebih dari $30 miliar selama satu dekade, menjadikan Nvidia lebih dari sekadar pemasok suku cadang. Selain berkolaborasi dengan ilmuwan terkemuka dan perusahaan rintisan, perusahaan telah membentuk tim yang terlibat langsung dalam aktivitas AI seperti pembuatan dan pelatihan model bahasa.
Selain itu, kebutuhan para praktisi membuat Nvidia mengembangkan beberapa lapisan perangkat lunak utama di luar CUDA, yang juga mencakup perpustakaan ratusan baris kode yang telah dibuat sebelumnya.
Di sisi perangkat keras, Nvidia telah mendapatkan reputasi karena secara konsisten menghadirkan chip yang lebih cepat setiap dua atau tiga tahun. Pada tahun 2017, Nvidia mulai menyempurnakan GPU untuk menangani penghitungan AI tertentu.
September lalu, Nvidia mengumumkan akan memproduksi chip baru bernama H100, yang telah ditingkatkan untuk menangani apa yang disebut operasi Transformer. Perhitungan seperti itu terbukti menjadi dasar layanan seperti ChatGPT, yang oleh Huang disebut sebagai “momen iPhone” dari kecerdasan buatan generatif.
Apakah mungkin untuk chip AI analog IBM?
Referensi: