Rahasia di Balik Kepintaran ChatGPT: Puluhan Ribu GPU Nvidia
Di balik kepintaran ChatGPT dalam menjawab berbagai pertanyaan dan permintaan pengguna, ada puluhan ribu GPU Nvidia yang bekerja keras.
Menurut Bloomberg, OpenAI "melatih" ChatGPT menggunakan komputer super yang dibuat Microsoft menggunakan puluhan ribu GPU Nvidia. Bukan, bukan GPU gaming yang dipakai di sini, melainkan Nvidia A100 yang memang dikhususkan untuk melakukan komputasi data center, termasuk AI.
Oh ya, sebagai informasi, harga sebuah GPU A100 ini setidaknya adalah USD 10 ribu, atau kurang lebih Rp 150 juta. Dan, ada puluhan ribu A100 yang dipakai di komputer super untuk melatih ChatGPT.
Komputer super ini dibangun setelah Microsoft menyuntikkan USD 1 miliar ke OpenAI pada 2019 lalu. Pembuatan komputer ini pun tak semudah itu, karena Microsoft harus memikirkan bagaimana mereka bisa mengatasi panas yang dihasilkan, dan berbagai masalah lainnya.
"Kami membangun arsitektur sistem yang bisa beroperasi dan bisa diandalkan untuk skala yang sangat besar. Hasilnya ChatGPT yang bisa dipakai. Itu adalah salah satu model yang sudah dibuat. Akan banyak (model) yang lainnya," jelas Nidhi Chappel, GM Azure AI Infrastructure di Microsoft.
Menurut Scott Guthrie, executive VP cloud dan AI di Microsoft, dana yang dibutuhkan untuk membangun komputer ini lebih dari ratusan juta dolar. Microsoft juga harus mengembangkan software baru untuk meningkatkan efisiensi dari GPU-GPU yang haus daya itu.
Mereka pun mesti memastikan peralatan jaringan yang bisa menangani lalu lintas data yang sangat besar, dan tentunya menggunakan berbagai metode untuk mendinginkan chip tersebut.
Wajar saja, ChatGPT punya pertumbuhan pengguna yang sangat besar. Penggunanya mencapai sejuta dalam hitungan hari sejak dirilis ke publik November lalu. Bahkan kini ChatGPT sudah banyak dipakai -- secara komersial -- oleh banyak penyedia layanan, demikian dikutip detikINET dari Bloomberg, Rabu (15/3/2023).
Kini setelah kesuksesan ChatGPT sudah terlihat, Microsoft dan beberapa rivalnya menggarap model AI paralel untuk mesin pencari dan berbagai kegunaan lain. Misalnya ND H100 v5, sebuah virtual machine yang menggunakan antara 8 sampai ribuan GPU H100 (penerus A100) untuk mempercepat generative AI.
ND H100 v5 ini bakal dipakai Microsoft di mesin pencari Bing yang ditenagai ChatGPT, juga browser Edge dan Microsoft Dynamics 365.
Sebelumnya TrendForce memperkirakan kalau OpenAI akan membutuhkan lebih dari 30 ribu GPU Nvidia untuk memproses data-data ChatGPT yang terus bertambah.
Simak Video "Baru 2 Bulan Diluncurkan, ChatGPT Raup 100 Juta Pengguna"
[Gambas:Video 20detik]
(asj/asj)
