Mengintip Dapur ChatGPT, Biaya Operasional Per Hari Tembus Rp 10 M
Ada banyak hal menarik dari chatbot ChatGPT yang sangat populer belakangan ini. Dari mulai kemampuannya, kelemahannya, sampai biaya operasionalnya.
Baru-baru ini penelitian SemiAnalysis memprediksi biaya yang dikeluarkan OpenAI untuk mengoperasikan ChatGPT. Yaitu mencapai USD 694.444 atau sekitar Rp 10,3 miliar perhari untuk mengoperasikan server ChatGPT.
Yaitu 3.617 server HGX A100 yang menggunakan 28.936 GPU, dengan biaya untuk satu pertanyaan mencapai 0,36 sen, atau hampir Rp 5000, demikian dikutip detikINET dari Techspot, Rabu (26/4/2023).
Menurut Dylan Patel, Chief Analyst di SemiAnalysis, itu adalah perkiraan biaya untuk mengoperasikan GPT-3. Sementara untuk GPT-4 yang saat ini sudah tersedia, biayanya diperkirakan lebih mahal.
GPT-4 saat ini tersedia untuk pelanggan berbayar dan menawarkan informasi yang lebih akurat serta perlindungan lebih baik terhadap komentar yang melenceng dari topik pembicaraan. Kedua masalah itu bisa dibilang adalah masalah utama di GPT-3 dan 3,5.
Biaya yang sangat tinggi itu penyebab utamanya adalah sistem tersebut membutuhkan chip khusus yang haus daya. Untuk mengurangi biaya operasional itu, Microsoft yang salah satu investor besar di OpenAI tengah menggarap chip AI baru bernama Athena.
Athena ini diposisikan untuk menggantikan GPU Nvidia yang menjadi otak utama sistem GPT dan dijanjikan bisa mengurangi biaya operasional ChatGPT secara signifikan.
Selain biaya operasional yang tinggi, harga komponen untuk mengoperasikan ChatGPT ini pun tak kalah mahal. Sebagai informasi, harga sebuah GPU A100 ini setidaknya adalah USD 10 ribu, atau kurang lebih Rp 150 juta. Dan, ada puluhan ribu A100 yang dipakai di komputer super untuk melatih ChatGPT.
Komputer super ini dibangun setelah Microsoft menyuntikkan USD 1 miliar ke OpenAI pada 2019 lalu. Pembuatan komputer ini pun tak semudah itu, karena Microsoft harus memikirkan bagaimana mereka bisa mengatasi panas yang dihasilkan, dan berbagai masalah lainnya.
Simak Video "Baru 2 Bulan Diluncurkan, ChatGPT Raup 100 Juta Pengguna"
[Gambas:Video 20detik]
(asj/fyk)
