Amazon Web Services (AWS) kembali menegaskan posisinya dalam kompetisi infrastruktur kecerdasan buatan (Artificial Intelligence/AI) global dengan peluncuran generasi terbaru chip mereka, AWS Trainium3, yang dikemas dalam sistem berdensitas tinggi bernama UltraServer. Pengumuman ini menandai langkah signifikan dalam upaya industri untuk menekan biaya pelatihan model AI skala besar sekaligus meningkatkan efisiensi energi secara drastis, sekaligus mendemokratisasi akses ke daya komputasi yang dibutuhkan untuk proyek AI paling ambisius di masa depan.
Ketersediaan Umum dan Lompatan Kinerja
AWS secara resmi mengumumkan ketersediaan umum Amazon EC2 Trn3 UltraServers. Didukung oleh chip Trainium3 yang dibangun dengan teknologi 3-nanometer (3nm), Trn3 UltraServers dirancang khusus untuk mengatasi keterbatasan compute dan jaringan yang dihadapi model AI saat ini.
Peningkatan Performa Utama: Trainium3 UltraServers memberikan kinerja komputasi hingga 4,4 kali lipat lebih tinggi, efisiensi energi 4 kali lebih besar, dan bandwidth memori hampir 4 kali lipat lebih besar dibandingkan Trainium2 UltraServers.
Skalabilitas Klaster: Satu UltraServer Trn3 dapat menampung hingga 144 chip Trainium3, menghasilkan hingga 362 PFLOPs (presisi FP8) dengan latensi komunikasi yang 4 kali lebih rendah.
Dampak Operasional: Peningkatan ini memungkinkan pengembangan AI yang lebih cepat dengan biaya operasional yang lebih rendah. Waktu pelatihan model dapat dipersingkat dari hitungan bulan menjadi hitungan minggu.
UltraServer: Arsitektur Terintegrasi untuk Skala Frontier
Trn3 UltraServers bukan sekadar kumpulan chip, melainkan sistem terintegrasi vertikal, mulai dari arsitektur chip hingga software stack.
Jaringan Tingkat Lanjut untuk AI Terdistribusi
Inti dari integrasi ini adalah infrastruktur jaringan yang dirancang untuk menghilangkan bottleneck komunikasi dalam komputasi AI terdistribusi:
NeuronSwitch-v1: Memberikan bandwidth 2 kali lipat lebih besar di dalam setiap UltraServer.
Neuron Fabric: Mengurangi penundaan komunikasi antar-chip hingga di bawah 10 mikrodetik.
Jaringan yang canggih ini sangat penting untuk beban kerja AI masa depan seperti sistem agen, Mixture-of-Experts (MoEs), dan pembelajaran penguatan (reinforcement learning), yang memerlukan aliran data masif yang mulus antar-prosesor.
Skalabilitas Tak Tertandingi (UltraClusters)
Untuk pelanggan yang membutuhkan skala ekstrem, EC2 UltraClusters 3.0 dapat menghubungkan ribuan UltraServer yang mencakup hingga 1 juta chip Trainium—10 kali lipat dari generasi sebelumnya. Skala ini memungkinkan pelatihan model dasar generasi berikutnya pada dataset triliunan token dan menjalankan inferensi real-time untuk jutaan pengguna secara bersamaan.
Hasil Nyata dan Adopsi Pelanggan
Adopsi Trainium telah menunjukkan hasil yang signifikan di berbagai industri:
| Pelanggan | Kasus Penggunaan Utama | Hasil Utama |
| Anthropic | Pelatihan Model Bahasa Skala Besar (LLM) | Menggunakan Project Rainier (klaster 500.000+ Trainium2 chips). |
| Anthropic, Karakuri, Metagenomi, NetoAI, Ricoh, Splash Music | Pelatihan dan Inferensi | Mengurangi biaya pelatihan dan inferensi hingga 50% dibandingkan alternatif. |
| Decart | Video Generatif Real-Time | Mencapai 4x generasi frame lebih cepat dengan biaya setengah dari GPU. |
| Amazon Bedrock | Layanan Managed Foundation Model | Sudah melayani beban kerja produksi pada Trainium3. |
Dalam pengujian menggunakan model open weight GPT-OSS milik OpenAI, pelanggan yang menggunakan Trn3 UltraServers mampu mencapai throughput 3 kali lebih tinggi per chip sambil memberikan waktu respons 4 kali lebih cepat daripada Trn2 UltraServers.
Memandang ke Depan: Trainium4
AWS terus berinovasi dan telah mengumumkan pengerjaan Trainium4, yang dirancang untuk membawa peningkatan kinerja signifikan di semua dimensi:
Peningkatan kinerja pemrosesan (FP4) minimal 6 kali lipat.
Peningkatan kinerja FP8 3 kali lipat.
Peningkatan bandwidth memori 4 kali lipat.
Trainium4 juga akan dirancang untuk mendukung teknologi interkoneksi chip berkecepatan tinggi NVIDIA NVLink Fusion. Integrasi ini akan memungkinkan Trainium4, Graviton, dan Elastic Fabric Adapter (EFA) bekerja sama secara mulus dalam rak MGX umum, memberikan platform AI skala rak yang hemat biaya, fleksibel, dan berkinerja tinggi.
Comments
Post a Comment