Amazon Web Services (AWS) telah mengumumkan ketersediaan instans M7g dan R7g Amazon EC2 barunya, instans generasi terbaru untuk aplikasi intensif memori dan menjalankan prosesor Arm kustom Amazon, yang dikenal sebagai Graviton3.
Ini adalah penawaran kedua instans berbasis Graviton3 dari AWS. Ini sebelumnya mengumumkan instans spesifik untuk beban kerja intensif komputasi Mei lalu.
Instans M7g dan R7g memberikan kinerja hingga 25% lebih tinggi daripada instans generasi keenam yang setara. Bagian dari peningkatan kinerja berasal dari pengadopsian memori DDR5, yang menawarkan bandwidth memori hingga 50% lebih tinggi daripada DDR4. Tapi ada juga keuntungan kinerja yang cukup besar dari chip Graviton3 yang baru.
Amazon mengklaim bahwa dibandingkan dengan instans yang dijalankan pada Graviton2, instans M7g dan R7g baru menawarkan kinerja komputasi hingga 25% lebih tinggi, kinerja floating point hampir dua kali lipat, kinerja kriptografi dua kali lipat, dan inferensi pembelajaran mesin hingga tiga kali lebih cepat.
Instans M7g adalah untuk beban kerja tujuan umum seperti server aplikasi, layanan mikro, dan penyimpanan data berukuran sedang. Skala instans M7g dari satu CPU virtual dengan memori 4GiB dan bandwidth jaringan 12,5Gbps menjadi 64 vCPU dengan memori 256GiB dan bandwidth jaringan 30Gbps. (GiB adalah gibibyte, metode pengukuran penyimpanan yang berbeda. Istilah 1GB menyiratkan penyimpanan 1GB, tetapi sebenarnya mewakili 0,93GB. Untuk menghindari kebingungan dan meningkatkan akurasi, 1GiB mewakili 0,93GB, tetapi istilah gibibyte belum digunakan .)
Instans R7g disetel untuk beban kerja intensif memori seperti database dan cache dalam memori, serta analitik data besar waktu nyata. Skala instans R7g dari 1 vCPU dan memori 8 GB dengan bandwidth jaringan 12,5 Gbps hingga 64 vCPU dengan memori 512 GB dan bandwidth jaringan 30 Gbps.
Kemitraan AI AWS baru
AWS juga telah mengumumkan kemitraan yang diperluas dengan startup Hugging Face untuk membuat lebih banyak alat AI-nya tersedia bagi pelanggan AWS. Ini termasuk alat pembuatan bahasa Hugging Face untuk membangun aplikasi AI generatif untuk melakukan tugas-tugas seperti meringkas teks, menjawab pertanyaan, membuat kode, membuat gambar, dan menulis esai dan artikel.
Model akan berjalan pada akselerator ML yang dibuat khusus oleh AWS untuk pelatihan (AWS Trainium) dan inferensi (AWS Inferentia) dari model bahasa dan visi yang besar. Keuntungan dari model ini mencakup pelatihan yang lebih cepat dan penskalaan latensi rendah, inferensi throughput tinggi. Amazon mengklaim instans Trainium menawarkan biaya pelatihan 50% lebih rendah dibandingkan instans berbasis GPU yang sebanding.
Model Hugging Face di AWS dapat digunakan dengan tiga cara: melalui SageMaker JumpStart, alat AWS untuk membuat dan menerapkan model bahasa mesin; AWS Deep Learning Containers (DLC) Wajah Memeluk; atau tutorial untuk menerapkan model pelanggan ke AWS Trainium atau AWS Inferentia.
