NVIDIA Blackwell Menghancurkan Benchmark AI Keuangan dengan Peningkatan Kecepatan 3,2x

Iris Coleman 05 Mar 2026 18:17

GB200 NVL72 NVIDIA mencetak rekor STAC-AI baru untuk inferensi LLM dalam perdagangan keuangan, menghadirkan performa hingga 3,2x lebih baik dari arsitektur Hopper.

Arsitektur Blackwell NVIDIA baru saja mencatatkan hasil tercepat dalam sejarah pada benchmark STAC-AI untuk inferensi LLM keuangan, dengan GB200 NVL72 menghadirkan peningkatan performa GPU tunggal hingga 3,2x dibanding generasi sebelumnya Hopper. Hasil 5 Maret 2026 ini penting bagi perusahaan perdagangan yang berlomba mengekstrak alpha dari analisis data tidak terstruktur.

Strategic Technology Analysis Center, yang telah melakukan benchmark beban kerja teknologi keuangan selama lebih dari 15 tahun, menguji Blackwell dengan skenario dunia nyata menggunakan pengajuan EDGAR 10-K—laporan tahunan padat yang diurai oleh dana kuantitatif untuk sinyal investasi. Menjalankan model Llama 3.1 dari Meta, GB200 NVL72 mencapai 37.480 kata per detik pada prompt keuangan berukuran sedang, dibandingkan dengan 8.237 WPS untuk sistem GH200 ganda.

Angka Mentah Menceritakan Kisahnya

Pada model Llama 3.1 8B dengan data EDGAR4, Blackwell memproses 224 permintaan per detik versus 51,5 RPS untuk Hopper—peningkatan 4,3x pada tingkat sistem. Kesenjangan melebar pada tugas yang lebih berat secara komputasi: model parameter 70B pada pengajuan EDGAR5 konteks panjang melihat throughput melonjak dari 41,4 WPS menjadi 150 WPS.

Apa yang memungkinkan peningkatan ini? Format kuantisasi NVFP4 baru NVIDIA, eksklusif untuk Blackwell, memampatkan model ke dalam jejak memori yang lebih kecil tanpa mengorbankan akurasi. Hopper menjalankan kuantisasi FP8; lompatan arsitektur ke presisi empat-bit pada Blackwell membuka delta throughput.

Performa Interaktif Penting untuk Perdagangan

Pemrosesan batch adalah satu hal. Keputusan perdagangan real-time memerlukan respons cepat. Di sini, Blackwell mempertahankan waktu reaksi yang lebih rendah (analog dengan waktu-ke-token-pertama) dan latensi antar-kata yang lebih baik bahkan ketika didorong ke throughput maksimum. Pada tingkat pemanfaatan yang sama, GB200 NVL72 secara konsisten mengalahkan GH200 pada metrik responsivitas di sebagian besar skenario pengujian.

Untuk meja perdagangan yang menjalankan analisis sentimen pada panggilan pendapatan atau mengurai berita terkini, keunggulan latensi tersebut diterjemahkan langsung menjadi pengambilan keputusan yang lebih cepat. Benchmark secara eksplisit menguji pipeline inferensi penuh termasuk tokenisasi—pekerjaan yang tidak bisa dilewati oleh deployment nyata.

Konteks Pasar

Saham NVIDIA diperdagangkan pada $181,41 pada 5 Maret, naik 1,1% pada hari itu, dengan kapitalisasi pasar perusahaan berada di $4,42 triliun. Arsitektur Blackwell, yang diumumkan di GTC 2024, dirancang khusus untuk beban kerja AI generatif. CEO Jensen Huang memposisikannya sebagai penggerak "revolusi industri baru," dan hasil benchmark ini memberikan bukti konkret untuk klaim tersebut di sektor keuangan.

Superchip GB200 Grace Blackwell menggabungkan dua GPU B200 dengan CPU Grace, menampilkan AI Tensor Cores yang dirancang ulang dan NVLink generasi kelima untuk scaling hingga 576 GPU. Hasil MLPerf sebelumnya menunjukkan peningkatan pelatihan 2,2x pada Llama 3.1 405B; angka STAC-AI ini mengonfirmasi keuntungan serupa meluas ke inferensi.

Hopper Masih Relevan

Perlu dicatat: arsitektur Hopper yang berusia tiga tahun mencatatkan angka yang terhormat. Perusahaan perdagangan dengan deployment GH200 yang ada tidak menjadi usang dalam semalam. Tetapi untuk pembangunan baru atau perusahaan di mana kecepatan inferensi berdampak langsung pada pengembalian, ekonomi Blackwell terlihat menarik—NVIDIA mengklaim pengurangan hingga 25x dalam biaya operasional inferensi LLM dibandingkan generasi sebelumnya.

Laporan STAC lengkap, termasuk metrik mode interaktif terperinci di berbagai tingkat kedatangan, tersedia melalui saluran resmi STAC. Institusi keuangan yang mengevaluasi peningkatan infrastruktur AI sekarang memiliki data pihak ketiga yang telah diaudit untuk menginformasikan keputusan pengadaan.

• nvidia
• blackwell
• inferensi ai
• perdagangan keuangan
• llm