Fujitsu, LLM’yi eğitmek için Fugaku süper bilgisayarını kullanıyor: 13 milyar parametre

Fujitsu, LLM’yi eğitmek için Fugaku süper bilgisayarını kullanıyor: 13 milyar parametre

Fujitsu’nun Fugaku süper bilgisayarı artık Top 500 süper bilgisayar listesinde dünyanın en hızlı makinesi olmasa da hâlâ çok yetenekli bir sistem ve A64FX işlemcinin çok yönlülüğü, yapay zeka gibi çeşitli iş yükleri için kullanılmasına olanak tanıyor. Bu hafta Fujitsu, hem araştırma hem de ticari uygulamalar için tasarlanmış, gelişmiş Japonca dil işleme yeteneklerine sahip büyük bir dil modeli olan Fugaku-LLM’yi piyasaya sürdü.

Fujitsu’nun Fugaku-LLM’si, çeşitli yapay zeka ve geleneksel süper bilgisayar uygulamaları için FP64, FP32, FP16 ve INT8 modlarını destekleyen A64FX işlemciyi temel alan Fugaku süper bilgisayarının 13.824 düğümünde 380 milyar jeton kullanılarak eğitildi. Fugaku-LLM’nin eğitimi doğal olarak süper bilgisayarın mimarisi ve Tofu ara bağlantısı D için optimize edilmiş dağıtılmış paralel öğrenme tekniklerinden yararlandı.

Yorum gönder