Cerebras, yapay zeka için 900.000 çekirdekli 125 PetaFLOPS plaka ölçeğinde işlemciyi piyasaya sürüyor; teorik olarak yaklaşık 62 Nvidia H100 GPU’ya eşdeğer
Cerebras Systems, önceki modelin iki katı performansa sahip çığır açıcı bir AI yonga levha ölçeği çipi olan Wafer Scale Engine 3’ü (WSE-3) tanıttı. WSE-2. Bu yeni cihaz, TSMS’nin 5nm sınıfı üretim süreciyle üretilen 4 trilyon transistörü içeriyor; 900.000 yapay zeka çekirdeği; 44 GB çip üzerinde SRAM; ve 125 FP16 PetaFLOPS’luk zirve performansına sahiptir. Ceberas’ın WSE-3’ü endüstrinin en büyük yapay zeka modellerinden bazılarını eğitmek için kullanılacak.
WSE-3, Cerebras’ın 24 trilyona kadar parametreye sahip yapay zeka modellerini eğitmek için kullanılabilen CS-3 süper bilgisayarına güç veriyor; bu, WSE-2 tarafından desteklenen süper bilgisayarlar üzerinde önemli bir sıçrama ve diğer modern yapay zeka işlemcileri. Süper bilgisayar, 1,5 TB, 12 TB veya 1,2 PB harici belleği destekleyebilir; bu, büyük modelleri bölümlendirmeye veya yeniden düzenlemeye gerek kalmadan tek bir mantıksal alanda depolamasına olanak tanıyarak eğitim sürecini kolaylaştırır ve geliştirici verimliliğini artırır.
Ölçeklenebilirlik açısından CS-3, 2048’e kadar sistemden oluşan kümeler halinde yapılandırılabilir. Bu ölçeklenebilirlik, dört sistemli bir kurulumla yalnızca bir günde 70 milyar parametre modeline ince ayar yapılmasına ve Lama 70B modeli aynı zaman diliminde sıfırdan tam ölçekte.
En yeni Cerebras Yazılım Çerçevesi, PyTorch 2.0 için yerel destek sunar ve aynı zamanda eğitimi hızlandırabilen, geleneksel yöntemlere göre sekiz kata kadar daha hızlı olan dinamik ve yapılandırılmamış seyrekliği destekler.
Resim 1 ile ilgili 2
Cerebras, CS-3’ün üstün güç verimliliğini ve kullanım kolaylığını vurguladı. Performansını iki katına çıkarmasına rağmen CS-3 önceki modelle aynı güç tüketimini koruyor. Ayrıca GPU’lara kıyasla %97’ye kadar daha az kod gerektiren büyük dil modellerinin (LLM’ler) eğitimini de basitleştirir. Örneğin şirkete göre GPT-3 boyutlu bir model Cerebras platformunda yalnızca 565 satır kod gerektiriyor.
Şirket halihazırda CS-3’e ciddi bir ilgi gördü ve çeşitli sektörlerden önemli bir sipariş birikimine sahip. girişim, hükümet ve uluslararası bulutlar. Cerebras ayrıca Argonne Ulusal Laboratuvarı ve Mayo Kliniği gibi kurumlarla da işbirliği yaparak CS-3’ün sağlık alanındaki potansiyelini vurguluyor.
Cerebras ve G42 arasındaki stratejik ortaklık, 64 CS-3 sistemine (çok büyük bir 57.600.000 çekirdeğe sahip) sahip bir yapay zeka süper bilgisayarı olan Condor Galaxy 3’ün yapımıyla da genişleyecek. İki şirket birlikte halihazırda dünyadaki en büyük yapay zeka süper bilgisayarlarından ikisini yarattı: Kaliforniya merkezli ve toplam performansı 8 kat olan Condor Galaxy 1 (CG-1) ve Condor Galaxy 2 (CG-2). ExaFLOP’lar. Bu ortaklık, dünya çapında onlarca exaFLOP yapay zeka hesaplaması sunmayı amaçlıyor.
G42 Grup CTO’su Kiril Evtimov, “Cerebras ile olan stratejik ortaklığımız, G42’de inovasyonu ilerletmede etkili oldu ve yapay zeka devriminin küresel ölçekte hızlanmasına katkıda bulunacak” dedi. “8 exaFLOP’a sahip bir sonraki yapay zeka süper bilgisayarımız Condor Galaxy 3 şu anda yapım aşamasında ve yakında sistemimizin toplam yapay zeka hesaplama üretimini 16 exaFLOP’a çıkaracak.”
Yorum gönder