AMD Instinct'teki AI hızlandırıcılar nelerdir?

Hiç şüphe yok ki NVIDIA, popüler ve çeşitli grafik kartı serileriyle paralel hesaplama alanına hakim olmaya devam ediyor. Ancak AMD'nin Instinct AI hızlandırıcılarının en yeni ve en büyük süper bilgisayarlarından ikisine (Frontier ve El Capitan) güç vermesi ve açık kaynaklı ROCm platformuna yönelik artan topluluk desteğiyle NVIDIA şimdiye kadarki en büyük rakibini bulmuş olabilir.

Peki AMD Instinct'teki AI hızlandırıcılar tam olarak nedir? Onu güçlü kılan nedir ve NVIDIA'nın Tensor GPU'larıyla karşılaştırıldığında nasıldır? Doğrulamak AMD işlemcili anakart ile Intel işlemcili anakart arasındaki fark nedir?

AMD İçgüdü nedir?

AMD Instinct GPU'lar, yüksek performanslı bilgi işlem (HPC) ve yapay zekayla hızlandırılmış işlemler için kullanılan kurumsal cihazlardır. Sıradan, tüketici düzeyindeki GPU'lardan farklı olarak Instinct GPU'lar, yazılım ve donanım yenilikleri aracılığıyla yapay zeka öğrenimini, büyük veri işlemeyi ve diğer yüksek performanslı görevleri daha iyi yönetmeye adanmıştır.

AMD'nin Instinct serisi, saniyede çift duyarlıklı işlemlerde 1.1 EFLOP hızında çalışan, üst düzey bilgi işlem engelini aşan ilk süper bilgisayara güç vermek için kullanıldı. Instinct GPU'lara sahip süper bilgisayarlar şu anda kanser tedavileri, sürdürülebilir enerji ve iklim değişikliği araştırmalarında kullanılıyor.

Yüksek performanslı bilgi işlem (HPC), bilimsel araştırma, mühendislik, güvenlik ve diğer alanlar için gerekli olan karmaşık simülasyonları ve hesaplamaları gerçekleştirerek modern dünyamızın önemli bir parçası haline geldi. Ancak, genellikle süper bilgisayarlarda ve büyük veri merkezlerinde HPC'ye olan talep arttıkça, bunun çevresel etkisine ilişkin endişeler de arttı. Son yıllarda, toplam sahip olma maliyeti ve iklimle ilgili kaygılar göz önüne alındığında, veri merkezi sürdürülebilirliğine giderek daha fazla odaklanılıyor.

Instinct GPU'lar zekayı ve yüksek performanslı bilgi işlemi nasıl hızlandırır?

Dünyanın en güçlü ana bilgisayar sunucularının ve süper bilgisayarlarının Exascale seviyesinde işlem yapabilmesi için AMD Instinct hızlandırıcılarının birçok teknolojik iyileştirme ve yenilikle donatılması gerekiyordu.

AMD Instinct GPU'larda kullanılan yeni ve güncellenmiş teknolojilerden bazılarını tartışalım.

1. Teknoloji Mimarisi (CDNA)

En yeni AMD Instinct hızlandırıcıları (MI100'den başlayarak) şirketin CDNA mimarisini kullandı.

CDNA temel olarak Matrix Core teknolojisi aracılığıyla paralel işleme, bellek hiyerarşisi ve gelişmiş hesaplama performansı gibi özelliklere odaklanır. Bireysel sunucularda çalışan HPC ve AI veya makine öğrenimi bile CDNA'nın yanı sıra devasa Exascale bilgisayarları tarafından desteklenebilir.

AMD Matrix Core teknolojisi, karma duyarlıklı işlemleri destekleyerek yapay zeka öğrenimini hızlandırır. Farklı çözünürlüklerde hesaplama yeteneği, Instinct GPU'ların gerekli doğruluk düzeyine göre matris işlemlerini verimli bir şekilde hesaplamasına olanak tanır.

En yaygın hesaplama çözünürlüğü formatları FP64, FP32, FP16, BF16 ve INT8'dir. FP Kayan Nokta anlamına gelir, BF Beyin Kayan Noktası anlamına gelir ve INT Tam Sayı anlamına gelir. Formata karşılık gelen sayı ne kadar büyük olursa hesaplama o kadar doğru olur. 64-bit'te çalışmak çift duyarlıklı olarak bilinir. 32 bit ile hassasiyet tektir, 16 bit ile yarı hassasiyet vb.

Derin öğrenme modellerinin eğitiminin büyük bir kısmı çok fazla hassasiyet gerektirmediğinden, çıkarım için matris işlemlerini yarım veya hatta çeyrek hassasiyetle hesaplama yeteneğine sahip olmak, iş yükünü büyük ölçüde azaltır ve böylece yapay zeka öğrenimini hızlandırır. Doğrulamak Snapchat veya ChatGPT'den Yapay Zekam: Hangisini kullanmalısınız?

2. Yüksek Bant Genişliğine Sahip Bellek (HBM)

Her AMD Instinct hızlandırıcı 880'e kadar Matrix Çekirdeğiyle birlikte gelir. Yarım dakikada 383 TFLOP hesaplama yapabilen AMD'nin Matrix Core işlemcileri ile ultra hızlı bellek şarttır. AMD'nin en yeni Instinct teklifi, alışılagelmiş DDR4 veya DDR5 RAM yerine Yüksek Bant Genişlikli Bellek (HBM) ile birlikte geliyor.

Geleneksel bellekten farklı olarak, HBM üç boyutlu yığılmış mimari olarak bilinen bir yapı kullanır. Bu mimari türü, DRAM modüllerinin dikey olarak üst üste yığıldığı bir tasarım yaklaşımını ifade eder. Bu, modüllerin hem dikey hem de yatay eksenlerde yığılmasına olanak tanır, bu nedenle üç boyutlu yığma terimi kullanılır.

Bu 5D istifleme teknolojisini kullanan HBM, modül başına birkaç yüz gigabayta kadar fiziksel bellek kapasitesine sahip olabilirken, DRRXNUMX modül başına yalnızca onlarca gigabayt kapasiteye sahip olabilir. Kapasite dışında, HBM'nin normal DDR belleklere kıyasla aktarım hızı ve daha iyi güç verimliliği açısından daha yüksek performansa sahip olduğu biliniyor.

3. Sonsuzluk Kumaşı

Instinct GPU'larda yerleşik olarak bulunan bir diğer yenilik ise AMD'nin Infinity Fabric teknolojisidir. Infinity Fabric, CPU'ları ve GPU'ları dinamik, akıllı bir şekilde birbirine bağlayan bir tür ara bağlantı sistemidir. Bu, bileşenlerin birbirleriyle verimli bir şekilde iletişim kurmasını sağlar.

Infinity Fabric ile bileşenleri normal bir veri yoluna bağlamak yerine bileşenler artık bant genişliğinin saniyede birkaç yüz gigabayta ulaşabildiği ağ benzeri bir konfigürasyonda bağlanıyor.

Infinity Fabric, ağ benzeri ara bağlantının yanı sıra frekansı, veri aktarım hızlarını ve diğer uyarlanabilir davranışları dinamik olarak kontrol etmek, performansı artırmak ve gecikmeyi azaltmak için her modelde yerleşik sensörler kullanır.

4. ROCm geliştirme platformu

NVIDIA'nın CUDA'sı (Birleşik Bilgi İşlem Cihazı Mimarisi), yapay zeka modellerinin eğitimi için en yaygın kullanılan geliştirme platformudur. CUDA'nın sorunu yalnızca NVIDIA GPU'larla çalışmasıdır. Bu, NVIDIA'nın HPC ve AI hızlandırıcılarda pazar paylarının büyük çoğunluğunu elinde tutmasının ana nedenlerinden biridir.

AMD, HPC ve yapay zeka pazarından daha büyük bir pay almak istediğinden, kendi platformları olan ROCm'yi (Radeon Open Compute) geliştirmek zorunda kaldılar. ROCm, Instinct GPU'ların yapay zeka hızlandırıcıları olarak kullanılmasına olanak tanıyan açık kaynaklı bir yazılım platformudur.

Her ne kadar Instinct donanımının bir parçası olmasa da, ROCm, Instinct GPU serisinin hayatta kalması açısından kilit önem taşıyor. Geliştiriciler ve araştırmacılar, ROCm ile ROCm araçlarına, derleyiciye, çekirdek sürücülerine, tam bir kitaplık setine ve en sevdikleri yapay zeka programlama diliyle geliştirme yapmak için TensorFlow ve PyTorch gibi çerçevelere erişime sahip olur.

AMD Instinct'teki AI hızlandırıcılar Radeon'dakilerle karşılaştırıldığında nasıldır?

AMD, Instinct kurumsal GPU ve Radeon tüketici GPU serisini sunuyor. Daha önce tartışıldığı gibi Instinct işlemci, ara bağlantı için AMD ve HBM'nin CDNA mimarisini ve Infinity Fabric'i kullanıyor. Bunun tersine, Radeon işlemcileri AMD'nin RDNA mimarisini, DDR6 belleğini ve Infinity Cache'i kullanır.

Radeon AI hızlandırıcı serisi daha az yetenekli olmasına rağmen yine de hesaplama birimi başına bir veya iki AI hızlandırıcı çekirdeği barındırıyor. En yeni Radeon RX7900 XT GPU, işlem birimi başına iki AI hızlandırıcı çekirdeğine sahip olup, 103 TFLOP yarı maksimum çözünürlük ve 52 TFLOP tek tepe çözünürlüğü sağlar.

Instinct serisi GPU'lar LLM'ler ve HPC'ler için daha uygun olsa da Radeon AI hızlandırıcıları, önceden eğitilmiş modellerde ince ayar yapmak, çıkarım yapmak ve yoğun grafik gerektiren görevlerde kullanılabilir.

AMD Instinct ve NVIDIA Tensor arasındaki karşılaştırma

Bir ankete göre TrendForce NVIDIA, sunucu GPU'ları pazar payının yaklaşık %80'ine sahipken, AMD geri kalanın yalnızca %20'sine sahiptir. NVIDIA'nın bu ezici başarısı, grafik işlem birimlerinin tasarlanması ve montajı konusunda uzmanlaşmış bir şirket olmasından kaynaklanmaktadır. Bu, diğer tekliflerle karşılaştırılamayan, daha iyi performans gösteren GPU'lar tasarlamasına olanak tanır.

AMD'nin Instinct MI205X'ini ve NVIDIA'nın H100SXM5'ini aşağıdaki teknik özellikleri kullanarak karşılaştıralım: AMD resmi web sitesiVe NVIDIA veri sayfası Kendi:

Tabloda görüldüğü gibi AMD'nin MI250X'i çift duyarlıklı ve yarı duyarlıklı hesaplamalarda daha iyi performans gösterirken NVIDIA'nın H100SXMS'si yarı duyarlıklı ve çeyrek duyarlıklı matris hesaplamalarında çok daha iyi performans gösteriyor. Bu, AMD'nin MI250X'ini HPC için daha uygun hale getirirken NVIDIA'nın AI öğrenme ve akıl yürütme özellikli H100SXMS'sini daha uygun hale getirir. Doğrulamak Linux'ta AMD ve NVIDIA Ekran Kartları Karşılaştırması: Hangisini Kullanmalısınız?

AMD Instinct işlemci alıcısı

AMD'nin en son ürünü MI250X, HPC için tasarlanmış olsa da, gelecek MI300 daha çok yapay zeka eğitimine yöneliktir. Bu AI hızlandırıcının, GPU ve CPU'yu tek bir pakette birleştiren bir APU olduğu açıklandı. Bu, MI300 GPU'nun, GPU ve CPU'nun yalnızca tek bir bellek kullanacağı CNDA3 Birleşik Bellek APU mimarisini kullanmasına olanak tanıyarak verimliliği artırır ve fiyatı düşürür.

AMD, bugün AI hızlandırıcı pazarında NVIDIA ile rekabet etmeyecek olsa da, MI300 piyasaya sürüldüğünde ve ROCm geliştikçe AMD'nin Instinct serisi, AI hızlandırıcı pazarının önemli bir bölümünü NVIDIA'dan kapacak kadar iyi olabilir. Şimdi görüntüleyebilirsiniz Nvidia GTX ile Nvidia RTX arasındaki fark nedir?