USB4 ile Yapay Zeka Modelleri Birden Fazla PC'de Çalışacak

Microsoft, USB4 ile yapay zeka modellerini birden fazla bilgisayarda çalıştırmayı sağlayan RDMA altyapısını Windows Insider için duyurdu.

USB4 kabloları ile birbirine bağlanan masaüstü bilgisayarların yerel yapay zeka kümesi donanım kurulumu
Fotoğraf: Nathan Anderson / Unsplash

Microsoft, USB4 ile yapay zeka modellerinin birden fazla bilgisayarın belleği birleştirilerek çalıştırılmasını sağlayan yeni RDMA over USB4 teknolojisini tanıttı.

Yüksek parametreli büyük dil modellerini (LLM) yerel donanımlarda çalıştırmak isteyen kullanıcıların karşılaştığı en temel engel bellek yetersizliğidir. Açık kaynaklı modeller tek bir bilgisayarın grafik belleğine sığmadığında sistemler işlevsiz kalabilmektedir. ShiftDelete.Net ve TechPowerUp tarafından aktarılan bilgilere göre Microsoft, USB4 kablolarıyla bağlanan bilgisayarların bellek ve grafik birimlerini birleştiren RDMA over USB4 teknolojisini duyurdu. Bu mimari sayesinde harici ağ kartı gerekmeden yapay zeka modelleri birden çok bilgisayara dağıtılarak çalıştırılabiliyor. USB4 ile yapay zeka modellerini kümeleyerek çalıştırmak, yerel geliştiriciler için maliyetli sunuculara güçlü bir alternatif sunuyor.

Pahalı sunucu altyapılarını ev veya ofis ortamına taşımak yerine mevcut portlar kullanılıyor.

RDMA over USB4 Nedir ve Nasıl Çalışır?

Uzaktan Doğrudan Bellek Erişimi (RDMA), iki sistemin belleği arasında veriyi geleneksel ağ katmanlarını atlayarak doğrudan taşıyan bir protokoldür. Veri merkezlerinde düşük gecikme ve minimum işlemci yükü sağlayan bu yapı, Windows tarafında uzun süredir NetworkDirect arayüzüyle destekleniyordu. Ancak söz konusu destek şimdiye dek yalnızca InfiniBand ve sunucu sınıfı Ethernet kartlarıyla sınırlıydı. Microsoft Tech Community blogunda paylaşılan bilgilere göre yeni teknoloji, ek bir RDMA kartı, harici ağ anahtarı veya üçüncü taraf sürücüye gerek duymadan doğrudan USB4 denetleyicisi üzerinden çalışıyor.

Büyük bir model tensör paralelliğiyle birden çok makineye bölündüğünde, cihazlar her token üretiminde birbirleriyle sık veri alışverişi yapar. Bu tür dağıtık mimarilerde hızı bant genişliğinden çok gecikme süresi belirler. Microsoft ölçümlerine göre RDMA over USB4, küçük veri paketlerinde gidiş-dönüş gecikmesini 28 ile 50 mikrosaniye arasına indiriyor. Bu değer, aynı USB4 hattındaki standart Ethernet (UDP) protokolüne kıyasla yaklaşık 4 kat daha düşük gecikme anlamına geliyor.

Düşük gecikme, modellerin bölünmüş düğümler arasında takılmadan hesaplama yapmasını mümkün kılıyor.

USB4 ile Yapay Zeka Kümelerinde AMD ve Intel Test Sonuçları

Microsoft'un laboratuvar testleri AMD ve Intel platformlarında yürütüldü. Şirket, bu donanımların çalışan tek seçenekler olmadığını, yalnızca ilk test edilen sistemler olduğunu belirtiyor. Denemelerde, Radeon 8060S grafik birimine ve 128 GB birleşik belleğe sahip üç AMD Ryzen AI Max mini bilgisayar birbirine bağlandı. Kurulan üçlü küme, 235 milyar parametreli Qwen3-235B-A22B modelini 4 bit nicemleme ile saniyede yaklaşık 18,5 token hızında çalıştırdı. AMD'nin kendi üçlü kurulumunda ise saniyede 21,98 token üretim ve 117,98 token istem işleme hızına ulaşıldı. AMD Kıdemli Başkan Yardımcısı ve Yazılım Direktörü Andrej Zdravkovic, kümelemenin yerel yapay zekada yeni olanaklar sunmak için kritik olduğunu kaydetti.

Intel tarafında ise Thunderbolt 4 bağlantılı Core Ultra Series 3 işlemcili bilgisayarlarla dörtlü bir küme test edildi. Normalde 64 GB belleğe sığmayan yaklaşık 120 milyar parametreli GPT-OSS-120B modeli, 1K token bağlamda üç bilgisayarla saniyede yaklaşık 49, dört bilgisayarla yaklaşık 54 token üretti.

Donanım Gereksinimleri ve Güvenli Önyükleme Kısıtlamaları

Kurulum için Windows tarafından yönetilen ve Çekirdek DMA Koruması açık USB4 bağlantı noktalarına sahip en az iki bilgisayar gerekiyor. 40 Gbps bağlantılar desteklenirken, Thunderbolt 5 gibi 80 Gbps bağlantılar bant genişliğini iki katına çıkarıyor. N adet bilgisayarı bağlamak için her cihazda N-1 adet USB4 portu bulunması ve cihazların birbirine doğrudan kabloyla bağlanması şart. Microsoft, ciddi performans kaybı nedeniyle bilgisayarların zincirleme (daisy-chain) bağlanmasını önermiyor.

Yazılım tarafında ise özellik henüz genel kullanıma açık değil; yakında Windows Insider Deneysel kanalına gelecek. Özelliği etkinleştirmek için kayıt defteri düzenlemesi, test imzalama modu ve donanım yazılımında Güvenli Önyükleme (Secure Boot) özelliğinin kapatılması gerekiyor. Microsoft, USB4 için NetworkDirect sağlayıcısını ve llama.cpp test ortamını açık kaynak yayınladı; ancak Türkiye fiyatları ve özelliğin kararlı sürüme geliş tarihi henüz açıklanmadı.

✍️
Editör Notu: Neden Önemli?
TeknoRest olarak değerlendirmemiz, Microsoft'un RDMA over USB4 hamlesinin yerel yapay zeka geliştiricileri için önemli bir bellek barajını yıktığı yönünde. Üç adet AMD Ryzen AI Max sistemin Radeon 8060S ve 128 GB birleşik bellek ile 235 milyar parametreli Qwen3 modelini çalıştırabilmesi, pahalı veri merkezi kartlarına olan bağımlılığı azaltma potansiyeli taşıyor. Küçük paketlerde 28 ile 50 mikrosaniye seviyesine inen gecikme mimari açıdan çok başarılı olsa da madalyonun diğer yüzünü göz ardı etmemek gerekiyor. Sistemin çalışması için test imzalama modunun ve dolayısıyla Güvenli Önyükleme (Secure Boot) özelliğinin kapatılması zorunluluğu, bize göre kurumsal ortamlarda ve günlük kullanılan ana bilgisayarlarda ciddi bir güvenlik açığı doğurabilir. Donanım maliyetleri ve son kullanıcıya yönelik nihai kurulum kolaylığı ise yanıt bekleyen en temel soru işaretleri arasında yer alıyor.

Sıkça Sorulan Sorular (SSS)

RDMA over USB4 kurulumu için hangi donanım gereksinimleri aranıyor?

Windows tarafından yönetilen ve Çekirdek DMA Koruması açık USB4 portlarına sahip en az iki bilgisayar gerekiyor. N adet bilgisayarı bağlamak için her cihazda N-1 adet port bulunmalı ve bilgisayarlar birbirine doğrudan USB4 kablosuyla bağlanmalıdır.

Bu teknoloji neden standart Ethernet yerine tercih ediliyor?

RDMA over USB4, küçük veri paketlerinde gidiş-dönüş gecikmesini 28 ile 50 mikrosaniye arasına indirerek aynı USB4 bağlantısı üzerindeki Ethernet (UDP) protokolüne kıyasla yaklaşık 4 kat daha düşük gecikme sağlıyor.

Geliştirici önizlemesini denemek için hangi Windows ayarlarının yapılması gerekiyor?

Özellik varsayılan olarak kapalı geliyor; etkinleştirmek için kayıt defteri ayarı, test imzalama modu ve cihazın donanım yazılımında Güvenli Önyükleme'nin (Secure Boot) kapatılması gerekiyor.

Hazırlayan: Teknorest Editör Ekibi
🛡️ Kaynak: ShiftDelete.Net. Haber, kaynakta yer alan bilgiler temel alınarak hazırlanmış; Türkiye bağlamı, okura etkisi ve editör değerlendirmesi TeknoRest tarafından eklenmiştir. Künye & Yasal Bildirim