Yapay zeka altyapısının maliyetinden bahsedildiğinde, genellikle akla ilk gelen isim Nvidia ve GPU'lar oluyor. Ancak son dönemde hafıza (bellek), bu resimde giderek daha önemli bir yer tutmaya başlıyor. Büyük bulut sağlayıcıları milyarlarca dolarlık yeni veri merkezleri kurmaya hazırlanırken, DRAM çiplerinin fiyatı son bir yılda yaklaşık 7 kat arttı. Aynı zamanda, doğru verinin doğru zamana doğru ajana ulaşmasını sağlamak için tüm belleği yönetme konusunda giderek artan bir disiplin hakim oluyor.
Bellek Yönetiminin Yapay Zeka İçin Önemi
Bu hafızayı ustaca yönetebilen şirketler, daha az token ile aynı sorguları yapabilme yeteneğine sahip olacaklar; bu da ayakta kalmak ile batmak arasındaki farkı yaratabilir. Yarı iletken analisti Dan O’Laughlin, Substack hesabında hafıza çiplerinin önemine dair ilginç bir bakış açısı sunuyor. Bu bölümde, Anthropic'in önbellekleme (prompt caching) dokümantasyonunun artan karmaşıklığına dikkat çekiliyor. Başlangıçta basit bir sayfa olan önbellekleme, artık tam olarak ne kadar önbellek yazma işlemi önceden satın alınması gerektiğine dair bir ansiklopediye dönüşmüş durumda. Sektörde yaygın olan 5 dakikalık ve 1 saatlik gibi farklı zaman dilimleri sunuluyor. Önceden satın alınan önbellek yazma sayısına bağlı olarak önbellek okumaları için sunulan fiyatlandırmada çeşitli arbitraj fırsatları da mevcut.
Maliyet Avantajı ve Gelecek Fırsatları
Asıl soru, Claude'un istemi (prompt) önbellekte ne kadar süreyle tuttuğu. Kullanıcılar 5 dakikalık bir pencere için ödeme yapabilir veya daha uzun süreli bir pencere için daha fazla ödeme yapabilirler. Önbellekteki veriye erişmek çok daha ucuz olduğundan, eğer doğru yönetilirse önemli ölçüde tasarruf sağlanabilir. Ancak her yeni veri parçası, önbellek penceresindeki başka bir veriyi dışarı atabilir. Bu karmaşık bir konu olsa da, ana fikir oldukça basit: Yapay zeka modellerinde belleği yönetmek, gelecekte yapay zekanın büyük bir parçası olacak. Bunu iyi yapan şirketler öne çıkacak ve bu yeni alanda hala yapılması gereken çok ilerleme var. Veri merkezlerinin sahip oldukları farklı bellek türlerini nasıl kullandıkları gibi daha alt seviyedeki konularda da fırsatlar mevcut. Şirketler bellek düzenlemesinde daha iyi hale geldikçe, daha az token kullanacaklar ve çıkarım (inference) maliyetleri düşecek. Bu durum, şu anda kârlı görünmeyen birçok uygulamanın hayata geçmesini sağlayacak.
