Derin öğrenme modellerinin en büyük gizemlerinden biri, bu devasa sistemlerin neden belirli kararlar aldığını veya belirli çıktılar ürettiğini anlamaktır. İster xAI'nin Grok'un tuhaf politikalarını ayarlamak için verdiği mücadeleler, ister ChatGPT'nin yalakalık sorunları, ister sıradan halüsinasyonlar olsun, milyarlarca parametreye sahip bir sinir ağının içini anlamaya çalışmak hiç de kolay değil. San Francisco merkezli Guide Labs adlı startup, CEO Julius Adebayo ve baş bilim sorumlusu Aya Abdelsalam Ismail tarafından kuruldu ve bugün bu soruna bir çözüm sunuyor.
HER TOKEN'IN KÖKENİ İZLENEBİLİYOR
Şirket, Pazartesi günü Steerling-8B adlı 8 milyar parametreli bir büyük dil modelini açık kaynak olarak yayınladı. Bu model, eylemlerinin kolayca yorumlanabilmesi için tasarlanmış yeni bir mimariyle eğitildi: Modelin ürettiği her token, LLM'in eğitim verilerindeki kökenlerine kadar izlenebiliyor. Bu, modelin alıntıladığı gerçekler için referans materyalleri belirlemek kadar basit veya modelin mizah veya cinsiyet anlayışını anlamak kadar karmaşık olabiliyor. Adebayo, "Eğer cinsiyeti kodlamak için bir trilyon yolum varsa ve bunu sahip olduğum bir trilyon şeyin 1 milyarında kodlarsam, kodladığım o 1 milyar şeyin hepsini bulduğunuzdan emin olmalısınız ve sonra bunları güvenilir bir şekilde açıp kapatabilmelisiniz" diyor.
MODEL MİMARİSİ BAŞTAN YENİDEN TASARLANDI
Adebayo bu çalışmaya MIT'de doktorasını yaparken başladı ve 2020'de derin öğrenme modellerini anlamanın mevcut yöntemlerinin güvenilir olmadığını gösteren yaygın olarak alıntılanan bir makalenin ortak yazarlığını yaptı. Bu çalışma, nihayetinde LLM'ler oluşturmanın yeni bir yolunun yaratılmasına yol açtı: Geliştiriciler, verileri izlenebilir kategorilere ayıran bir kavram katmanını modele yerleştiriyor. Bu, başlangıçta daha fazla veri açıklaması gerektiriyor, ancak diğer yapay zeka modellerinden yardım alarak, şimdiye kadarki en büyük kavram kanıtlarını eğitebildiler. Adebayo, "İnsanların yaptığı yorumlanabilirlik türü... bir model üzerinde nörobilimdir ve biz bunu tersine çeviriyoruz" diye açıklıyor.
YENİ MODELİN PERFORMANS VE UYGULAMA ALANLARI
Guide Labs, Steerling-8B'nin mevcut modellerin yeteneklerinin %90'ını başarabileceğini, ancak yeni mimarisi sayesinde daha az eğitim verisi kullandığını söylüyor. Kasım 2024'te Y Combinator'dan çıkan ve Initialized Capital'den 9 milyon dolarlık tohum turu fonu alan şirketin bir sonraki adımı, daha büyük bir model oluşturmak ve kullanıcılara API ve aracı erişimi sunmaya başlamak. Adebayo, bu yorumlanabilir mimarinin herkesin ihtiyaç duyacağı bir şey olacağını savunuyor. Tüketiciye yönelik LLM'ler için bu teknikler, model geliştiricilerinin telif hakkıyla korunan materyallerin kullanımını engellemek veya şiddet veya uyuşturucu kötüye kullanımı gibi konularda çıktıları daha iyi kontrol etmek gibi şeyler yapmasına olanak tanıyacak.
