Google'ın DiffusionGemma'sı Ardışık Olmayan Metin Üretimi Sağlıyor
Google, çoğu büyük dil modelinin kullandığı ardışık işleme yaklaşımından ayrılan yeni bir yapay zeka modeli mimarisi olan DiffusionGemma'yı duyurdu.
Geleneksel Modellerden Nasıl Farklı?
GPT ve Gemini gibi standart dil modelleri, metni otoregresif olarak işler ve her seferinde bir belirteci soldan sağa doğru üretir. Bu ardışık yapı, her belirtecin tüm önceki belirteçlere bağlı olması anlamına gelir ve bu da üretim hızında bir darboğaz oluşturur.
Bunun yerine DiffusionGemma, Stable Diffusion gibi görüntü oluşturma modellerinin resimler oluşturma şekline benzer şekilde difüzyon tabanlı bir yaklaşım kullanır. Model, metni ardışık olmayan şekilde işleyebilir ve üretebilir, bu da potansiyel olarak çıktıları daha verimli bir şekilde üretebilir.
Teknik Yaklaşım
Model, Google'ın Gemma çerçevesi üzerine inşa edilmiştir ve ayrık metin verilerine difüzyon tekniklerini uygular. Önceki belirteçlere dayalı olarak bir sonraki belirteci tahmin etmek yerine, tüm dizi genelinde eşzamanlı olarak yinelemeli bir iyileştirme yoluyla metni gürültüden arındırmayı ve yeniden oluşturmayı öğrenir.
Etkileri
Bu mimari birkaç avantaj sunabilir:
- Paralel işleme: Metnin bölümleri ardışık olarak değil, eşzamanlı olarak üretilebilir
- Hız iyileştirmeleri: Tam yanıtlar için azaltılmış bekleme süresi
- Yeni yetenekler: Tüm diziyi yeniden işlemeksizin metnin belirli bölümlerini değiştirme veya yeniden üretme yeteneği