Hugging Face, Yerel AI Çıkarımı İçin WebGPU Çekirdek Kütüphanesini Yayınladı
Hugging Face, AI modellerini yerel olarak çalıştırmak için özel olarak geliştirilmiş 200'den fazla WebGPU çekirdeği sunan @huggingface/kernels adlı yeni bir kütüphane tanıttı. Bu yayın, verilerin uzak sunuculara gönderilmesini gerektirmeyen, gizliliği koruyan, düşük gecikmeli AI çıkarımına yönelik artan talebe yanıt veriyor.
WebGPU, tarayıcılara DirectX 12, Vulkan ve Metal gibi GPU hesaplama yeteneklerine doğrudan erişim sağlayan bir web standardıdır. Yeni çekirdekler, WebGPU'dan yararlanarak AI iş yüklerinin uyumlu donanımlarda web ortamlarında doğrudan verimli bir şekilde çalışmasını sağlıyor.
Kütüphane, doğal dil işleme ve bilgisayar görüşü görevlerinde yaygın olarak kullanılan dönüştürücü tabanlı modeller ve diğer mimariler için gereken yaygın işlemlere odaklanıyor. Hugging Face, önceden optimize edilmiş çekirdekler sağlayarak, sohbet botlarından görüntü oluşturma araçlarına kadar istemci tarafında AI uygulamaları geliştiren geliştiriciler için engelleri azaltmayı hedefliyor.
Bu gelişme, hesaplamanın bulut altyapısından son kullanıcı cihazlarına kaydığı edge AI'ya doğru daha geniş bir sektör trendiyle uyumlu. Modelleri yerel olarak çalıştırmak, hassas bilgilerin kullanıcının cihazından ayrılmaması sayesinde azaltılmış gecikme süresi, çevrimdışı yetenek ve geliştirilmiş veri gizliliği dahil avantajlar sunuyor.
@huggingface/kernels kütüphanesi, yerel AI çıkarımı gerektiren projelere entegre etmek isteyen geliştiricilerin kullanımına sunulmuş olup, Hugging Face'in makine öğrenimi dağıtımı için mevcut araç ekosisteminin tamamlayıcısı niteliğinde.