Hugging Face 2.200 ICML Makalesini Yeniden Üretmeye Çalıştı: ML Araştırma Pratikleri Hakkında Ne Ortaya Koyuyor?
Tekrarlanabilirlik, makine öğrenmesi araştırmalarında uzun süredir devam eden bir sorun olmuştur; çünkü makaleler genellikle yayınlanan sonuçları doğrulamak için gereken kod, veri veya hesaplama ayrıntılarından yoksundur. Hugging Face, bu boşluğu doldurmak için ICML'deki 2.200 makaleyi yeniden üretmeye çalışarak sistematik bir çaba üstlenmiştir; ICML, alanın en prestijli etkinliklerinden biridir.
Bu girişim, araştırma şeffaflığına yapılan önemli bir yatırımı temsil etmektedir. Hugging Face ekibi, yayınlanan iddiaları olduğu gibi kabul etmek yerine, makaleleri metodik bir şekilde inceleyerek deneyleri yeniden üretmeye ve her makalede açıklanan yöntemleri ve kaynakları kullanarak bildirilen sonuçları doğrulamaya çalışmıştır.
Büyük ölçekli tekrarlanabilirlik çalışmaları, gereken önemli zaman, hesaplama gücü ve uzmanlık nedeniyle makine öğrenmesinde nadir görülmektedir. Bu çabayı üstlenerek Hugging Face, yayınlanan ML bulgularının ne sıklıkta incelemeye dayanabileceğine dair ampirik veriler üretmiştir — araştırmacıların ve uygulayıcıların sıklıkla tartıştığı ancak nadiren doğrudan ölçtüğü bir konu.
Bu projeden elde edilen bulgular, araştırma topluluğunun makaleleri nasıl değerlendirdiğini, konferansların tekrarlanabilirlik gereksinimlerine nasıl yaklaştığını ve uygulayıcıların hangi sonuçların üzerine inşa edilecek kadar sağlam olduğunu nasıl değerlendirdiğini bilgilendirebilir.