Kaynak sitesine göre, bir kullanıcı destek biletlerini sınıflandırmaya çalışan bir dil modelinde, prompt şablonunun sonunda kalan boşluk karakterinin BPE tokenizasyonunu bozduğunu fark etti. Bu tek harfli hata, 300 örnekten yaklaşık 41'ini çöp çıktı olarak (boşluk, büyük harf veya eksik kelime) sınıflandırmaya neden oldu. Kullanıcı bu boşluğu kaldırdığında başarısız sonuç oranı üçe düştü.
Kaynak notu: Bu kısa haber tek bir yayıncının aktarımına dayanır; bağımsız kaynaklarla doğrulanmamıştır.
Kaynak: Dev.to · Haberi kaynağında oku ↗