Hasło słownika
Benchmarki
Zestawy testów, które porównują modele i podejścia w powtarzalny sposób.
AIkategoria
1aliasy
Benchmarks
Opis
Benchmarki są przydatne, ale często nie odzwierciedlają Twojego przypadku użycia. Najlepiej łączyć je z własnymi evalami na danych firmowych.
Przykłady
- Model A wygrywa na benchmarku, ale przegrywa na Twoich ticketach - i to jest ważniejsze.
- Porównujesz dwa rerankery na tej samej próbce pytań.