השאלה המועילה הפסיקה להיות אם המודל נראה טוב בדמו. השאלה המועילה היא אם המערכת שורדת שינוי פרומפט, החלפת מודל ויום שלישי גרוע בלי להידרדר בשקט.
evals הם לא תחביב benchmark
יש עדיין צוותים שמדברים על evals כאילו זאת הרגלת מחקר אופציונלית. זה היה נסבל כשהמערכת הייתה פרומפט אחד ומודל אחד.
זה לא נסבל כשיש במוצר retrieval, כלים, policies, פורמטים שונים של תשובה, כמה מחלקות כשל, ואנשים שישימו לב כשהכול נשבר.
ההכוונה הנוכחית של OpenAI ברורה. evals הם הדרך להבין מערכות לא-דטרמיניסטיות בפרודקשן. Anthropic אומרים כמעט אותו דבר מזווית אחרת. ברגע שהמערכת פועלת בכמה צעדים, צריך דרך מסודרת להגדיר הצלחה. אחרת כל רגרסיה הופכת לאנקדוטה.