**CloudAI פרק 18 | מה באמת פתור ב-LLM Evaluation? עם פיליפ טנור - Deepchecks — Transcript & Summary | SozAI**
Source: https://sozai.app/transcript/cloudai-episode-18-llm-evaluation-philip-tenor/

דיון מעמיק על הערכת מודלים גדולים (LLM) עם פיליפ תנור, מנכ"ל דפ צ'קס, והאתגרים בבדיקת איכות התשובות.

## Key Takeaways

- הערכת LLM מורכבת יותר מהערכת מודלים מסורתיים כי אין תשובה אחת נכונה.
- הערכה אנושית איכותית אך לא פרקטית בסקייל גבוה בגלל עלות וזמן.
- שימוש במודל LLM לשיפוט (JAG) מהיר וזול אך סובל מפשטנות וחוסר יציבות.
- שיטת 'נחיל שופטים' משפרת את האמינות על ידי שילוב מומחים רבים.
- מדד human level agreement הוא קריטי לבחינת אמינות מערכות הערכה אוטומטיות.

## What the video covers

- פיליפ תנור מציג את דפ צ'קס ופלטפורמת הבדיקה האוטומטית ל-LLM ואפליקציות AI.
- הבדלים בין הערכה מסורתית (accuracy, benchmarks) לבין הערכה של LLM שאין לה תשובה אחת נכונה.
- האתגרים במדידת איכות תשובות ב-LLM: groundedness, relevance, coherence ועוד.
- הבעיות בשימוש בהערכה אנושית: יקרה, איטית, ולא סקלבילית.
- הסבר על גישת JAG - שימוש במודל LLM אחר לשיפוט התשובות ומה הבעיות בגישה זו.
- הצגת שיטת 'נחיל שופטים' (swarm of raters) שמשלבת מומחים רבים לקבלת החלטה אמינה יותר.
- השוואה בין שופטים אנושיים לשופטים אוטומטיים ומדד human level agreement.
- הסבר על mixture of experts - מודלים קטנים כל אחד מתמחה באספקט אחר של ההערכה.
- הקושי בהגדרת מהי תשובה טובה ומדידת איכות במצבים בהם יש מגוון תשובות נכונות.
- חשיבות הערכה מתקדמת ל-LLM כדי לאפשר שימוש אמין וסקלאבילי במודלים גדולים.

## Chapters

1. 00:00 הקדמה והיכרות עם פיליפ תנור ודפ צ'קס
2. 01:48 הבדלים בין הערכת מודלים מסורתיים להערכת LLM
3. 03:48 האתגרים במדידת איכות תשובות ב-LLM
4. 09:30 הבעיות בהערכת אנושית ו-JAG
5. 11:09 שיטת 'נחיל שופטים' והיתרונות שלה
6. 14:53 השוואה בין שופטים אנושיים לאוטומטיים ומדדי אמינות
7. 18:20 סיכום והמלצות לארגונים בשימוש ב-LLM

Answers

## Questions about this video

מה ההבדל בין הערכת מודלים מסורתיים להערכת LLM?

בהערכת מודלים מסורתיים יש תשובה נכונה אחת ומדדים ברורים כמו accuracy, בעוד שב-LLM התשובות יכולות להיות מגוונות ונכונות במספר דרכים, מה שמקשה על הערכה מדויקת.

מהם החסרונות של הערכה אנושית ל-LLM?

הערכת אנושית היא יקרה, איטית ולא סקלבילית, ולכן לא מתאימה לטיפול בכמויות גדולות של אינטראקציות יומיומיות.

איך שיטת 'נחיל שופטים' משפרת את תהליך ההערכה?

שיטת 'נחיל שופטים' משתמשת בקבוצה של מודלים קטנים שכל אחד מתמחה באספקט אחר של ההערכה, ומאחדת את הדעות לקבלת החלטה אמינה יותר, בדומה לקבלת החלטות של פוליטיקאי עם יועצים רבים.

## Full Transcript — Download SRT & Markdown

00:01

Speaker A

שלום לכולם וברוכים הבאים לעוד פרק של קלאודי. אני אריאל מונפו ואיתי כרגיל ניר. אבל ראו מה הפתעה. יש לנו אורח מיוחד, פיליפ תנור, מנכ"ל של דפ צ'קס. פיליפ, מה קורה אחי?

00:15

Speaker A

היי, תודה על ההזמנה. שמח להיות כאן. מעולה. אנחנו קים, אבל ביחד נכון? הרי ברצלונה ואנחנו מדריד.

00:30

Speaker A

ברצלונה, ברצלונה, כן, קלאסי נכון? אז אחלה. איזה כיף שבת, פיליפ, הגעת היום.

00:40

Speaker A

ולפני שאני אצלול לעומק, ספר לנו במשפט אחד מה דיפקס עושה, כי אני חושב שזה נושא שרוב האנשים לא ממש מבינים.

00:59

Speaker A

אה, בשמחה. אז דיפקס פותר את הבעיה הכי גדולה שיש היום בג'י-אן איי. איך יודעים אם הלם שלך באמת עובד טוב? אנחנו בונים פלטפורמה שעושה אוטומטי ללם אפליקציות מטבסים פשוטים ועד אג'נס מורכבים.

01:11

Speaker A

מגניב וזה באמת מאוד מעניין ומרתק כי כולם מדברים על לבנות AI, אבל בסוף אף אחד כמעט לא מדבר על זה של לבדוק אם באמת מה שבנית עובד כמו שצריך.

01:31

Speaker A

אני חושב שזה המפתח בדיוק וזה הגאפ שאנחנו סוגרים.

01:48

Speaker A

אז יופי. יאללה, אז בואו נתחיל מהבסיס. כשאנשים שומעים evalu, הם חושבים על בנצ'מרקים, אקיורסי. אריאל ואני הקלטנו בפרק הקודם של observability ודיברנו על הרבה מטריקות, ולכן הפרק שלך בעזרת השם ישלים את התמונה לאנשים, אבל בעצם כשאנחנו אז אנחנו זה לא זה.

02:03

Speaker A

נכון, זה לא אקיורסי ובנצ'מרקים זה הרבה מעבר.

02:19

Speaker A

נכון מאוד, אז תראה, בעולם הישן של המשנ, אז היה דבר קטן כזה שנקרא test set. יש לזה משהו שנקרא label ומודדים one score accuracy, area under the curve וכולי וכולי.

02:39

Speaker A

הוותיקים שבינינו מכירים את המונחים האלה. אבל בג'י-אן איי אין test, אין תשובה אחת נכונה. רק תדמיינו מקרה כזה ששואלים את GPT איך להכין עוגת שוקולד, נכון? יכול להיות כמה תשובות טובות, אומר המזג האוויר היום.

02:55

Speaker A

אה באמת, לך תבנה תשובת בית ספר שאחר כך אחרים לא נכונים. אז אה, אז זו ממש שאלה לא ברורה. מה אתה מודד? אז מה כן מודדים בסוף, פיליפ?

03:14

Speaker A

אז בעולם ה-GN מודדים דברים יותר מורכבים. האם התשובה היא ground, שהיא מבוססת תלמידה אמיתי? האם היא relevant לשאלה? האם היא coherent, הגיונית ועקבית? ואז נגיד במקרה של אייג'נטים, אז יש מקרים של tool. האם השימוש בטול היה מוצלח, האם הפיינינג מוצלח? אז אז יש טריקות שהם לא בינריות. כל אחת בפני עצמה היא מוגדרת היטב. הם לא מנסים בבת אחת לפתור את כל העניין, אבל בעצם זה סוג של המרה לתשובות למספרים that actually mean. זה מה שעושה את זה כל כך קשה בעצם.

03:31

Speaker A

נכון, כי מי מחליט מה זה תשובה טובה?

03:48

Speaker A

נכון, בול.

04:03

Speaker A

בגלל זה הגישות הק... לא סתם עצרתי, עצרתי פיליפ כי אמרתי אני מחליט ממה התשובה הנכונה.

04:19

Speaker A

אבל כן, כן, מעולה. אז אפשר... אז אלגוריתם אחד זה פשוט להעביר הכל לאריאל.

04:31

Speaker A

באמת, באמת.

04:46

Speaker A

ואלגוריתם, אבל בכלל אין זה ארועה היא בעליל.

05:00

Speaker A

אבל כן, אתה צודק, אפשר לעשות. אז יש גישות שנבלות על solution. את זה ראינו בשנה אחרי ש-GPT יצא ראינו הרבה כאלה שבונים טסט עם תשובות מאוד מאוד מוכנות, כאילו ברורות שהושיבו עליהם לא משנה אם זה רופא, עורך דין, מי ש... המוקד ידע.

05:15

Speaker A

אה ורים שזה פשוט לא עובד כי בגלל העניין הזה שעכשיו הזכרתי, התשובה יכולה להיות שונה לגמרי ממה שציפית או מה שהיה בסקורסיושן ועדיין להיות מעולה. חוץ מכמה מקרים נורא נורא ספציפיים שבודקים מבחן אמריקאי וכולי וכולי.

05:33

Speaker A

בגלל זה באמת אם תשימו לב הרבה מהמאמרים על הבנייה של המודלים הפאונדל מודלס הם באמת בורחים לכיוונים האלה של בדיקות מבחנים, מבחני בית אמריקאים.

05:52

Speaker A

אז אז אז לפי מה שאני מבין ממה שאתה אומר, בסוף פיליפ, אנשים פשוט עושים מקווים לטוב.

06:12

Speaker A

שלום על ישראל.

06:30

Speaker A

אכן, אז באמת הרבה חברות עושות בדיוק את זה, אבל כן יש דרכים יותר טובות כנראה בגלל זה אתה פה.

06:43

Speaker A

זו בדיוק המטרה. לא סיפרתי אגב איפה פיליפ בני נפגשו. נפגשנו בכנס של אמזון, שפיליפ פרצה שם על דפ צ'קס ואני אפילו לא רתתי לו לצאת לשתות אחרי זה. שאלתפסי לוות לו פיליפיל. נעים מאוד ניר, מה נשמע? נעים מאוד.

07:00

Speaker A

אתה חייב לבוא לפודקאסט. זה היה כאילו ממש מעכשיו לעכשיו.

07:17

Speaker A

אומר לי רגע, הגרון, הגרון.

07:33

Speaker A

אמרתי לו שנייה, רגע, רק מספר טלפון ואז תשא מה שאתה רוצה, הכל בסדר. לא ידעתי שיפול משקב שבועיים אחרי זה. לא תארתי לעצמי שזה יכול להכב. רק נעלם לי קצת.

07:52

Speaker A

הכל כן, אבל... אבל אני... אבל אני אגיד על הרצאה באמזון. אני אוהב להגיד בצחוק, יש לי חברה שאמרה לי אני מפחד לדבר בפני קהל ואז אמרתי לה שאני מפחד לדבר לא בפני קהל.

08:07

Speaker A

א זהו. אז אז כן, אז נחמד. אני באתי בעיקר בגלל שאהבתי אותך, את אריאל הקרדיקן באמת. אבל כן, זה מי שיקר. היה לנו קליק ישר, כאילו בעזרת השם מקווה שהפודקאסט לא יתפוק את זה סתם לאיש מקסים.

08:25

Speaker A

אז בוא נדבר באמת על הגישות הקיימות. יש לנו human evaluation, נכון?

08:41

Speaker A

יש אפשרות לשים בן אדם שיבדוק. יש לנו את מה שדיברת עליו הרבה באותה הרצאה, אני זוכר נכון, נושא של אלזה ג'אג', לשים מודל אחר שיבדוק מה עובד, מי עובד. אז שניהם עובדים, גם human eval וגם ג'אג, וגם שניהם נשברים.

08:59

Speaker A

Human eval זה הגולנדר, אבל יש לו שלוש בעיות ענקיות. בעיה אחת הוא יקר, בעיה שנייה הוא איטי, והבעיה השלישית שהיא אולי הכי משמעותית בשלושתם, זה שהוא לא סקלבל.

09:14

Speaker A

אם יש use case של 10,000 אינטרא ביום ועכשיו אני מניח שכולנו יודעים באמצעות בזכות זה שהתעכבנו קצת עם ההקלטה של זה לכל מה שקורה עם הקלובט וכל מה שקורה כאן בסקייל כשמריצים עשרות אלפי אינטראקציות ליום, שנראה לי שהדוגמאות שאנחנו רואים שם זה באיזשהו מקום מייצג את העתיד הקצת מגניב וקצת מפחיד.

09:30

Speaker A

אה, אין מצב שבן אדם עובר על כל הדברים האלה.

09:41

Speaker A

אפילו עכשיו אחרי שזה כבר פוסט ואחרי שהיה את ההיילייט של הכביכול רד שלהם, עדיין אנחנו לא מצליחים לעבור עליהם.

09:59

Speaker A

אז אז אז אלה הבעיות גם בג'ימני וגם באמזון. איזה מטורף זה הקלובט בוט. אתמול אריאל שלח לי את זה. האמת שלא ראיתי את זה לפני. זה הזוי, נכון? זה פשוט כאילו זה משהו אחר לגמרי.

10:07

Speaker A

כן, כן, זה מה שנקרא אל תתקין. זה הלפטופ שלך, זה לא אני.

10:20

Speaker A

אני לא רוצה לתפוס יותר מדי זמן על זה כי אני די בטוח שאוקיי, אני חושב שאנחנו נעשה פרק על זה.

10:36

Speaker A

לדעתי אז כדאי מאוד.

10:51

Speaker A

כן, אז דיברתי על human evaluation ובוא נדבר על LLM. מה זה ג'אג? מה בעצם... לפני זה שיקרתי ואמרתי שעניתי גם על זה, אבל לא מה הבעיות בלמ, שהם בעיות שונות מאלו של ג'אג, שהוא מהיר וזול. יש לו בעיות אחרות.

11:09

Speaker A

ראשית פשטנות המודל ששופט. למי שלא מכיר את הרעיון, באים ללם עם טקסט של למ אחר ואומרים מה דעתך, זה טוב או לא טוב? ואז מתי שהו... זה קצת השתכלל ואנשים מעבירים את זה לכל הדברים שדיברנו על זה: groundedness, conciseness, completeness. כל אחד מקבל ציון. אנחנו אוהבים להשתמש בציון בין אחד לחמש, אבל יש כמה טמפלייטים.

11:22

Speaker A

אז המודל השופט לרוב יודע להתייחס רק לשיקול אחד כל פעם. ומניסיונות שלנו, כשראינו שאנחנו מנסים לדחוף ל-LLM ג'אג' כמה ארבעה-עשרה שיקולים שונים מהסוג שאמרנו, אז הוא נכשל בצורה... מה זה? פשטנית וטיפשה והרמה של לפעמים הכל פעם ז... נגיד כדוגמה.

11:38

Speaker A

ושנית, זה אין כזה. אז כששואלים אותה שאלה פעמיים מקבלים תשובות שונות.

11:54

Speaker A

אה, זה זה אחד הדברים שהולידו את העולם הזה שנקרא גריידינג, שסתם, ואם...

12:08

Speaker A

לכמה להצביע שהוא יותר יציב, אבל זה אחד ההתחלות שעצמנו להתגבר אליהם.

12:22

Speaker A

ושלישית, הוא לא באמת מבין את הדומיין ללא הרבה עבודה ידנית. אז זה אפשר לשפר וכולי וכולי, אבל זה עוד אחד מהבעיות.

12:46

Speaker A

אז מה הפתרון לשלב א'? מעולה. אז עד עכשיו דיברנו על העולם הספייס. אז אני אגיד שזה יותר מלשלב א' בין שתי הגישות האלה. מה שאנחנו עושים בדיפצ'קס זה מה שאנחנו קוראים swarm of raters. סוורם, למי שלא מכיר, זה נחיל. מי שראה מופאר רחפנים כאלה באוויר ביוטיוב עם דברים מרשימים בסין או בישראל, ביוטיוב מלא מלא סרטונים של סוורם של האיראנים שאמרו לשלוח על המשחטות האמריקאיות. אז אם זה יעזור, לא יעזור, אבל כן, כן, כן.

13:01

Speaker A

אז פה אנחנו קוראים לזה נחיל של שופטים. ומה זה שונה מג'אג'? אז זה במקום שעל אספקט אחד אנחנו מביאים כמה ומביאים את אותה המשימה, עושים ביניהם איזושהי עצמה. אז במקרה של נחיל, במקום מודל אחד גדול ששופט, יש לנו הרבה מודלים קטנים, כל אחד מומחה במשהו אחר, ויחד הם מגיעים להחלטה יותר אמינה. כמו תדמיינו איזה פוליטיקאי כזה מהסרטים שהיינו רוצים שיש לו מלא מלא יועצים וכל אחד מייעץ לו בנושא אחר, והפוליטיקאי בסוף נשאר לו רק להבין מתי להקשיב לכל מומחה או מתי לזמן אחד. האמת שלרוב העולם עובד ככה יותר עם מה שאנחנו חושבים.

13:19

Speaker A

אה, אז בסוף זה תערובת שלנו, כמו שאמרת, תערובת של מומחים שבסוף הם אלה שמסייעים לנו.

13:33

Speaker A

בדיוק. מהעולם של המודלים הקלאסיים, יש מה שנקרא mixture of experts. אז זה בדיוק, זה מודל אחד שבודק groundedness, אחד שבודק relevance, אחד בודק tone וכולי וכולי, ואז יש אלגוריתם שמשלב את כל הדעות לתוצאה אחת שהיא קצת יותר, איך נקרא לזה?

13:46

Speaker A

בוגרת, קצת יותר מדמה בן אדם. איך יודעים שזה עובד? אז המדד שלנו לזה, איך זה עובד, זה human level agreement. כלומר, האם השופט האוטומטי הזה או הסוורם הזה מסכים עם שופט אנושי? באותו אחוז שזה בו שני שופטים אנושיים מסכימים אחד עם השני. כלומר יש וריאנס TV בין שני אנשים שכל אחד מהם בודק. ואז מה שאנחנו אוהבים לעשות זה להגיד אנחנו לא נהיה בסטנדרט יותר גבוה.

14:03

Speaker A

אי אפשר להתאים למה שבן אדם אומר שם זה פעם זדן 100% מהזמן, אבל לפחות לעמוד באותו סטנדרט כמו בן אדם פחות או יותר. האמת שזה נראה לי קשה לעשות את זה, אבל אני סומך עליך פיליפ שאתם יודעים לעשות את זה נכון.

14:19

Speaker A

עכשיו בוא נדבר רגע למה אגב זה נראה לך קשה, כאילו למה זה ככה? תפס יודע כל כך? כי נראה לי שדיברנו על שופט אחד ועל שני שופטים ואז איך?

14:36

Speaker A

שיתורפליים שלושה אגנטים וכל אג'נט מריץ עוד שלושה כלים אה עכשיו כל טול זה מה שהזכרתי קודם לופים כל טול יכול לעת ל10ה פעמים עד ההצלחה אז דבר מרחב על על מרחב ענק של אפשרויות וזה מה שקורה בפועל א זה למה רוב האיג'נטים שנבנים היום לא

14:53

Speaker A

באמת נבדקים כמו שצריך לך עכשיו תמסגר את הדבר הזה בצורה שהיא סוג של בדרך כלל הטסט עם זה עם איזה טמפלייט קבוע כן אז ככל שיש יותר אפשרויות גם זה נהיה יותר ויותר מסוכן כאן נכון מן הסתם כן קודם כל פשוט קשה להכניס את זה לקופסה

15:10

Speaker A

אה אבל א אבל סתם בוא בוא נמשיך להולליך דרך מה שאמרנו עכשיו אז איטן יכול להראות כאילו הוא עובד ב-80% מהמקרים אבל ב-20% מהזמן הוא עושה שטויות ואתה לא יודע מתי זה יקרה מתי ה-20% האלה בעולם עסקי 20%

15:24

Speaker A

מהזמן כישלון זה מאוד מאוד גרוע עכשיו יכול להיות שאתה מוכר מוצר באונליין עם איזה 5% רווח אבל תוריד בפריסינג של ב-20% מהמק קרן יכול לגרום מעסק רווחי יכול לגרום לעסק הפסדי אני עכשיו למעמיקים ביניכם אני מאוד אהבתי את להביא את הדוגמה

15:43

Speaker A

הזאת שפני עידן האיג'נטים אז אתם יכולים לראות הייתה חברה אמריקאית בשם זילו שמעתם על זילו שם מוכר אבל לא בטוח זילו כל מי שאו עבר לארצות הברית או חשב לעבור לארצות הברית וחפש איתם את הדירה באמת דברים די מגניבים גם פשוט הסטנדרט של

15:58

Speaker A

הצילום עלה בזכותם וזה כזה פליס ששמים את כל הבטים בארצות הברית ומתי שהם התחילו להכניס אסטמate של כמה כמה עולים כמה כל בית מה השובי שלו אה עכשיו א אז הם היו החביבים של מקסג בתחום הנדנן הם עשו הערכה

16:13

Speaker A

אוטומטית של מחירי בתים עם איטי שהו הם הכניסו אה את היכולת לעשות שהם כאילו קונים אוטומטית לפי הערכה כלומר הם רואים משהו שהוא הרבה יותר נמוך והשובי בום שמים עליו כסף אה אז תחשוב מה כאילו אולי קצת פישטתי את המודל העסקי אבל אתם יכולים לחש

16:32

Speaker A

מה קרה יש לו רגל כן זה היה חתיכת משפיר כי וזה שוב לפני עידן אגנט כאילו זה ממש לפני כמה שנים טובות זה היה בזמן שדיפש קיימת אולי לפני לא יודע ארבע שנים תבדקו אותי אחרי זה א אבל אז יצא שכשהבית היה יקר מדי כשהם

16:47

Speaker A

העריחו שהוא שהוא יקר מדי אז א אז א אז לא אז הם לא קנו א אבל כשהם העריחו שהוא אטרפריז כאילו ויכול לקנות אז הם קנו ואז הם הפסידו הון טועפות הם פתאום נתקעו עם דירות שהם חשבו שהם קונים אותם אנטרפריז

17:02

Speaker A

הם לא היו אנטרפריז זהו אז אני אומר זה לא רק עם פרינג שגם מהסוג הזה יכולים לגרום לפגיעות עסקיות בתחומים רבים מעניין דוגמה יפה ממש מרתק אז מה אני חושב שהבחירים באותו זמן בזיל או לא כל כך אוהבים אותה אבל

17:18

Speaker A

כן פחות מתחברים לרפרנס הזה כנראה אז מה עושים איך ניגשים לזה נכון אה אז בגדול מה שאני מה שאני אגיד זה א זה שיש דגישה שקוראים לזה evaluation first development א מה זה אומר במקום לבנות ואחרי זה לחשוב איך לבדוק אתה מתחיל

17:41

Speaker A

מהערכה זה מאוד מאוד דומה ל לטרנד שהיה בעבר מדובר בעולם הפיתוח הקלאסי שקרא לו TDD test driven developו development אבל בפועל תן לנו קצת תצלון רגע פנימה רגע פיליפ מה מה אתם עושים או מה אתה ממליץ לעשות אז תדמיינו

17:57

Speaker A

מה השיטה הזאתי אומרת ה כן כן אזation first development מה זה אומר תדמינו שלפני שכוזבים שורת קוד אחת שואלים מה יגדיר הצלחה איך למדוד את זה האם יש לנו דטה לבדיקה אה האם כל הסטייקולרז הרלוונטים ראו את הדטה לבדיקה

18:11

Speaker A

הם הם מבינים איך יעשה הalישן ואם התשובה היא אני לא יודע איך למדוד ההצלחה זה רדפלאק ענק זה אומר שאולי הפרויקט לא בשל אולי האנשים הנכונים לא בחדר וזה ואולי אחרי שהשכנו לא יודע מה חודשי עבודה רבים יבוא הEVP הרלוונטי ויגיד א אה שכחתם

18:29

Speaker A

לבדוק על התרחיש הזה הוא התרחיש הכי חשוב אה אז אה אז אה כן אנחנו אנחנו כבר קצת נגענו ניר נכון באחד הפרקים הראשונים כך שמח אני כל כך שמח שהוא אומר את זה אתה יודע כי זה מתקף לנו

18:40

Speaker A

דברים שאני ואתה ראינו חלק מהמציאות אתה יודע פה כן פה לא אבל זה מה שהוא עושה למחייתו זאת אומרת אם אין את המדד הזה אין טעם לגשת לעניין כי אתה יודע מה הוגדר כהצלחה זה המורפי לגמרי כל אחד הגדיר את

18:53

Speaker A

זה משהו אחר לגמרי והצלחה יכולה בכלל להתפרש ככישלון למחלקה אחרת או למישהו אחר זאת אומרת זה מדהים אם אין אתה יודע קונסנזוס אוקנסנזוס שמי שיגיד לך זה טוב זה רע זה חצי טוב זה אולי יהיה טוב זה מאוד מאוד א

19:08

Speaker A

חשוב אני באמת ראיתי הרבה פרויקטים שנכשלים בגלל הדבר הזה אני מתעסק בעיקר עם פאבליקסטור אבל לא נפיל עליהם את האשמ אבל א קשה מאוד להגדיר הצלחה זאת אומרת גם אריאל מגיע מעולמות של לגסי בעיקר וגם סטארטאפים אבל המון המון לגאסי שם אתה

19:23

Speaker A

יודע הצלחה יש לה הרבה אבות הרבה שמות כלי שפות אבל שפה משותפת קשה למצוא זה טיפה בעייתי כן כן כן כולנו ראינו גסלונות בגלל הדבר הזה. אה באמת אה ככל שהאנטרפיז יש ב יותר יותר א זה פשוט יותר קורה. א חברה מושקעת

19:41

Speaker A

שלושה חודשים פיתוח מגיעים לקראת פרודקש ואז מישהו שואל רגע איך בכלל נדע שזה עובד ואין תשובה אבל עם הגישהation first אז זה לא אומר שאפשר לדלג על הבעיות האלה אבל הרעיון זה לתפוס אותם בשבוע הראשון של הפיתוח או ש

19:54

Speaker A

שאלות אחרות לגמרי זאת אומרת שאלות כאילו הרבה יותר ברורות אתה יודע נכון לפני שבכלל כותב יש יש יוס קייסים שאתה מראש יודע שמהניסיון שלך שכבר לא לא שווה לבנות את זה לא שווה להתעסק עם זה א בהחלט ישסים שהם fundamentally not

20:10

Speaker A

evaluate נקרא לזה ככה לפחות עם הטכנולוגיה של היום למשל אם אתה רוצה אגנט שכותב חוזים משפטיים בלי פיקוח אנושי א אני הייתי אומר זה לא גנרי כללי בעינתן שנותנים פרמסזה אז אני הייתי אומר שקשה להעריך את זה בצורה אמינה אה לפעמים א

20:30

Speaker A

לפעמים נגיד לקחת טמפלייט ולשנות בו כמה מילים בסטנדרט של היום יכול להיות פשוט כל כך הרבה יותר זול מאשר לעשות ולואציה למשהו שהוא generated לחוזה ברמה הגנרית. אז יש מקרים כאלה ש שאם אם נגיד חברה הייתה אומרת אנחנו

20:46

Speaker A

הולכים לפרויקט הזה ולא ND תחת החוק של דלו וכולי וכולי אז אז אז במקרים כאלה באמת עדיף לדעת את זה מראש מאשר להשקיע מיליון דולר ולגלות את זה בסוף.

20:57

Speaker A

אבל רגע יש המון דברים שנראים בלתי אפשרים לערכה מה עושים? אז הטריק אני בדיוק יש בלוג פוסט אני כותב עם איזשהיא דמות בWS אני מקווה שיצא לחלק לכם או לחלק מהמאזינים שלכם לקרוא ברגע שהוא יפורסם מאוד דרך חודש חודשיים א הטריק העיקרי

21:14

Speaker A

שהייתי אומר זה deקפזationש לפרק את הבעיה לחלקים קטנים שכן ניתנים לערכה או שלפחות רמת הבקרה האנושית הנדרשת יותר נמוכה אוקיי אתה יכול לצלול דוגמה אמיתית אז נגיד שאתה אגנט שעונה על שאלות מורכבות המוצרים ושמע קשה להעריך כי מה זה תשובה

21:31

Speaker A

טובה אבל אפשר לפרק האם האגנט מצא את המסמכים הנכונים? זה מדיד האם הוא חילץ את המידע הרלוונטי? גם זה מדיד האם התשובה עקבית עם מה שהוא מצא? מדיד האם אין כלומר מידע שנוסף מעבר למסמכים שחולצו מדיד?

21:47

Speaker A

פתאום יש ארבע מטריקות ברורות במקום שאלה מרופלת אחת. א זה גם זה גם מעולה לדבאגינג נכון?

21:53

Speaker A

א 100% כן אם משהו לא עובד אז אתה יודע בדיוק איפה הבעיה? זה לא פתאום התשובה גרועה אלא זה השלב של הרטריבל נכשל או השלב המתמטי של עיבוד המספרים יצרנישן כמותי הנה החישוב הלא נכון הפרק הלרג התייחסנו לזה המון באמת על

22:10

Speaker A

הנושא של deקפition מולטבל וזה מאוד מאוד עוזר לארגונים אתה יודע לרדת מדברים שם יחסית מורכבים לדברים שהם מאוד מדידים אז זה אחד לאחד אותו דבר נכון ה המיקרו טיפול הזה בפר דבר ולתקן את אותו דבר אם וכאשר הוא מזייף

22:25

Speaker A

כן תראה בסוף דקה פזationש זה זה עיקרון אה אה שהוא אני אני אגיד גנרי זה לא אומר הרבה פעמים גנרי זה נשמע כמו מילת גנאי הוא עיקרון שחל על המון המון דברים בעולם הללמז מראש וככל שאנחנו נכנסים לעולם

22:40

Speaker A

האג'נטים יותר אז אז יש יותר דברים שאפשר וצריך לעשות להנדקס כן אז בוא בוא נדבר רגע על ה על הפתרונות ולעתיד פיליפ א מתי אומר מתי אתה יכול להגיד ש שאלוזן הוא פטור מה מה מה היעד אז יש הגדרה ברורה שוב על תאספציפי אני לא

23:01

Speaker A

מדבר פה על מתי הגענו לAGI וכולי וכולי לתאספציפי אז זה ש פטור כש מתקיימים שני תנאים אחד מהם זה מה שהזכרתי קודם human level agreement כלומר השופט האוטומטי מסכים עם בני אדם באותו אחוז אותו סדר גודל של אחוז שבני

23:16

Speaker A

אדם מסכימים אחד עם השני אז זה קריטריון אחד שניים זה no clear או garing blind spat אין קטגוריות שלמות של בעיות שהמערכת מפספסת. כלומר זה לא עוזר שעל הולשט הזה שאני יצרתי כאן עכשיו אני בלא יודע מה 91%

23:33

Speaker A

הסכמה אלא גם לא יכול להיות סוג מובהק שהוא הרבה פחות טוב עם בן אדם ובני אדם רואים את זה ווה והו ססטם שלי לא רואה את זה אלא אם כן אני יודע שזה יישאר עם מדגם מאוד מאוד קטן אבל

23:49

Speaker A

אם אני יודע שלא משנה מה א לא יודע הוא לא יודע להתמודד עם יפנית כרגע יש לי מעט משתמשים יפנים אז אני יודע שיש לי איזשהיא בעיה ואני לא הייתי אומר שבני שם פטור יפה נו הגעתם לשם אנחנו כבר שם

24:01

Speaker A

אה ל בהרבה מטריקות כן בנדנס ברovance בפטנס אנחנו שם יש עדיין מטריקות שהם יותר קשות במיוחד כאלה שדורשות נגיד לשלב כמה סוגי דטה או גישה עמוקה לדataביסיט של הלקוח כזה דורש גם perמנס מלם א אז אנחנו מתקדמים מהר אבל עדיין נקרא לזה ככל

24:21

Speaker A

שהמחנה המשותף סביב המטרקה הזאת יותר רחב זה יותר נפוץ אז אז א זה זה גם א עודדת לנו לעשות את המחקר בצורה יותר מעמיקה שם.

24:32

Speaker A

אוקיי, מעניין. ו טוב, אמרנו פתרונות ועתיד, אז אנחנו תמיד אומרים שאנחנו לא נביאים כי אנחנו לא טיפשים אבל בכל זאת א אתה רואה אולי כמה טרנדים לגבי העתיד, לאיפה זה הולך, לאן זה הולך.

24:46

Speaker A

אה כן, אז אני רואה כמה טרנדים ראשית עם שיטות כמו שלנו יהפוך למיינסטרים. זה לא אומר שדפep שקס תהיה מותקנת בכל חברה שעוסקת בזה.

24:56

Speaker A

יהיו עוד חברות גם שיעשו דברים דומים, יהיו כנראה דברים שהם או open source או פנימיים, אבל שיטות בסגנון הזה של הסראות you can't really unse it אחרי שראית את זה וכמו שהיום אף אחד לא בונה CCD בעצמו גם לא יהיה מתי את כל חברה צריכה לעשות

25:13

Speaker A

עליו PhD לפני שזה נהיה כביל א שנית ייצור דטה חסי סינתטי כדי לבדוק את מערכות הגני אגיד אנחנו מתכוונים להוציא איזשהו לאנץ די משמעותי שאנחנו קוראים לזה your agent בקרוב more to be posted אבל מה זה חסי סינתטי זה

25:32

Speaker A

שמגנרטים את האינפוטים או את ההתחלות אבל אז מריצים דרך מערכות אמיתיות כדי לקבל את יתר השלבים כולל את האטפוט א אז אני אדבר על זה יותר לקראת ממש הסוף כאן כשאני אסביר על מודול על המודול הזה שאנחנו משיקים

25:46

Speaker A

מעולה אריאל השתגר כדי למוגשות הוא טס בהפודקאסט מקווה שהאינטרנט יחזור לו שם ברצלונה אין כמו לארץ הקודש אני אומר לך זה זה הKPI מדהים אז אז אנחנו מתחילים בת להתקרב לסיום תשמע א הנה אריאל חזר במלא דרוך זה בגלל השופטים והמושבעים האלה הם יצאו

26:06

Speaker A

אותו החוצה אן שברו אותך ושוב פרק שני שהוא מצליח להגיד בלי מסי פיליפ זה לא באור מאליו בכללזה אתה לא צריך לא זה ולא צ'יקית אנחנו בינתיים רוצים על הפרק אז לא רצה הסתברות שזה יישאר ככה אז הפרק

26:17

Speaker A

זהו זה גם כ דקתי את זה בפרק הקודם גם כן נכון אז לקראת לקראת סיום באמת מה מה הטיפ המרכזי שלך? אני טיפה עושה זוםט עכשיו למי שמתחיל לבנות עם אלמים א אז אני מתקשר למסר הקודם שאמרתי הטיפ הכי

26:32

Speaker A

חשוב א לא לבנות כלום לפני שיש לך או לך א תשובה לשאלה איך אני אדע שזה עובד אם אין לכם תשובה שלדעת איך זה עובד או למצוא אחת או לשנות את הגישה או לעבוד לפרויקט אחר זה אם אין דרך מאוד ברורה להבין שזה עובד

26:51

Speaker A

חבל על הזמן אז זה יחסוך חודשים של כאב ראשוב הזמן לא בביטולי פרויקטים אלא הרבה יותר בלהבין אוקיי הפרסונה הזאת והפרסונה הזאת והפרסונה הזאת צריכים לחתום על הדטהסט על המטריקוד לראות דוגמאות של thums up thums להבין מה נקרא מוצלח ומה

27:07

Speaker A

לא וווא נעב לו פרויקט אחר עד שיש את הליין מסביב זה וזה גם פשוט יעלה את הסיכוי שזה באמת יעבוד קורה לך שאתה מגיע לחברות ואתה מציג את הרעיון הזה שבעיני מאוד הגיוני כי גם אני מדבר את אותו דבר בגלל שכבר חווינו כנראה

27:23

Speaker A

אני ואתה אתה יודע אתה מה קורה כשאין את זה ואתה מצטער כסוג של כסוג של בלוקר אומרים לך מה אתה לא רוצה לעבוד אתה לא רוצה להצליח בוא נתחיל להתגלגל עם זה בוא נלמד את זה תוך כדי תנועה וכאילו אתה

27:33

Speaker A

מצטער כזה דובון לא לא שומע מה פתאום חבר'ה אם אין אש setט או אם אין איזה הסכמה על הכל לא זזים קדימה או ש או שזה לא ככה אז זה שאלה טובה תראה אני א אני מטבע דברים שאני לא עמוק עמוק בתוך

27:50

Speaker A

הארגון אצלם בדרך כלל אני ממש מפריד לשיחות אחד על אחד ושיח תיחות כזה יש את זה מול כולם מול כולם אני מרגיש שאנחנו מציגים את זה שיש לפעמים כמעט איזה מיני מבוכה כזאת של אוקיי כן א כמו זה כמו

28:03

Speaker A

שמגנים לך את התשובות שטעית והם במבחן כזה אז אוקיי כן נראה לי שהיו צריכים לעשות את זה אבל הם לא יורדים לפרטים של שלו בסוף שהם נוראים עם דמות בודדת א באחד על אחד אז בדרך כלל יש איזה הבנה שאוקי זאת

28:18

Speaker A

המתודולוגיה העדיפה נכונה זה קשה שוב hard unse it את המוד דודולוגיה הזאת של הסר of agents לא לא ספציפית שקשור לדepיפצקס אבל אז זה במה שאני רואה בדרך כלל זה יותר עניין של רגע איזה עבודה נדרשת מאיתנו מה

28:33

Speaker A

אני צריך לעשות האם אני צריך לעשות להכין יותר דטס של אולואציה א אבל אני חושב שזה מפיל להם את הסימון על כל מיני בדיקות שהם פתאום מבינים אחרי שהם ראו את זה ש שהם בעצמם לא משנה מה כבר לא ישיקו א בלי שהם

28:48

Speaker A

בדקו אותם איתנו או בלעדינו אז א אז זה אז זה כבר זה כבר כבר הם מבינים שזה חייב להיכנס אליהם לרשימה טודוז מעניין מעניין האמת שלמדת את המקצוע של הייעוץ בסוף כשאתה יושב עם אחד על אחד אתה יכול להגיד כמעט כל מה שאתה רוצה כשאתה

29:04

Speaker A

יושב בפורום יותר רחב אתה צריך להגיד לו אתה צודק אתה אלוף זה המבטיח והוא כמובן הוא הוא לוקח את כל הקרדיט ואתה השם בהכל אבל בסדר זה זה בסוף חלק מהמקצוע אריאל קצת קפז אני אשאל בוא נראה אם הוא

29:20

Speaker A

יפשיר לנו שם הרל אפשרת כן כן אה ועד עד עכשיו א נגענו רגע בנקודה של א של ארגונים שנכון שרוצים רגע שאל תניר מה הטיפ המרכזי לפני אני הולך איתך לשלב אחרי בסוף ארגונים שכבר יש להם משהו בפרודוקשן מה מה אתה יכול להמליץ להם

29:42

Speaker A

א אז תתחילו למדוד גם אם זה בסיסי תדעו מה הsuccessס rate שלכם איפה הfiles מה הקטגוריות של הבעיות אני תמיד אוהב להגיד if you want to improve you have to measure if you יפה יפה ואחרון למי שרוצה ללמוד עוד על

29:57

Speaker A

הנושא אה אז יש לנו בלוג עם הרבה חומר בdeפtx.com אני תמיד שמח לדבר עם אנשים שמתעניינים א אתם תמצאו אותי די בקלות בלינקדין אני אעשה יותר רעש מהממוצע א וגם תמיד אנחנו שמחים כחברה לעשות דמו פרטני לחברה שרוצה לשף פעולה או לשקול את זה רגע

30:15

Speaker A

אני אגיד ספציפית עכשיו וזה הזכרתי קצת קודם נכון לינואר או בעצם זה כבר פברואר א 2026 א שהלקוח א א כרגע לפחות הוא צריך לעבוד עם ה לעבוד איתנו עם הדת עם כלומר לשלוח לנו דטה לקבל חבדת אנחנו לקראת הגשה

30:37

Speaker A

השקה של מודול חדש שנקרא no agent ואנחנו מחפשים לזה את ה את ה יש כבר את הכמה לקוחות המקדמים ואנחנו מחפשים לזה את הדור השני של הלקוחות שהרעיון זה שהלקוח לא שולח לנו שום דטה אלא רק נותן API את

30:51

Speaker A

האגנent שלו ואנחנו מייצרים את מה שקראתי לזה קודם הדטה החסי סינתטי שמריצים דרך המערכת אז בעצם אנחנו יכולים לתת דוח מקיף על הנטים א כשמתחילים רק בלחיצת כפתור א מי שרוצה להתנסות עוד לפני השקה הפומבית אפשר לפנות לפנות אליי ספציפית על זה אבל

31:08

Speaker A

זה כבר מתקרב ההשקה הפומבית אז א אז אני מניח ש תסתרזו אני מנחה שהרבה לכן יראו את זה בקרוב ואין שום בושה בלהשתמש במוצר לאחר ההשקה שלו מבחינת פוקוס לא חשב חשבתי לדבר איתך על זה אבל תוך כדי כך שהזכרת את נוי אידן זה

31:24

Speaker A

עלה לי א עבודה מול נימבוס מול בכלל מגזר המשלתי או בישראל באמזון גוגל בכלל אתה יודע שזה לאב דווקא תלוי ענן אבל יש איזה התייחסות ספציפית לזה אולי ברמת רובד חמש אולי ברמת להנגיש את זה דווקא לארגונים שהם יותר טרדינal או שהפוקוס הוא ארגונים

31:41

Speaker A

יחסית יותר קלאדוד נטיב כאלה כן לא אז האמת שזה שאלה ממש טובה האמת שהתחלנו הרבה יותר בעולם הקלאדק clודני יש לנו עדיין לקוחות גם לקוחות חדשים בעולם הקודב אבל הזמן באמת ראינו שערגונים בסגנון שמדבר עליו דווקא יש להם יותר

31:54

Speaker A

פינפינט כלומר ככל שיש יותר דברים שימנעו התמעה של כל הטesס שלו אז יש יותר יתרון זה ממש הרבה יותר יכול למשוך א מי שנגיד לא יכול לאמץ כל שני וחמישי טעול חדש וכולי וכולי אז אז הרבה יותר משמעותי

32:09

Speaker A

מערכת יציבה שבודקת איתם לאורך זמן וכולי זה פשוט טבע הדברים שהולכים ביחד אז האמת שלא הזכרתי את זה אנחנו א יש לנו דפלומיט של הטול שלנו שהוא באמת heavy unc compפute אנחנו מריצים דברים על DPU קוראים לLM וכולי וכולי אז התחלנו רקס עם

32:24

Speaker A

הזמן יהיה לנו גרסהסטד ובשנה האחרונה בעצם יש לנו שיתוף פעולה עם אמזון שמאפשר לרוץ א בתוך סביבה של הלקוח אבל בלי ששום דטה נשלח אלינו דרך שיתוף פעולה של באמצעות סיג'מקר כלומר אנחנו ממש יכולים את הספן סביבת סיגמקר של הלקוח

32:41

Speaker A

שאנחנו נמצאים בתוכו אז זה אפשר לנו פתאום המון דברים יש פתאום חברות פדרל שרוצות לעבוד איתנו בארצות הברית וזה פתאום יכול מאפשר לארגונים מהסוג שאמרת לעבוד איתנו בקלות כשאנחנו עמוק בתוך ה בתוך הסביבה שלהם וגם פשוט עם הזמן גם הסלף הוסד גם למי שלא

33:01

Speaker A

בדיוק בסביבת הנן שלנו אנחנו יודעים לעשות כברסל הוסד שלם שהם בגדול יש להם איך נקרא לזה יש להם on preplement של אחד הll ואנחנו משתמשים בו בבקנ שלנו אז כבר יש לנו מוד deפoment כזה וזה אפשר באמת לכל

33:16

Speaker A

אלה שבאמת הפinפ שלהם מטבע הדברים יותר גדול גדול אני רק אגיד יש לנו א אה אה גם ליצחקלים שמקשיבים פה יש לנו גם כבר א אה ניסיון וכבר יותר מפרויקט אחד שכוללים עברית אז אז איפה שיש פשוט רלוונטים

33:33

Speaker A

חשוב מאוד חשוב מאוד כן מדהים אוקיי אז רק אולי כאילו אני חושב שצללנו רגע קודם כל נשמע מדהים בסדר רגע נחזור ל1000 רגל או 10,000 רגל היה שיחה מאוד מרתקת ובאמת תודה רמה פיליפ רק אולי כי צלנו ישר לבעיות ואולי נגעת קצת במוצר, תן

33:53

Speaker A

לנו קצת רקע על עצמך א איפה התחלת, איך נכנסת לעולם הזה של ai? מאוד מעניין אותי רגע להבין קצת יותר עליך.

34:02

Speaker A

אוהו. אז אז באמת א בדרך כלל זה בתחילת הפודקאסט, אבל כל פודקאסט פוקוס. אנחנו לא אוהבים להיות כמו כולם. פיליפ בדיוק בדיוק. זה ונהפוך הוא פורי מתחיל להתקרב. אז ה אז אז אז בעצם אני בוגר תלפיות בתוך בתוך תלפיות אז עסקתי בהתחלה

34:22

Speaker A

בעולם החיקר ביצועים בהתחלה בשביל א בשביל יחידת מורן א בתוך תותחנים אז ככה ממש א יצא לי גם חוויה כזאת א א מיותר מבצעית ואז מתי שבשביל לאזור היבשה הגיעו להציג לי מאיפה א אה מאיפה א פרויקט שהוא אומר

34:43

Speaker A

מאיפה בוא נחזיר מאיפה יגיע השיגור הבא בזמן לחימה וכולי וכולי קבוצה שהייתה השתמשתה במשהו שקוראים להchine learning עכשיו לא ידעתי מה זה משine learning תוך כדי שהם הציגו הם הסבירו לי על מונח רנדום פורס גם לא ידעתי מה הוא א אבל אהבתי

34:57

Speaker A

להגיד בחקר ביצועים אז היינו עושים דברים שמי שנהיה אחר כך המפקד שב להגיד אנחנו מלמדים אתם מלמדים אותם שם א כאילו להילחם עם מקלות ואבנים ופתאום אחרי זה הגוף הזה שהיה מאוד חזק בקגלים ובדברים תחרותיים אז אוהבים בביל להגיד פתאום נותנים להם

35:12

Speaker A

פייפון וודעים לכבוש את העולם אחרי שהם השתפשפו ועשו את כל הבניית שירים שלהם עם א עם אקסלים אז באמת שם הייתי בתקשוב בגוף ש שנקרא MM שיצאו משם באמת א דמויות מדהימות מדהימות מדהימות יצאו משם וו ואו ואת רוב הרגע שלי בעולם של היי אז

35:32

Speaker A

עשיתי עשיתי שם תוך כדי עשיתי כבר בזה תואר שני המנחה שלי ליור כך יצא לי לבנות אלגוריתם קצת יותר משוכלל לאקסטיבוסט למי מהמאזינים שלכם שעוד היה בזמן מנים האלה בעולם של המשמינ וזה כאילו הדבר ה שאיתו בונים מודלים יותר טובים אז בכל מקרה אז

35:50

Speaker A

הרבה מהקשרים שלי ההנהלה של דפצקס א א ברובה מגיעה מהתוכנית עלפיות א הרבה מהמחזור שלנוקפאונדר מתוכנית עלפיות וא את כל הצבעים של עולם ה מה שהיה אז משנר ולאט לאט נפתח לי אז התחיל מהעולם הצבאי וכבר שש שנים אנחנו

36:11

Speaker A

בתוך העולם של לבדוק אותו בדיפ שקסו מגניב ממש מגניב אוקיי אז אתה רוצה לסכם את האירוע ניר האמת שמש לסכם תראה איזה כיף כמה מעניינה תגול על הציפיה קח קודל השמחה תענוג אז א בעזרת השם פיליפ תודה רבה לך באמת סופר מרתק ונשאר

36:31

Speaker A

כוח גדול ואני בטוח שהדברים האלה בעדתי יפוכו להיות סוג של סטנדרט כי לפחות הפרויקטים שאנחנו נתקלים בהם זה חסר נקודה זה פשוט חסר ואנשים עושים כל מיני DIY ‏Y כאלה home c אתה יודע נראה כמו שובר שורות אתה יודע מה שהם עושים שהם מרכיבים כל

36:46

Speaker A

מיני דברים יש מעין רק כדי לראות זה מנגן לא יודעים לבדוק וזה חבל כי כמו שאמרת לא צריך ספשלטי דווקא בזה שאנשים יתמקדו הביזנס שלהם עשו לזה outטסורס וקבלו פשוט אחד פתרון שעובד מסודר דשבורדי נראה גם די טוב לפי המצגות היה נראה מאוד אטרקטיבי

37:03

Speaker A

נכון כל הדשים שם שם השם נסה ונצליח האתר שלכם גם מאוד יפה אני אוהב את הצבעים הסגולים אז אה א פיליפ באמת תודה רבה ניר תודה רבה תודה לכל מי שמאזין כותב לנו הערות יש לנו קצת חובות שנשלים אותם בזמן

37:18

Speaker A

הקרוב א בקשות כאלה ואחרות וזהו תמשיכו לעקוב תמשיכו להציע תמשיכו לשתף וכמו פיליפ שביקש סתם ביקשתנו ממנו אתם מוזמנים גם להצטרף לפרקים שלנו אז להתראות לכולם ביי ביי תודה רבה חברים בריאות ועושה ‏Ah.

Topics: הערכת LLM דפ צ'קס פיליפ תנור AI JAG נחיל שופטים mixture of experts groundedness relevance coherence


---
This is the markdown twin of https://sozai.app/transcript/cloudai-episode-18-llm-evaluation-philip-tenor/ — the same content, without the markup.
Published by SozAI (https://sozai.app). Reuse and quotation are allowed with attribution and a link back.
Machine-readable index: https://sozai.app/llms.txt · data API: https://sozai.app/api/