Speaker A
ברוכים הבאים לעוד פרק של Cloud AI. המקום שבו טכנולוגיה, ענן ובינה מלאכותית נפגשים - הבטחה ואחריות. היום איתנו פעם נוספת רותם לוי.
פודקאסט על אבטחת בינה מלאכותית בענן, כיצד להפוך את הקופסה השחורה לסייף בוקס עם דגש על מודל אחריות משותפת ואבטחת מידע.
Key Takeaways
- אבטחת AI בענן דורשת הבנה עמוקה של מודל האחריות המשותפת.
- שכבות אבטחה חייבות להיות בנויים מהתשתית ועד ל-AI עצמו.
- ברירות מחדל פתוחות הן סיכון משמעותי ויש להגדיר מדיניות אבטחה מפורטת.
- מעקב רציף ובקרה הם חלק בלתי נפרד מאבטחת מערכות AI.
- הבנת המידע המוזן למודלים קריטית למניעת סיכונים.
What the video covers
- הצגת נושא אבטחת AI בענן עם רותם לוי, דגש על הקושי להבין את פעולת המודלים כמערכת 'קופסה שחורה'.
- הצגת הרצאה בשם 'From the Black Box to Safe Box' שמטרתה להפוך את המודלים ליותר בטוחים ומפוקחים.
- הסבר על מודל האחריות המשותפת בענן והחשיבות של הבנת גבולות האחריות בין ספקי הענן ללקוח.
- הדגשה של שכבות האבטחה: Cloud security, Data security ו-AI security, כשכל שכבה בונה על השנייה.
- דוגמאות לאירועי אבטחה נפוצים כמו חשיפת מידע בשל הגדרות ברירת מחדל פתוחות בפאבליק.
- הסבר על חשיבות הגדרת מדיניות אבטחה למודלים בענן, כולל שימוש בגרדרס להגבלת פעולות המודל.
- דיון על האיזון בין חווית משתמש לבין אבטחה, והסכנות שבברירות מחדל לא מאובטחות.
- הצגת דרכים למעקב ובקרה רציפה (continuous monitoring) לזיהוי פעילות חשודה במודלים.
- הדגשה של חשיבות הבנת הנתונים המוזנים למודלים והשלכות של מידע רגיש.
- סיכום עם קריאה לפעולה ללמידה והטמעת אבטחה בבינה מלאכותית בענן.
Chapters
- 00:00הקדמה והצגת הנושא עם רותם לוי
- 01:58הרצאה From the Black Box to Safe Box - מבוא לאבטחת AI
- 03:55הסבר על מודל האחריות המשותפת בענן
- 06:26אירועי אבטחה ודוגמאות לפרצות נפוצות
- 08:15חשיבות חווית המשתמש מול אבטחה בענן
- 10:02הגדרת מדיניות אבטחה וגרדרס למודלים
- 12:15מעקב רציף ובקרה על פעילות המודל
- 14:37סיכום והמלצות לפעולה
Full Transcript — Download SRT & Markdown
Speaker A
איזה כיף, כיף להיות פה. איזה כיף רותם, הפעם הקודמת הייתה כל כך מוצלחת שאמרנו שאי אפשר להישאר בחצי קלאץ'. והיום אנחנו הולכים לדבר על נושא ש... האמת שזה הרעיון של רותם, גילוי נאות, על נושא שכל מי שנוגע בבינה מלאכותית חייב
Speaker A
לשמוע עליו. איך מאבטחים AI בענן? נכון רותם? נכון, נכון. והרבה אומרים לראותם, אני רואה את ה-AI הזה כאיזושהי קופסה שחורה. אני לא יודע מה קורה שם, לא יודע איך אני מתנהג, איך אני מאבטח אותו, ופה אני באמת
Speaker A
דיברתי עם המון המון אנשים, המון לקוחות, המון חברות, וגם צריך להתחיל בלהבין מה ההבדלים בעצם רגע לפני זה. אז אתה אומר בעצם קופסה שחורה זה הפידבק שאתה מקבל מאנשים? משהו נעלם כזה בלתי ידוע, לא יודעים מה קורה בפנים?
Speaker A
לגמרי, לגמרי. לוקחים מודל, אומר לי יש פה איזושהי פונקציה, לא יודע מה, מכניס קלט, יוצא פלט, לא מה קורה בפנים. אף אחד לא יודע, וזה מסוכן ומפחיד כי ברגע שאתה משתמש בזה ואתה פתאום לוקח את זה ושם את זה בענן
Speaker A
ומתחיל לשרת לקוחות, פתאום אתה לא יודע מה הוא יענה, מה הוא לא יענה, איך הוא התנהג, דברים מאוד מאוד מפחידים. אז אתה בעצם, אתה... אנחנו מפקידים לא רק את הקוד שלנו, נכון? גם אתה נותן את כל ההקשרים
Speaker A
העסקיים, כל מה שמגדיר ארגון כארגון, עכשיו בידיים של משהו שהוא unknown. אם אני לא טועה, אני חושב שגם אתה עשית הרצאה בנושא, נכון?
Speaker A
נכון, נכון, נכון. עשיתי הרצאה, קראתי לה From the Black Box to Safe Box. וואי, אנחנו בעצם כן, ואיך אנחנו בעצם
Speaker A
לוקחים את הקופסה השחורה הזאת ובונים לה עוד סוג של מעטפת, מעטפת של בטיחות, בשביל באמת לבוא ולהיות יותר בטוחים. שוב, תמיד אי אפשר לעשות הבטחה ב-100%. אפשר רק לנסות לשאוף, אבל זה הכיוון.
Speaker A
זאת אומרת, הבלאק בוקס הזה שהוא כל כך נעלם, מטרה קודם כל להפוך אותו לסייף בוקס. ואני מניח שזה לא סתם משחק מילים, אלא באמת משהו שאנשים ירגישו בו הרבה יותר בנוח. מה זה בעצם אומר? אבל מה זה מבוסס? זה נשמע לי
Speaker A
מוכר מכל מיני דברים אחרים בעולמות הענן.
Speaker A
אה, נכון. אז אם אנחנו מדברים על סייף בוקס, קודם כל אנחנו מבינים שאנחנו צריכים איזשהו בקרה, אבל צריך להתחיל ביסודות, צריך להתחיל ממש לבנות את היסודות. האמת שהייתי רוצה רגע קודם כל
Speaker A
לתת כמה דוגמאות ואיך זה בא לידי ביטוי. אז מודל האחריות המשותפת אתה זוכר, נכון?
Speaker A
Shared responsibility, משהו שבילדיו אני חושב שאתה לא יכול להתנהל בענן. אתה בטח לא מבין כשיצא לי לעבור במשרדי ממשלה ולהעביר להם את ההדרכות של השלושה ימים. אתה זוכר שבנינו אותם ביחד? אז שעוד עשינו, עבדנו ביחד בדברים האלה.
Speaker A
ותמיד האחריות המשותפת הייתה מאוד בלאק בוקס עבור אנשים. הם לא הבינו, הם אמרו מה זאת אומרת? אני לא מבין, זאת אומרת הענן לא אחראי לנטוורק? הענן לא אחראי לסקיוריטי? אתה יודע, נסביר להם, לא, לא, הוא נותן לך את הבסיס, אתה צריך ליישם
Speaker A
את זה עליו. יש הרבה מודלים, יש מודל IaaS, PaaS, בשביל לעשות קצת את התרמת רמה למאזינים שלנו. אני יכול להרים מכונה ואז אני אהיה אחראי על הכל. אני יכול לקחת פלטפורמה, וכשאנחנו מדברים על AI בענן צריך לקחת בחשבון שאנחנו אחראים על המון
Speaker A
דברים. אם אני הולך לצ'ט GPT, אני מכניס מידע, אני אחראי רק על המידע, שהמידע לא ידלוף או יש כל מיני מודלים שדוגמה איפה הם יהיו ברמה גיאוגרפית. אבל אם אנחנו מדברים בענן, עוד רגע לפני שאני מאבטח את המודל,
Speaker A
אני צריך קודם כל להבטיח את התשתית. אז הכל צריך להתחיל ב-Cloud security, ואז אני מגיע על המידע, Data security, ואז אני מגיע לשכבת ה-AI, AI security. כך בעצם אנחנו הופכים את אותו בלאק בוקס לסייף בוקס. עכשיו יש פה משהו מעניין שאני בטוח שתזדהה.
Speaker A
היום אני רואה המון המון כתבות ודברים - פרצו לצ'אטבוט ההוא, פרצו למערכת ההיא, והכל מבוסס AI. אבל בסוף איפה היו רוב המיסקונפיגוריישן? בוא נשמע. לא נערוז לך את הפאנץ' באיזשהו בקט שהיה פתוח לעולם, שם היה המסמכים והמידע, מידה או הלוגים, טרפור
Speaker A
דפולטיבי שקיןפגלו לפי איזה כן, גיטאב של איזה ילדון, פק פאבליק. ולכן מה שקורה בעצם זה שאנשים באים אומרים, אה, בסדר, אני אקח את הלך לאותם WS, GCP, לא משנה מה, כל אחד מהמוצרים, המוצר שלו, יאללה אין בעיה, אני אבוא, אני אקים את
Speaker A
המודל שם, ארבע קליקים, עושה רג, עושה פייטיונס, עושה הכל, יאללה משחרר לפרודקשן בלי לשים לב שהמודל פתוח לפאבליק. איפה שהמסמכים, הכל פאבליק, אותו דבייס שמחזיק את ההיסטוריות השיחות פתוח לפאבליק, או איך קראו לה, מודל הסיני?
Speaker A
דפסיק, דפסיק, נכון? עדיין, עדיין קוראים, עדיין קורים. הוא לא פרש, כן? אז ממש בהתחלה זה היה שם מקרה שהיה שם דטבייס עם כל ההיסטוריות שיחות שהיה בטעות אופס בפאבליק. אני זוכר, זה האירוע מאוד מייצג את הסינים
Speaker A
הנחמדים האלה. כן. אז אתה אומר בעצם קודם כל בתור התחלה אתה אומר כל הדברים האלה עובדים ביחד, נכון? אני מניח גם אמרת Cloud security, Data security, Security, נכון? הכל כמו זה מגדל כזה. בדיוק. פרשת השבוע לפני שבועיים הייתה, זה נוח, מגדל בבל. אתה אומר הכל ביחד?
Speaker A
אם אחד נופל כל המגדל רועד לגמרי, והכל צריך להתחיל. זה הכל בשכבות. השכבה הכי למטה זה התשתית, זה הקלאוד סיקיוריטי. אני צריך לוודא שהכל יהיה בפרייבט סבנט, לשים הכל עם פרייבט פוינט, לא לשים לב שהדברים בפאבליק. אחר כך ברמת
Speaker A
הדאטה לשים לב קודם כל איזה מידע אני מעביר, עם איזה מידע אני נותן למודל הזה, לאיזה מידע אני חושף אותו ובאיזה מידע אני מאמן אותו. לפני שאתה מתקדם, הנושא של פאבליק שהלית אותו כבר כמה פעמים, אתה חוזר עליו הרבה כי
Speaker A
זה משהו שהוא מאוד נפוץ, זה משהו שהוא דיפולטיבי, זה משהו שאם אדם לא מודע לו זה מה שיהיה, יהיה פאבליק לגמרי לגמרי. זאת אם עכשיו בן אדם לא מודע לגרדריס ודברים שדיברנו עליהם פעם קודמת, לגמרי, ולשבכלל צריך להבטיח את המודל ושזה לא
Speaker A
דיפולטיבי ושלא ורטקס ולא בדרוק ולא פאונדרי, אף אחד לא ידאג לו. אם הוא לא ידאג לעצמו, סיכוי טוב שזה יהיה פאבליק לעולם. ברור. אתה עכשיו תלך ל-Foundry, סתם הדוגמה, תלך לאזור Found, תעשה קליק Create New Model, כבר מחדל הכל בפאבליק.
Speaker A
למה בחיית רותם? למה הכל בפאבליק? למה שמישהו ירצה שהמודל שלו יהיה בדיפולטיבי פאבליק? רגע, אז בוא פה אני צריך להתחיל ולדבר על... אתה לא צריך לגונן על הסטיינדל. אז בסדר, אני רק מנסה רגע להבין, כאילו יודע מה זה?
Speaker A
עובד פשוט. פשוט יש עניין שאנשים צריכים להבין בין בענן. הספקיות רוצות שיהיה חוויה מאוד מאוד טובה לאנשים שעובדים בענן, נכון? הם לא רוצים שעכשיו כשהבן אדם יתחיל לעבוד, כל שנייה הוא צריך להגדיר מלא הגדרות.
Speaker A
אמת. ולכן אני לא יודע אם אתה זוכר, אבל בעבר גם מי שהיה מקים S3 בקט ב-WS, הכל כברירת מחדל היה פאבליק, נכון?
Speaker A
מזל שברירת המחדל השתנתה ב-180 מעלות, נכון? זאת ברירת המחדל, כי היו המון המון המון אירועים, אבל גם אירועים פיננסיים. אגב נראה לי גם דיברנו על זה פעם קודמת. כן, כן, כן, לגמרי. וגם היום אני רואה המון המון אירועים על אותם בקטים בעצם, בקט
Speaker A
באמזון ובלופסטורג' באזור. היום זה מספר אחד בכל הדתליק, והכל. מה שאני רוצה להגיד זה שכברירת מחדל הכל פתוח בשביל שיהיה חוויה יותר טובה למי שמפתח, למי שבונה שם את הדברים. אז כברירת מחדל בשם חברת המשתמש אתה אומר קודם כל זה פחות
Speaker A
secure by design. זה לא flow, זה לא טעות, לא תפספס לאף אחד. רוצים שאנשים יבואו, למשוך אנשים, הם ארגונים, ולכן זה נעים ונוח. זאת אומרת אם אתה ארגון, סיכוי טוב שתחטוף. מעולה. עכשיו יש פה עוד נקודה, יש פה עוד
Speaker A
נקודה, ופה אני מחלק את האחריות. נגיד שהלכת עכשיו ל-WS או לאז'ור או ל-GCP, לא משנה מי, וקמת איזשהו מודל. כברירת מחדל אין גרדרס, אין... אה, יכול לדבר על מה אתה לא יכול לדבר. ואם עכשיו אתה תלך לספק
Speaker A
ותשאל אותו למה לא שמתם לי דברים, מה הוא יגיד לך? מה אגיד לך? זה באחריותך להגדיר את זה.
Speaker A
למה שיגיד לך? מה יכול להגיד לך? ואיך הוא גם יתרץ את זה? אני לא יכול לדעת מה הכי טוב בשבילך.
Speaker A
אתה צריך לדעת מה הכי טוב בשבילך. שבינינו זה בולשיט, אתה יודע, כי יש best practices אחי, ויש אקטד, ויש דברים שהם ב-90 אפילו לא 80-20 ב-99.1 עובדים נהדר, ובהחלט אתה יכול להמליץ, אבל כנראה שמה שאמרת כנראה שזה הדבר הנכון. חווית המשתמש יותר
Speaker A
חשובה מלהתחיל להכיל גרדרס קטלניים ולינור. לא כתובת. מי שלא מכיר גרדרס זה בעצם סט של חוקים שאנחנו מגדירים מה המודל מותר לו לעשות ואסור לו לעשות, לאן לפנות, כן לצאת לאינטרנט, לא לצאת לאינטרנט, לענות על איזה נושאים וכו' וכו' וכו'. חיוב חובה בכל הגדרת
Speaker A
לגם בענן באשר הוא. עכשיו זה מאוד מצחיק, כן? כי אנחנו נגיד עכשיו הלכנו לדוגמה ל-WS ו-Azure או GCP, לא משנה מי, כן, הלכנו וקמנו מודל, ואתה רוצה שזה יהיה בסוף צ'אטבוט באיזשהו אתר אינטרנט, ואני אגיד שהלקוחות שלך הם ישראלים. פתאום
Speaker A
מישהו מתכתב עם העם עם אותו צ'אטבוט בסינית. סתם, אני נותן את הדוגמה. אחרי זה אתה היית מצפה שהוא יענה, אבל לא הגדרת. אתה צודק. ולכן יש, הייתי מצפה שאם הצ'טבוט, הייתי באמת מצפה בתור ניר שאם הצ'אטבוט מוגדר עכשיו על
Speaker A
מידע ישראלי בעברית, הכל בסדר, משרת לקוחות באזור גיאוגרפי. כן, זה נשמע לי קומון סנס. הוא לא יענה לסיני, אבל זה לא עובד ככה. זה לא עובד ככה, ומפה גם בגלל שאנחנו לא סוגרים את כל החורים האלה, מפה גם יש לנו את כל המתקפות.
Speaker A
כי היום אם אתה לדוגמה עושה גרדרס ואומר למודל אל תענה על נושאים כאלה ואחרים, ומישהו שואל אותו בסינית, ופתאום המונחים קצת שונים, פתאום הוא מצליח להדליף מידע מאותו מודל, לדבר איתו על נושאים כאלה. ראינו הרבה הרבה דוגמאות
Speaker A
לבייס 64 שככה שולחים, והמודל פתאום מונה על דברים. אז אתה אומר בעצם האחריות של ה-AI קודם כל היא עלינו לא ל...
Speaker A
הוא אומר, "תשמע, אנשים לא מתנהלים בצורה נכונה. חושבים שזה ידאג וזה יעשה והדג קומפיוטינג הזה ידאג לך." אומר, "אף אחד לא ידאג לך. אם אתה עכשיו לא תדאג איפה לשים את הגרדל שלך, רצוי אגב, הרבה לפני מה שיכול לגרום לבלאגן, לא אולי יהיה
Speaker A
בלאגן. אני מבין שאתה מסכים איתו. אני מסכים אה רק בשביל ככה לפשט ולמאזינים שלנו מה זה רספו"סבלי.
Speaker A
אז בעצם כשאנחנו מבונים איזשהו מודל אנחנו חייבים שהוא יהיה שהוא יהיה אחראי איך כאילו אומרים respפונסבל אבל איך איך זה בא לידי ביטוי לדוגמה הטיות אם אנשים שונים לדוגמה זה יכול להיות מגזרים שונים עדות שונות שואלים שאלות הוא צריך להתייחס לכולם
Speaker A
בצורה שווה נכון הוא צריך שהמידע שהוא מוציא יהיה אמין אם עכשיו אני בצ'אט בוט של שברולד כמו הסיפור הידוע ומישהו שואל אותי תגיד לי אפשר שרולד בשקל ואני אומר לו סבבה פתאום זה שם את החברה בסיטואציה לא נעימה
Speaker A
אז אני חייב לשים את כל הגרדריס האלה שלא נדבר כמובן על לעזור לאנשים עם לבנות פצצה ואתה יודע ודברים כאלה שזה בכלל אה כל הדברים האלה אבל שוב זה זה הרספונס סי בליי שזה איך החברה צריכה לבנות את
Speaker A
הגרדריס בשביל לתת את השירות הטוב ביותר ללקוח וגם בסופו של דבר זה גם משפיע על המיתוג שלה וגם טעויות יכולות להיות בעיה עסקית אבל גם אנחנו יכולים לדבר על האיומים שזה מה שהתחלנו לדבר מקודם אתה אומר בעצם איומים חדשים
Speaker A
prompt inctiontion plugג אקס דברים שהם פחות סטנדרטים לא פחות אם לא יותר מסוכנים נכון?
Speaker A
כן. מצד אחד אנחנו אומרים המודל לא צריך לעשות הזיות, לא צריך שלו אתיות ודברים כאלה, אבל יש כל מיני, בוא נגיד, אנשים רעים ש שמנסים מנסים לנצל את המודלים והכל. ואז בעצם אם אם דיברנו מקודם על אמרנו יש לנו
Speaker A
כמה שכבות, נכון? אמרנו יש לנו את הClוד securורity זה התשתית סגרתי את הכל הכל בפרייט אחר כך את הדטה אני בודק את הדטה והכל ואז אנחנו מגיעים לשכבה של הAI והרבה שואלים אותי רגע רותם איך אני עושה את
Speaker A
ההגנות בשכבה הזאת כי כולנו מדברים ומכירים לדוגמה applicationקש secקurity אתה רוצה להגן בשכבת האפליקציה אתה שם ף אבל אין וף לllm היום כאילו יש כל מיני רוורס פרוקסי אבל בגדול מה שצריך לעשות וזה עכשיו ה עם המסר שצריך
Speaker A
שהמאזים צריכים ללכת איתו מה שנקרא הביתה אנחנו צריכים לעשות את הבדיקה לפני המודל ואחרי המודל בגלל שהמודל הוא קופסה שחורה שאנחנו לא יודעים בדיוק איך הוא התנהג בפנים אנחנו צריכים לתפוס את הפרומפט לפני לשים לב האם יש שם prompt inקשן האם יש שם
Speaker A
כל מיני א דברים pi יכול להיות שאנחנו צריכים לנקות שם צריכים לעשות את הבדיקות לפני המודל, להכניס אותו לתוך המודל, הוא עושה שם דברים, יוצא outטפוט, אני לא סומך עליו.
Speaker A
יכול להיות שיש לי שם pi, יכול להיות שיש לי שם דברים לא נכונים כל הדברים האלה אני צריך לעשות בדיקות. אז לפני שאני מחזיר למשתמש ברגע שזה תן תן למי שלא עובד עכשיו בכלל עם הדבר הזה או שלא התנסע בזה מספיק, איך דבר כזה נראה?
Speaker A
לא ברמת שורת הקוד, ברמת תפיסת עולם. אני רוצה עכשיו להחליט שPI רק PI מידע רגיש מי שלא מכיר לא יוצא למה כי זה קטסטרופה זה למה מעולה אז בוא נגיד שאתה א חברת שירות לקוחות אוקיי יש לך איזשהו צ'אטבוט באתר
Speaker A
סבבה לגמרי אני בא לאתר שלך ומבקש מהצ'אטבוט היי אני אשמח ש תפרט לי פה את כל מי שעשה היום הזמנות אני רוצה שם פרטי שם משפחה מספר טלפון מספר הזמנה ומה הוא הזמין בגשה לגיטימית נכון עכשיו יש לנו א כמה חלקים השלב הראשון אני
Speaker A
יכול לתפוס את זה לפני שזה נכנס למודל ולהגיד יש פה בקשה לא לא לגיטימית הוא שאל על מישהו אחר הוא לא שאל על עצמו הוא לא אמור להיות חשוף למידע הזה נכון ואז אני חוסם אותו אבל נגיד שלא עשיתי את ה את
Speaker A
החסימה ברמה הזאת גם עכשיו יוצא פלט הלך המודל הלך והכל והביא את כל המידע ועכשיו בא לצאת. לפני שהוא בא לצאת ועכשיו להדפיס לי מול הפנים את כל הרשימה, שם פרטי, שם משפחה, מלפנים. זה כן, אוקיי.
Speaker A
שם פרטי, שם משפחה, מספרי טלפון, כל הדברים האלה. אה אז אני יכול לעשות בדיקה, מה שנקרא לבדוק את האoutטפוט לפני שזה יוצא ואז אני בודק את זה ואז אני אני אחסום אפילו את את היציאה או אכתוב לו משהו אחר, איזה משהו כללי כזה. אתה לא
Speaker A
יכול לראות מידע או לדבר על אחרים. זאת אומרת, כל הנושא שנגיד data poויזoningנ שמישהו מכניס עכשיו דטה מזוהם למערכת והפי טונג הבא שלך כבר לומד דברים שהם לא נכונים. אני זוכר שדיברנו בזמנו על נושא של מודל test נכון ש
Speaker A
כן לשים לשכפל את המודל שלך עם כל מיניס וחוזרים על עצמם אז גינים כן נשמח טיפה אם תוכל להרחיב לנו את זה נשמע כמו ג'ונגל מטורף הדבר הזה כן אז אז אז רגע בוא בוא נחלק את זה לשתיים אז יש לנו את המודל
Speaker A
שאנחנו צריכים להגן עליו שלא יחזיר א תשובה שגויה אבל לפעמים באמת כמו שאתה אומר יכול להיות לידתה poויזנינ זה יכול להיות גם לא רק אה בצורה של פרונט אני יכול לעלות מסמך שיהיה בו מידע ואז בעצם ככה אני עושה in directקct
Speaker A
prompt injection או מרעיל את ה את הדברים ואז אני גורם לו לעשות פעולות שהוא לא רוצה. דיברת על פלאגינים וזה משהו מאוד סופר חשוב ואני ראיתי המון המון המון המון המון התקפות בנושא הזה. היום כולם רוצים לחבר את המודלים לכל מקום.
Speaker A
רוצים לחבר את המודלים ל קלנדר, רוצים לחבר את המודלים לאימייל, אבל לא שמים לב לסכנות שזה מביא. כי היום ברגע ששולחים לך מייל או זימון ביומן ושמים שם איזשהו פרומט, פתאום אתה מבקש מהמודל לעשות פעולה מסוימת ופתאום הוא עושה משהו אחר לגמרי כי הוא
Speaker A
קרא ביומן שאם אתה מבקש ממנו 1 שתיים שלוש תעשה ככה וככה ופתאום בלאגן בפרק האחרון עם איג'נטים שהדגמנו איך אטלס עובדכן אה ראינו שיכול להיות נורא חמוד ויכולות באותה מידה מאוד מסוכן כי אם אתה נותן לו agent mod on ואתה sigי in לארים לא צריך
Speaker A
הרבה כדי שהוא או יעשה שטויות או שמישהו ישת לך על הבראוזר לא צריך הרבה לגמריס הוא בבראוזר והוא בent mod on אוקיי prom inctiontion הכי קל הוא עושה מה שהוא רוצה לכן הבכלל הקבלת החלטות הזאת של אתה יודע מתי לתת לו אוטונומיה מלאה זה
Speaker A
אירוע בפני עצמו נכון איך ארגון מתמודד עם כל האיומים האלה אז אם אנחנו מדברים על AI מה שלפני רגע דיברנו עם עם הצ'אטבוט זה שילוב של כמה דברים יש לנו את הפוט input validation צריך לוודא שלפני שזה מגיע למודל לסנן
Speaker A
לנקות לוודא שאין שם שום א פקודות חוויות שום דבר נסתר ואז outטpטפilטרing לשים לב שיהיה לנו שום דבר עכשיו כמובן שגם אני יכול להגדיר כשאני מגדיר את האינפוט ואת האoutטפוט אני יכול להגדיר גם טופיקים היום היום יש כל מיני מודלים צד שלישי
Speaker A
שמסתכלים ובוחנים את האינפוט ואת האoutטפוט בשביל להגיד לנו האם זה כי היום בI בגלל שהכל בטקסט חופשי זה מאוד מאוד מאוד קשה להבין אז לפעמים אנשים משתמשים במודלים מצד שלישי בשביל לעשות את הבדיקות האלה זאת החלופה של human in the loop כדי
Speaker A
להיות הנושא הזה מול lm a jג אתה אומר אני אשים איזה גgeג שיחליט אם זה תוכן סביר או לא ברוב המקרים אני אשים אמאג ב בשיחות כאלה כי תחשוב עכשיו מישהו מתכתב בצ'אט עם השירות לקוחות אני לא אחזיק מישהו מאחורי הקלים שיעשה לי
Speaker A
אישור לכל שיחה גדולה שלה כן נכון למרות זה שומר מקומות עבודה לא הייתי פוסל את זה על הסב אני כן אגיד שהיה לאחרונה כמה אירועים שהאמת שזה כן מעניין היה כמה אירועים שאני שמעתי שהיה מישהו שהיה עובר א על השיחות
Speaker A
מול אותם צ'אטבוטים ובפעם אחת אם אני לא יודע איזה חברת נסיעות או משהו כזה שמו לב שמישהו הצליח לקבל איזה קופון א ואיזשהי הנחה שהם לא היה צריך לקבל בוא נגיד את זה ככה ועלו על זה ומצאתי מקומות שלא בדקו אז לא עלו על
Speaker A
זה אה אז אפשר גם לעשות כל מיני בדיקות אחר כך היחס עלו תועלת הזאת שלומןנדלופ בתהליכים שהם לא קריטיים. זאת אומרת, נגיד קופון סביר להניח שזה לא קריטי, אלא אם כן הוא מצא איזה איזה באמת איזה הול כזה שיכול
Speaker A
לשכפל את זה אלפי פעמים ואז זה לא כיף. א ולקנות קדילק. קדילק זה שאמרת מקודם א שברולט.
Speaker A
שברולט עוד אחד אמריקאי כזה מנוע ענק בדולר. זה גם קריטי. זה קריטי. אתה יכול להזמין עכשיו 1000 מכוניות בעזה.
Speaker A
וכבר היה לנו השנה פלופ עם טסלה סייברטראקט. לא יודע אם קראת על זה. זה מטורף הנקלה שהייתה להם שם. קיצור אבל זה משהו אחר אז בעצם אתה אומר כל הדברים האלה של גם in theל בנושא של rate liiting
Speaker A
שבעצם אם מישהו עכשיו שולח לך 1000 quies לדעת לזהות אותו הדברים האלה הם חשובים מאוד נכון מבחינת liמit א היום בגלל שאנחנו משלמים בעצם על כל קריאה אני הולך למודל עושה דברים ויש שם כל מיני התקפות של הקרים שלא
Speaker A
רוצים לעשות לא רוצים להוציא לנו מידע לפעמים הם רק רוצים לעשות לנו רע הם יכולים לשלוח לנו פרומטים ענקיים לבקש מאיתנו לעשות דברים מאוד מאוד מאוד כבדים ופשוט לעשות מה שנקרא מתקפות ארנק. רק רוצים א לגרום לנו לאבד כסף. אה אנחנו צריכים לדעת
Speaker A
איך אנחנו מזהים את זה, איך אנחנו מנתרים את זה. אה איך אתה מזהר לימט? זה חלק מהגדריס, זה חלק מההגדרות של המודל? איפה אתה עוצר את זה?
Speaker A
הרבה לפני המודל. אוקיי, אם אנחנו דברים על liמit אני יכול לדוגמה בו, אם זה ממש ממש ממש רמה מטורפת בואוף, אבל רוב רוב הוואפים לא באמת יצרו את זה. א אני צריך לשאול את עצמי האם המשתמש הזה הוא מאומת. זאת אומרת, האם אני
Speaker A
יכול לדעת האם זה אותו משתמש ששולח את הקורy? ולרוב אני אצטריך לעשות את זה ברמה אפליקטיבית לפני ש לפני שהוא הולך למודל.
Speaker A
נגיד עם אותו בן אדם שולח סתם אני זורק אמ לא יודע א פרומטים בדקה זה משהו שהוא כבר ח הבנתי ז זהו התנהגויות אימות של הבן אדם או לא בן אדם זיווי בוט לא בוט כל מה שואף עושה בצורה טובה
Speaker A
למנוע ממנו בכלל הטריט הללם תעצור אותו בכניסה אתה יודע כמו איזה דור קיפר טוב חיב חייב חייב אז זה בעצם מתחבר לי טוב עם נושא של דבסקופס נכון נכון? איך זה משתלב?
Speaker A
א בדפסיקופס מדברים הרבה על פיתוח מובטח. אה זה בא יותר מכיוון הפייפלנים והכל. צריך לשים לב שהרי מאיפה מאיפה באדבסקופס?
Speaker A
היה את המפתחים שהיו עושים את הדברים בצורה לא מובדחת, בוא נגיד ואז באים ואומרים חברים בוא נעשה את זה בצורה שהיא כן מובטחת. אז אם אני חוזר א ככה לסיכום שאנחנו מדברים על על איך אני צריך לבנות את זה ברמות יש לנו את
Speaker A
הClוד סקיity אז קודם כל בקוד סקיity אני צריך לשים לב שאם יש לי אינפסטקure אז אני צריך לבנות את הכל בצורה מובטחת בצורה סקיורד ששוב כל זה גם בפייפלין גם של הדבסקופס הם פורסים את הסביבה ברגע שאני פורס את הסביבה אני צריך להגן על המידע
Speaker A
איפה המידע ישב בבקט מ למי יש גישה למידע המידע יושב בת אה במוצפן, בתנועה, במנוחה, כל הדברים האלה.
Speaker A
זאת אומרת, אנרגי לנסות לעזור לך בקטע הזה. שינויים בפרומפטים, נושא של contטוס מוניורing לדעת בזמן אמת אם משהו חריג קורה.
Speaker A
אה, זה עוד רגע לפני, זה עוד רגע לפני, אוקיי? אנחנו קודם כל צריכים לשים לב שכל המידע שמור ואז אחר כך אם אנחנו מדברים על AI שהיום יש המון המון כלים שלדוגמה סורקים את הלוגים כשפונים לai אז שם זה
Speaker A
בדיוק מה שאמרת צריך לעשות continuous מוניורing נגיד אם עכשיו אנחנו רואים בלוגים המון המון המון שילטות על דברים שונים פתאום אני רואה שמדברים איתי בשפות שונות אם אני אבדוק את זה ואני אנטר את זה אז אז אני אדע וזה האמת
Speaker A
משהו שככה תמיד אם אנחנו מדברים שוב על השלבים אז יש משהו שאני תמיד אומר שצריך לקחת אחר כך צריך תמיד להיות במוניטורינג וגoverמנס מצד אחד מדיניות מה מותר מה אסור להגדיר את הגרדריס ואחר כך כל הזמן לעשות ניתור
Speaker A
ולוודא שהגרדלס באמת שמורים כי אני יכול היום להגיד אסור לדבר בשפות בשפות מיוחדות אסור לדבר בטופיקים מסוימים אבל יש מצב שזה קורה בפועל יש מצב שזה בעיה אצלי שלא הידקתי מספיק את כל הדברים ויש מצב שזה פשוט אותו הקר מתוחכם שמצא
Speaker A
שאם א שולחים לא יודע איזשהו א כמה אותיות בסינית זה פשוט שובר לי את את הסייפטי אני מסכים לגמרי לגמרי אני גם זוכר יש משפט אחד שלקחתי מהפודקאסט הראשון שלנו זה המנטליות כמה חי הוא חשוב יותר מהכלים עצמם אני חושב שחזרת
Speaker A
על זה כמה פעמים ואני חושב שגם פה זה ככה נכון אתה יכול לשים contentספטy או בדרוגדילס או מה שאתה רוצה יש אקוסיסטם מטורף זה נכון אבל אתה אומר זה לא הכלי נכון זה המנטליות של האנשים למה לא מספיק לסגור את הדלת צריך לדעת מה
Speaker A
קורה מאחורי הקירות מה אנשים עושים אז דיברת על הIDז על הקוד נגענו בהמון דברים אז אבל אתה אומר זה אותו דבר נכון זה לא כזה שונה כרגע אנחנו מתרכזים ב שוב ב במודלים של AI בענן אבל אפשר לקחת
Speaker A
את זה באמת כמו שאתה אומר לכל מקום ובאמת צריך לשים לב שבI ואני רואה את זה כל שבוע אני הולך למייטאפים ואני קורא ואני לומד ואני חוקר נתת דוגמאות על הדלת אני סוגר דלת ונפתחות לי עוד שבע דלתות מאחורה של סיכונים חדשים
Speaker A
זה פשוט מטורף כאילו פשוט מטורף תשמע זה נשמע כמו הרבה עבודה ואנחנו מתחילים להתקרב באמת לסוף הפודקאסט ואני מאוד רוצה שהמאזינים שלנו או הצופים שלנו יצועים פה עם א עם אקשן אטמס ממשים כמו שאנחנו אוהבים לעשות להם ככה אה אה
Speaker A
צ'קליסטים טובים מצד אחד לא הייתי רוצה שנחזור על כל מה שכבר נתן להם בפרק של הסיוריטי מצד שני זה לא אותו דבר זאת אומרת כי פה אנחנו לא מסתכלים על פרצות הבטחה מסוימות אלא יותר על א דת הברית של יכול להיות מיליונים נכון גם
Speaker A
מוניטין גם כסף גם אז עם איזה מסר אתם אומרים שאנשים צריכים לצאת מהדבר הזה כש שהתחלנו עם בלאק בוקס ורצית להביא אותם לסייב בוקס, נכון?
Speaker A
איך אנחנו מחברים את הדברים? איזה גשר? אז אז קודם כל לפחד. אוקיי, אני עכשיו בא ואומר, אתה יודע, ai מפחיד זה סיכונים, אל תפחדו מיי, אוקיי? זה משהו שהביזנס א הולך אליו. אם אתם תפחדו מאי ואתם לא תלכו לכיוון
Speaker A
כנראה שאתם לא תהיו שם ואז הביזנס לא יהיה שם והביזנס הוא זה שמוביל אז קודם כל אל תפרדו מהבלאק בוקס הזה תלמדו איך אנחנו בונים את הסייבקס מסביב עכשיו בשביל לדעת איך אנחנו בונים את הסיף בoxס בצורה הטובה
Speaker A
ביותר קודם כל אני צריך להבין את הזק casס על מה אני מגן כי יש הבדל בין אם עכשיו אני בונה איזשהו א צ'אט שמאחורה זה open AI ואני לוקח את זה בצורה ססית ואני אחרי רק על המידע לבין אם אני בונה את זה עכשיו
Speaker A
על בדרוק וזו פאונדרי ואז אני אחראי על המון על יותר דברים הדיטו שלך נראה אחרת לגמרי ברור לגמרי לגמרי עכשיו יש גם אנשים שאומרים לי רגע רותם אני א לא לוקח את המודלים ארבע או לא יודע מה מהקטלוג אני עושה פין
Speaker A
טיונינ ואז אני אומר רגע מצד מצד אחד אתה אומר, אני עושה את זה יותר טוב, יהיה לי פחות הזיות או דברים כאלה. מצד שני, אם אתה מאמן את המודל על מידע שהוא לא מה שנקרא ולידי או דברים כאלה, יכול להיות
Speaker A
שגם פה אתה מביא לעצמך סיכון. נכון? זה מה שדיברנו על הפוutטיש שבכלל אולם מאכיל אותו בג'אנק ולא כל טקסט שהמודל מקבל אמור לקבל לגמרי. זה מצריך זה מצריך ידע מאוד מה בכלל פי טיוני דיברנו בפרק של ה איך CTOים
Speaker A
בוחרים מודלים זה לא כזה פשוט מתי לפי טונינ מתי אתה רוצה להגיע לפיטיונינ זה לא כזהג דפולטיביזה הרבה עבודה זה די טו אגרסיבי מאוד לגמרי והיה סיבה מאוד טובה ולכן דרך אגב אני רואה שרוב רוב רוב הארגונים מתחילים ברג
Speaker A
פשוט א ככה עם היתרונות החסרונות שלו ויש הרבה יש הרבה יתרות וחסורות לרג אני חושב שאנחנו נעשה גם פרק על זה כי א רגש בסוגריים קטנות בכוכבית מאבד מהגדולה שלו כרג פשוט ודווקא traugט tech טקניקס נכנסים ממש בגדול ובלי זה קשה מאוד להגיע לרמת דיוק
Speaker A
כל הנושא של לשלוף את המידע בצורה נכונה מדוייקת הצ'נקי strרatגy זה נהיה תחום מומחיות מאוד גדול שכבר אבל החדשות הטובות שהמוומחיות נצברת בו זאת אומרת זה כבר לא זה כבר לא בלאק בוקס אנשים מבינים יותר טוב מה לעשות אבל אני שואלך על רק
Speaker A
דפולטיבי by דיזיין לפי המלצות של יצרני ענה לפי ההייפרסקילרים צפויה לו אכזבה מאוד גדולה בלבוא לשלוף את המידע בצורה יעילה מהירה מדוייקת א לא פשוט בכלל יעילה מבחינת טוקנים לא לא סטנדרטי אמ אז אני אגיד לך משהו אז יש עוד לך משהו רג
Speaker A
לפני מה שאני שמתי לב שעובדים לקוחות ככה כדי ככה to rפ itט up להתחיל את הכל להתחיל בקטן לא צריך לפתור את הכל ביום יום אחד שבעצם אני אשמח לשמוע את הפידבק שלך שלושה דברים ראיתי שחוזרים על עצמם הרבה מדיניות
Speaker A
נתונים ברורה מה נכנס מה יוצא זהויות והרשאות זה בטח מאוד קרוב לליבך מי עושה מה וביקורת גישה מי נגע במה זאת אומרת זה ברמת ארגון בכלל אבל זה בטח חל על הLM ועל ה פתרון AI ובסוף זה אמון האם העובדים או
Speaker A
מי שמשתמש במערכת סומך על הי שלך א שקפות. האם אתה יכול להסביר מה המודל עושה או שזה בלאק בוקס? אוקיי, אנחנו לא רוצים להיות בסרט הזה שזה אני מקווה שהוא טוב. מה זה מקווה שהוא טוב? אתה לא תדע
Speaker A
כמה זה עולה. אתה לא תדע אם הוא סקיור, אתה לא תדע מאיפה הבריצ'ים מגיעים לך.
Speaker A
ובסוף בסוף זה אחריות. מה קורה שמשהו משתבש מחזיר אותנו לשירדפונסity modelודל שאם אתה בונה את זה נכון קל לך לעשות את הרוורס אנר של מה קרה מתי. נכון לגמרי.
Speaker A
יפה יפה. אז מה הצעד הראשון שבן אדם צריך לעשות מחר בבוקר בשביל לקחת את הלאק?
Speaker A
save box מה אתה מציע? אז התחלתי לעבור על זה אז באמת איפה אנחנו משתמשים, מה אנחנו משתמשים, איזה דטה, מה הסיכונים ומהגנות לעשות מיפוי בעצם של מה קורה?
Speaker A
כן, ממש ממש ממש ממש ככה בוא להגיד להבין איפה היא נמצא. הרבה ארגונים הבנתי שאני פוגש אותם אומרים לי רגע אני רוצה איזשהו צ'קליסט אני רוצה איזשהו משהו צריך להבין שהיום יש המון סטנדרטים א אנשים אומרים לי אני רוצה CIS אני רוצה
Speaker A
איזו אני רוצה כל הדברים האלה גם לעולמות הAI יש כבר המון המון המון למרות שזה נושא חדש אבל גם הדוקומנטציה פשוט יש משבים מעולים בחוץ יש את האסטופ 10 ללם כל הסיכונים ניסט ציורק יש איזו עם אותו חברה אם אותה
Speaker A
חברה עכשיו רוצה לאמץ איזשהו איזו אז היא יכולה לאמץ איזשהו סטנדרטס ארבע משהו אם אני לא טועה אל תפוס אותי בזה יש המון בלוגים אני אני מאוד מאוד מציע וממליץ בחום למי שהיום הולך לענן אזור לא משנה מה GCP כמובן
Speaker A
גם להם יש [צחוק] אז א ללכת ולראות אצלם מה הבסטיס א לבנות אצלם את אותו דבר. עכשיו אני אתן עוד טיפ.
Speaker A
אתה אומר שנייה לפני הטיפ הנוסף אתה אומר יש כל כך הרבה דוגמאות טובות כבר של מה עובד ואיך לעשות לא צריך ללמוד מחדש כלום רק תראה מקרה testס study סליחה שעובדים ותיישם אצלך ממש ברמתל דזיין תראה מה עובד
Speaker A
מה לא עובד do and don't נכון עכשיו עכשיו יותר מזה כאילו אני אומר תמיד לכו סתכלו ע על casיסים היום בעולמות הענן יש טמפלייטים היום אתה הולך לW WS LAABS יש להם גיטב אחלה גיטב אותו דבר באזור אותו דבר זה אתה
Speaker A
פשוט לוקח template לדוגמה אני מאוד אוהב באזור את הt with your data לחיצה אחת פורס לך את כל הסביבה יש לך את האפליקציה יש לך את הדatביס יש לך את ה וקטור db את כל הקומפוננטות שאתה רוצה אתה
Speaker A
רוצה search אתה רוצה אקסט to spech אתה רוצה speech to tex אתה רוצה טיק טיק טיק טיק טיק ובום זה פורס לך ואז גם לבוא ולהתחיל עם טמפלייטים לא להמציא את הגלגל אני מסכים לגמרי אין שום סיבה להמציא את
Speaker A
הגלגל יש מספיק אתגרים גם בלי להמציא אותו בכלל ברוך השם אל תדאגו לא יהיה לכם משעמם ברבו לימצא l אלמי בי אז אה מדהים אז בעצם כמו שאנחנו תמיד מסכמים את הפרקים שלנו בינה מלאכותית זה לא איזה קסם במקרה שלך זה גם לא איום
Speaker A
נכוןג זה לא משהו שלא ניתן לשליטה בסוף זה מערכת אם הבנת את ה את ה מה לעשות ומה לא לעשות ואתה מתכנן אותה בצורה נכונה בונה אותה נכון זה נהיה נכס נורמלי זה ניה נכס אסטרטגי כמו שזה אמור להיות
Speaker A
לא בלאק בוקס רוצים להימנע מתחושת ה גם בלאק בוקס אני חושב בבסיס שלה זה חוסר שליטה מאוד גדול אני לא יודע כלום מה קורה בפנים אני מקווה לטוב שלא יתהפך עליי שלא יתייקר לי שלא ישתנה נכון נורא מגביל
Speaker A
ואני רואה המון המון המון ארגונים פשוט חוששים בינינו בצדק. עדיין חוסר הידע גובר על הידע ואף על פי שנוצרים טמפלטים ונוצרים best practטיסים וארגונים מתחילים לראות successקס עדיין למיתב ידי אחוז כישלון שגם על זה עשינו פרק של 95% אותו אחוז כישלון אלא אם כן
Speaker A
השתנה משהו 95% כישלון לא 50% תחשוב אז יש סיבה לחשוש אחי אה וזה תלוי אתה יודע באיזה סקטור אתה נמצא כי אם אתה היום מוכר שברולת בדולר אז סבבה אבל אם אתה הולך לסקטור הרפואי ובגלל לא יודע המודל נתנו טעות תרופה אחרת
Speaker A
סתם אני נותן דוגמה פתאום יש דברים שאתה אויות שם בוא נשגר ספייסקס אתה יודע עם ראש נפץ א יש דברים שעדיף להימנע מהם שעדיף הומן in theלופ ולא יומן איראני יומן נורמלי בלופ כן עדיף מדהים א רותן לגמרי
Speaker A
תודה רבה רבה תמיד תענוג לארח אותך ואני מקווה שיהיה לנו עוד פרקים ביחד תמיד מכניס סתובנות חדשות והופך את זה למאוד נגיש. אני מאוד נהנה כל פעם. מקווה שגם ה צופים מאזינים שלנו. אם נהניתם מהפרק תשתפו אותו, תגיבו, תפיצו, לייק,
Speaker A
סבסקרייב, כל הדברים רגילים. מאוד נשמח. זה מחזק אותנו מאוד. לתן לנו רצון להמשיך. המטרה של הפרקים הזאת האלה הם לא היא לא מסחרית. זה רק לתת לאנשים ידע בעזרה.
Speaker A
ובשב זה אנחנו קונים מיקרופונים, עושים דברים, נהנים מזה. זו המטרה של כולנו. תודה רבה חברים, תודה רבה רותם, תודה רבה בריאות ואושר ונתראה בפרק הבא.
Topics:בינה מלאכותיתאבטחת AIענןמודל אחריות משותפתCloud securityData securityAI securityגרדרסמודלים בענןSafe Box
