**461: למידה עמוקה, Deep Learning, חלק ב' (ש.ח.) [עושים היסטוריה] — Transcript & Summary | SozAI** Source: https://sozai.app/transcript/deep-learning-part-2-history/ פרק 461 של עושים היסטוריה עם רן לוי מתמקד בלמידה עמוקה, טכניקות אימון רשתות נוירונים ואתגרים בפענוח מחשבות הבינה המלאכותית. ## Key Takeaways - למידה עמוקה היא טכניקה מרכזית לאימון רשתות נוירונים מרובות שכבות. - היסטורית התחום מלאת תקופות הייפ ואכזבה, אך כיום יש התקדמות משמעותית. - הצלחות כמו אלפהגו מראות פוטנציאל גבוה אך יש להיזהר מהייפ מופרז. - הבנת החלטות מודלים גדולים היא אתגר מרכזי שמתקדם בשנים האחרונות. - ג'פרי הינטון נחשב לאבי תחום הלמידה העמוקה ולדמות מפתח במחקר. ## What the video covers - הסבר על שורשי רשתות הנוירונים המלאכותיים והקשר לבינה מלאכותית מודרנית. - סקירה היסטורית של תקופות הייפ ואכזבה בתחום הבינה המלאכותית ורשתות הנוירונים. - הצגת טכנולוגיית הלמידה העמוקה והשפעתה על תחומים שונים, כולל ניצחונות אלפהגו בגו. - דיון בספקנות המדעית כלפי רשתות נוירונים בשנות ה-70 וה-80 וההתאוששות בעקבות טכניקת back propagation. - הצגת דמותו של ג'פרי הינטון ותפקידו המרכזי בפיתוח תחום הלמידה העמוקה. - הסבר על מבנה רשתות נוירונים מרובות שכבות ואופן פעולתן. - דיון באתגרים של הבנת החלטות מודלים גדולים והתקדמות במחקר בתחום זה. - הצגת דוגמאות לשימושים מעשיים בלמידה עמוקה בתחומים רפואיים, טכנולוגיים ותעשייתיים. - הדגשה של ההבדלים בין למידה אנושית ללמידה מלאכותית והאתגרים הנלווים. - הזמנה לתמיכה והשתתפות בהרצאות של רן לוי. ## Chapters 1. 00:00 הקדמה ללמידה עמוקה ורשתות נוירונים 2. 04:02 היסטוריה של רשתות נוירונים ואכזבות מוקדמות 3. 07:45 הצלחות אלפהגו והלמידה העמוקה במשחק גו 4. 10:49 ספקנות ומחקר מחודש ברשתות נוירונים 5. 13:58 ג'פרי הינטון ותחילת ההתעניינות המחודשת 6. 17:22 מבנה רשתות נוירונים מרובות שכבות 7. 20:36 יישומים מעשיים של למידה עמוקה 8. 24:35 האתגרים בפענוח מחשבות הבינה המלאכותית 9. 30:36 סיכום והזמנה להרצאות ותמיכה Answers ## Questions about this video מהי למידה עמוקה וכיצד היא קשורה לרשתות נוירונים מלאכותיים? למידה עמוקה היא טכניקה לאימון רשתות נוירונים מרובות שכבות, המאפשרת למחשב ללמוד לבצע משימות מורכבות על ידי עיבוד שכבות מידע רבות. מדוע היו תקופות של אכזבה במחקר רשתות הנוירונים? במחקר המוקדם נתקלו רשתות הנוירונים בקשיים טכניים ותאורטיים שהגבילו את הפוטנציאל שלהן, בעוד שגישות אחרות בבינה מלאכותית הציגו תוצאות טובות יותר, מה שהוביל לזניחת התחום לתקופה. כיצד הצליחה טכנולוגיית הלמידה העמוקה לשנות את תחום הבינה המלאכותית? הטכנולוגיה אפשרה פיתוח מערכות כמו אלפהגו שהצליחו לנצח שחקנים מקצועיים במשחקים מורכבים, והביאה להתקדמות משמעותית ביישומים שונים כמו זיהוי תמונות, תרגום שפות ואבחון רפואי. ## Full Transcript — Download SRT & Markdown 00:00 Speaker A שלום וברוכים הבאים לעושים היסטוריה פרק 461 למידה עמוקה deep learning חלק ב שידור חוזר רשת. 00:47 Speaker A [מוזיקה] עושים היסטוריה רשת עושים היסטוריה רשת עושים היסטוריה עושים היסטוריה עם רן לוי. 01:10 Speaker A [מוזיקה] [מוזיקה] [מוזיקה] [מוזיקה] שלום. בפרק הקודם סיפרתי לכם על שורשיהן 01:31 Speaker A של רשתות הנוירונים המלאכותיים. הטכנולוגיה שהיא הבסיס של הבינה המלאכותית המודרנית כמו למשל מודלי שפה גדולים GPT ודומני ודומה. בפרק הזה אנחנו נתמקד בטכניקה שבה אנחנו משתמשים כדי לאמן או ללמד את רשתות הנוירונים האלה לעשות כל מיני דברים, טכניקה בשם למידה עמוקה. את 01:49 Speaker A החלק האחרון של הפרק הקדשתי למה שהיא אחת הבעיות הקשות והמאתגרות בעולם הבינה המלאכותית: איך אפשר לקרוא את המחשבות של הבינה המלאכותית? למשל, איך אפשר לדעת למה מודל שפה בחר לתת לנו תשובה X במקום תשובה Y? כפי שתשמעו מיד בפרק, זו בעיה חשובה 02:18 Speaker A מאוד שאם נצליח לפתור אותה, תהפוך את הבינה המלאכותית לכלי הרבה יותר שימושי ואמין. בזמנו כשכתבתי את הפרק אף אחד לא ידע איך אפשר לעשות את זה, אבל בשנים שחלפו נרשמו כמה התפתחויות מאוד מעניינות בנושא הזה שעליהן אני אספר בסוף הפרק. האזנה. 02:41 Speaker A [מוזיקה] נעימה בתחום חקר הבינה המלאכותית יש דפוס קבוע שחוזר על עצמו פעם אחר פעם אחר פעם מזה עשרות שנים: טכנולוגיה או טכניקה חדשה מופיעה ומיד כולם מתחילים לדבר על כך שהנה אוטו יופיעו מחשבים בעלי בינה מלאכותית, ושלכל אחד מאיתנו יהיה בבית רובוט שידיח 03:05 Speaker A את הכלים וילמד את הילדים חשבון. מספר שנים לאחר מכן, כשרובוטים בעלי בינה מלאכותית מאחרים לבוא וכולם מבינים שההבטחות הגרנדיוזיות היו לא יותר מאשר הייפ בלתי מציאותי, מסתתרת אכזבה כללית ותחושה שבעצם מחשבים בעלי בינה מלאכותית רחוקים מאוד ממימוש, אם בכלל נצליח להמציא 03:31 Speaker A אותם אי פעם. נתקלנו בדפוס הזה בפרק הקודם בסיפורו של פרנק רוזנבלט וחיצד המציא בשנות ה-60 של המאה ה-20 את הפרספטרון, נוירון מלאכותי שהוא מודל מופשט של הנוירונים הביולוגיים שבמוחו. רוזנבלט ומספר מחבריו האמינו שרשתות נוירונים מלאכותיים יוכלו בתוך שנים ספורות לתרגם 04:02 Speaker A טקסטים מרוסית לאנגלית ובחזרה ולשלוט על רובוטים מתוחכמים במשימות בחלל. במציאות מחקר רשתות הנוירונים המלאכותיים נתקל בקשיים שבלמו את התפתחותו, בעוד שדווקא כיווני מחקר אחרים בתחום הבינה המלאכותית הראו פוטנציאל מבטיח יותר. האכזבה והציפיות הלא ממומשות הביאו לכך שהמחקר ברשתות נוירונים מלאכותיים נזנח ורוב 04:29 Speaker A החוקרים ראו בו לא יותר מאשר בזבוז זמן. 04:52 Speaker A [מוזיקה] אם נסתכל סביבנו היום נזהה סימנים להייפ דומה. צירוף המילים למידה עמוקה deep learning מופיע בכל מקום, וכל סטארטאפ שני מתפאר בכך שגם המוצר שלו משתמש בלמידה עמוקה. חיפוש שטחי בגוגל ניוז מעלה כותרות 05:14 Speaker A כגון למידה עמוקה תציל חיי תינוקות, למידה עמוקה תסייע לעיוורים ולחירשים, ורשת למידה עמוקה של גוגל המציאה שיטת הצפנה חדשה. ואלו תוצאות מהשבוע האחרון בלבד. קשה להפריד בין הייפ למציאות בעולם הבינה המלאכותית. לדוגמה, כשניצח כחול עמוק את גארי קספרוב, אלוף העולם בשחמט בשנת 1997, 05:39 Speaker A התמלאו כותרות העיתונים בתחזיות אודות עלייתן לגדולה של תוכנות בעלות בינה מלאכותית. שום דבר מהתחזיות האלה לא התממש. אמנם תוכנות השחמט השתפרו בצורה ניכרת, אבל ניצחונו של כחול עמוק לא חולל איזושהי 06:07 Speaker A [מוזיקה] מהפכה דרמטית בעולם הבינה המלאכותית ולא קידם אותנו אל עבר חזון של 06:30 Speaker A מחשבים חכמים ורובוטים שמדיחים כלים. אלא אם כן אתם מחשיבים אותי כסוג של רובוט מתוחכם מאוד. קפיצה מהירה אל ההווה. גו הוא משחק יפני עתיק ופופולרי שנחשב למשחק מורכב וקשה יותר אפילו משחמט. לראיה, מחשבים מסוגלים לנצח את בני האדם המוכשרים 07:00 Speaker A ביותר בשחמט כבר מאז 1997. אבל עד לפני פחות משנה, אף תוכנת מחשב אחת לא הצליחה לשחק נגד שחקן גו מקצועני ולנצח אותו. מומחי הבינה המלאכותית שיערו שידרשו עוד 10 שנים לפחות עד שמחשב יוכל להשתוות לאדם בגו. אבל הלמידה העמוקה שינתה את מצב 07:23 Speaker A העניינים הזה במהירות. ב-2014 פיתחה גוגל תוכנה בשם אלפהגו שמבוססת על הטכנולוגיה החדשנית הזו. ועוד באותה שנה ניצחה אלפהגו את כל 500 תוכנות הגו האחרות שהיו זמינות בשוק באותה העת. ב-2015 ניצחה התוכנה את אלוף אירופה בגו בתוצאה 5-0, והטורניר ב-2016 הפגיש אותה עם לי סדול, 07:45 Speaker A הדרום קוריאני שנחשב לאחד מארבעת שחקני הגו הטובים בתולדות המשחק. אלפהגו הביסה אותו בתוצאה 4-1. דהיינו, מתוך כשנה הביאה טכנולוגיית הלמידה העמוקה את המחשב מנחיתות ברורה מול שחקני 08:07 Speaker A [מוזיקה] גו אנושיים למצב שבו ברור למדי שדומיננטיות מוחלטת של המחשב בענף הזה, כמו שמתקיים 08:28 Speaker A [מוזיקה] בשחמט, היא עניין של חודשים או שנים ספורות. האם ניצחונה של אלפהגו בגו מסמל מהפכה אמיתית ומשמעותית בתחום הבינה המלאכותית, או שמה נגלה בעוד מספר שנים ששוב שוב נפלנו לאותה מלכודת ההייפ? בעצם מדובר בהצלחה נקודתית בלבד. 08:53 Speaker A [מוזיקה] אני מקווה שבסוף הפרק תדעו את התשובה. 09:02 Speaker A את הפרק הקודם סיימנו בתיאור ההתאוששות שחלה בחקר רשתות הנוירונים המלאכותיים בשנות ה-80, לאחר תקופה ארוכה שבה רשתות נוירונים מלאכותיים היו מוקצות ורבים לא רצו לעסוק בהם. המפתח להתאוששות היה גילוי טכניקה בשם back propagation שאפשרה בפעם הראשונה לאמן או ללמד רשתות נוירונים 09:24 Speaker A מרובות שכבות לבצע משימות מורכבות יחסית. רשתות מרובות שכבות או רשתות עמוקות הן רשתות נוירונים שבהן קבוצות של נוירונים מחוברות זו לזו כמו שכבות של עוגה. כל קבוצה מקבלת מידע מהשכבה שמעליה, מעבדת אותו ומעבירה אותו לשכבה הבאה בתור. 09:46 Speaker A החוקרים גילו מזמן שכדי לבצע משימות מורכבות, כגון זיהוי פרצופים וכדומה, יש צורך במספר גדול מאוד של נוירונים שמאורגנים במספר רב של שכבות. אימון במרחבי רשת נוירונים מלאכותיים היא הזנת המחשב במספר גדול מאוד של דוגמאות, כדי לאפשר לו לגלות בכוחות עצמו את הכללים 09:58 Speaker A שעליו ליישם לשם ביצוע מוצלח של המשימה. המקבילה האנושית ליכולת הזו היא לימוד רכיבה על אופניים. ילדים שלומדים לרכב על אופניים מגלים בכוחות עצמם כיצד הם יכולים לשמור על שיווי משקל תוך כדי דיווש. בפרק הקודם גם שמענו על התגלית המרתקת של דיוד 10:23 Speaker A רומלרט וג'יימס מקלינד אשר הדגימו כיצד מסוגלת רשת נוירונים מלאכותיים לחקות שגיאות מוכרות שמתרחשות במוח האנושי, כמו שגיאות המתרחשות במהלך לימוד שפה אצל ילדים. הדמיון בין תפקודם של הנוירונים המלאכותיים למוח האדם הצית מחדש את הסקרנות בקרב חוקרים רבים. 10:49 Speaker A אבל למרות ההתעניינות המחודשת, חוקרים רבים היו עדיין ספקנים לגבי הפוטנציאל המעשי של רשתות נוירונים מלאכותיים. 11:14 Speaker A ראשית, אפיקי מחקר אחרים בתחום הבינה המלאכותית, במיוחד מערכות מומחה ומערכות המבוססות על ניתוח סטטיסטי של מידע, הפגינו לכל אורך שנות ה-70 וה-80 ביצועים טובים יותר מאלו של רשתות הנוירונים המלאכותיים. שנית, רשתות נוירונים מלאכותיים נוצרו בהשראת מבנה המוח, אבל בסיכומו של 11:36 Speaker A דבר קיימים לא מעט הבדלים בינן לבין המוח. למשל, בני האדם מסוגלים ללמוד קישורים חדשים מלימוד שפה דרך לימוד נהיגה ועד לכתיבת דוקטורט במגוון רחב של דרכים, ולא רק באמצעות למידה מתוך מגוון של דוגמאות. בנוסף, יש דברים שמספיק לחוות אותם רק פעם 11:57 Speaker A אחת כדי להפיק מהם מסקנה, כמו למשל כיבוי מתנור לוהט. למרות הספקנות היו כמה חוקרים שנמשכו לרעיון של רשתות הנוירונים המלאכותיים. 12:17 Speaker A בעיקר כיוון שמבחינה [מוזיקה] אינטואיטיבית קל לראות את הדמיון בינן לבין אופי פעילותו של המוח. רשתות הנוירונים המלאכותיים, כמו הרשתות של הנוירונים הביולוגיים במוח, לא זקוקות למעבד מרכזי, לתאי זיכרון או אפילו לייצוג פורמלי של מספרים ואותיות. עבור חלק מהחוקרים, הדמיון הזה בין הרשתות 12:34 Speaker A המלאכותיות והמוח היה סוג של מקור משיכה שאי אפשר להתנגד לו. [מוזיקה] אחד מאותם החוקרים שנמשכו לרשתות הנוירונים המלאכותיים כמו פרפר אל האש היה האנגלי ג'פרי הינטון. הינטון נולד ב-1947 למשפחה בעלת מסורת מכובדת של מחקר מדעי. 12:56 Speaker A אחד מאבות אבותיו היה ג'ורג' בול, המדען שהניח את היסודות ללוגיקה הבוליאנית הקרויה על שמו. הינטון גם לא היה זר למחלוקות ולקשיים בתוך הקהילה המדעית שבהם נתקל חוקר שמביע דעות שהם לא במיינסטרים של תחום מחקרו. באחד הרעיונות סיפר הינטון את ההנגדות הבאה. ציטוט: אבי היה 13:16 Speaker A אנטומולוג, חוקר חרקים, והאמין בתיאוריית נדידת היבשות. בשנות ה-50 המוקדמות התיאוריה הזו נחשבה לשטויות במיץ הגבניות. הגיאולוגים לגלגו עליה. הם קראו לה קשקוש. פנטזיה מוחלטת. אני זוכר ויכוח מרתק שאבי היה שותף לו. הייתה איזו חיפושית שלא הייתה יכולה לעוף למרחקים 13:40 Speaker A גדולים. היא קיימת באזור הצפוני של אוסטרליה, ובמשך מיליוני שנים לא הייתה מסוגלת לעבור מנחל אחד לאחר. ואז גילו אותה גם בחוף הצפוני של גינאה החדשה, אותה חיפושית בשינויים קלים. הדרך היחידה שבה זה היה יכול להתרחש זה אם אוסטרליה וגינאה 13:58 Speaker A החדשה היו מחוברות זו לזו. היה מעניין מאוד לשמוע את התגובות של הגיאולוגים לטיעון הזה. הם אמרו חיפושיות לא מסוגלות להזיז יבשות. הם פשוט סירבו להסתכל על העובדות. סוף ציטוט. הינטון פיתח עניין רב בחקר המוח ונרשם לאוניברסיטת קיימברידג'. 14:26 Speaker A אבל אף דיסציפלינה מדעית אחת לא הניחה את דעתו. הוא ניסה ללמוד רפואה ולאחר מכן פילוסופיה, אבל שתיהן לא שכנעו אותו שכך יוכל לפצח את מסתרי המוח. לפסוף התפשר הינטון על הפסיכולוגיה, למרות שגם הפסיכולוגיה לא סיפקה לו את התשובות 14:50 Speaker A שחיפש. רק כשנתקל ברשתות נוירונים מלאכותיים מצא את מבוקשו. טכנולוגיה שמאפשרת לו לדמות, ולו באופן חלקי, את פעולת המוח ולבחון את צפונותיו. הספקנות הגדולה שהביע הממסד המדעי כלפי רשתות נוירונים מלאכותיים בשנות ה-70 וה-80 לא הרתיעה אותו. 15:15 Speaker A ציטוט: אנשים היו מאוד מאוד נגד העניין הזה. הי. 15:40 Speaker A אחד אחורה ונדבר על המימוש המעשי של רשתות נוירונים מלאכותיים. למה הכוונה במימוש מעסי? ובכן דמינו לעצמכם שאתם מהנדסי תעופה שמתכננים דגם חדש של מטוס ואתם רוצים לבחון את זרימת האוויר על הכנפיים שלו. דרך אחת לעשות זאת היא לבנות דגם 16:00 Speaker A ממשי של המטוס, להציב אותו בתוך מנהרת רוח ולערוך ניסוי. אבל דרך אחרת היא לבנות דגם וירטואלי של המטוס ולערוך סימולציה ממוחשבת של התנהגותו במנהרת הרוח. אם חוקי הזרימה ששולטים על תנועת הרוח מובנים לנו כמו שצריך, אז סימולציה ממוחשבת היא פתרון 16:20 Speaker A טוב ונוח הרבה יותר מאשר ניסוי מסורבל במנהרת רוח אמיתית. אותו העיקרון תקף גם כשמדובר ברשתות נוירונים מלאכותיים. 16:31 Speaker A החוקרים יכולים לבנות רשת נוירונים בעזרת רכיבים אלקטרוניים מתאימים. אבל נוירון מלאכותי בודד הוא יצור פשוט למדאי שמתנהג באופן ברור וצפוי מאוד ומכיוון שכך קל הרבה יותר לבחון את התנהגותה של רשת נוירונים מלאכותיים בסימולציה ממוחשבת מאשר לממש בפועל רשת שכזו כאוסף של רכיבים 16:56 Speaker A אלקטרוניים. סימולציה שכזו נעשת בדומה למרבית החישובים המקובלים במעבד הראשי של המחשב הCPU. ראשי תיבות של central processing unit. אבל הבעיה היא שסימולציית רשת נוונים מלאכותיים היא משימה קשה במיוחד למעבד הראשי. ברשת נוירונים מציאותית החישובים נעשים כולם במקביל. כל הנוירונים פועלים בו זמנית 17:22 Speaker A והמידע זורם בין השכבות כמו מים בתוך ספוג. בCPU. לעומת זאת החישובים מתבצעים באופן טורי. זאת אומרת על המעבד לסיים פעולה אחת לפני שהוא מתחיל פעולה אחרת. 17:35 Speaker A התוצאה היא שחישוב שלוקח שוריר שנייה ברשת נורונים מקבילית עשוי לקחת שניות ארוכות בסימולציה טורית של אותה הרשת. שבו בנפשכם חוקר שרוצה לאמן רשת נוירונים בזיהוי פרצופים והוא מציג להתמונה אחר תמונה אחר תמונה של פרצופים אנושיים. אם מדובר במיליוני תמונות האימון יכול להימשך 17:59 Speaker A שבועות אפילו חודשים. מגבלת הביצועים של המעבד הראשי הכריכה חוקרים לאמן את הרשתות שלהם בחמץ דוגמאות קטנה יחסית והגבילה את פוטנציאל הביצועים שלהם. אבל עבד אל רחמן מוחמד וג'ורג' דל עבדו עם מאבדים מסוג אחר. מאבדים גרפים או GPU ראשי תיבות של 18:20 Speaker A graphical processing unit. הם פותחו במקור עבור משחקי מחשב ומכילים אלפים רבים של מאבדים זעירים שמבצאים חישובים רבים פשוטים יחסית אבל במקביל זה לזה ולא בטור מוחמד ודל הבינו שהמעבדים הגרפיים למרות שפותחו במקור עבור משחקי מחשב הם בעלי מבנה מושלם לביצוע סימולציות של רשתות 18:44 Speaker A נוירונים מלאכותיים שרשות גם הן חישובים רבים פשוטים אבל במקביל כבר בניסיון הסימולציה הראשון במעבדים הגרפיים הצליחו מוחמד ודל להעיץ את חישובי רשת הנוירונים שלהם באופן דרמטי פי 70 ביחס למקובל הצלחתם של הסטודנטים דרבנה חוקר אחר בשם אנדר נג לערוך ניסוי פורץ דרך משלו כאמור 19:11 Speaker A מגבלת האיתיות של הסימולציה באמצעות ה-CPU הכריחה את החוקרים לאמן את הרשתות שלהם במספר דוגמאות מצומצם נג בנה רשת נוירונים לזיהוי כתב יד. וכיוון שנעזר במעבדים גרפיים מהירים, היה מסוגל לאמן אותה במספר דוגמאות גדול בהרבה. התוצאה הייתה שיפור מדהים בביצועי המערכת פי ארבעה ביכולת 19:36 Speaker A זיהוי כתב יד ביחס לרשתות הקודמות. והפרט המעניין בניסוי של אנדרונג הוא שההצלחה במקרה הזה לא נזכפה לזכות פיתוח חדשני או תגלית מסירה. ההפך הוא הנכון. הוא השתמש באותם האלגוריתמים בדיוק ואותן הטכניקות שהיו מוכרות כבר מאז שנות ה-80 וה90. 19:57 Speaker A השיפור בביצועים מתממש אך ורק הודות לשימוש במעבדים הגרפיים המהירים שאפשר לו לאמן את המערכת שלו בחמות דוגמאות גדולה בהרבה משיה מקובל בעבר. 20:15 Speaker A לתובנה הזו הייתה השפעה דרמטית על המחקר בתחום הבינה המלאכותית. תמינו לעצמכם אתלטים שמתאמנים למרוץ 100 מטרים. במשך עשרות שנים השיפור בשיא העולמי היה מע שנייה פה ומעיד שנייה שם. פטע פתאום מגלים הספורטאים שאם רק יחליפו את מי השתייה 20:36 Speaker A שלהם במיץ פטל הם מסוגלים לשפר את שיאם בכמה שניות תמימות בכל פעם ברור שכולם כאיש אחד יעברו לשתות מיץ פטל וזה בדיוק מה שהתרחש בעולם הבינה המלאכותית כשיותר ויותר חוקרים הבינו שבעצם הידע הדרוש כדי לתכנן רשתות נוירונים מוצלחות כבר היה 20:57 Speaker A קיים עוד בשנות ה-ש וכל מה שהיה חסר כדי שלמידה עמוקה תבקה מהביצה שלה ותפגין ביצועים מזהירים. הם מאבדים גרפים והמון המון המון דוגמאות לאמן איתן את המערכות. 21:12 Speaker A כיום שני המרכיבים הללו זמינים כמעט כמו מיץ פטל. מאבד גרפי חזק עולה רק כמה מאות דולרים בלבד והאינטרנט מספק לנו גישה לאינסוף מידע ודוגמאות בחימת כל סוג שנרצה. 21:27 Speaker A התוצאות לא יכלו לבוא. ב-2012 השתתפו הינטון ושני חוקרים נוספים בתחרות בינלאומית בשםנטג'נט היא מן מיני אולימפיאדה של מערכות בינה מלאכותית בתחום הראייה הממוחשבת קבוצות של חוקרים מכל רחבי העולם מעמידות את המערכות שלהן זו מול זו ומשוות את ביצועיהן במבחן 21:50 Speaker A זיהוי תמונות שבו על המחשב להסיק שבתמונה אחת רואים איש רוכב על אופניים, בתמונה אחרת ילד אוכל סוכריה וכן הלאה. 21:59 Speaker A המערכת של היינטון וחבריו שהייתה מבוססת על מעבדים גרפים השיגה שיעור שגיעה של 15% או במילים אחרות המערכת זיעיתה נכון יותר משבע תמונות מכל 10 המערכת מהמקום השני השיגה רק 26% זה שיפור מדהים בתחום שבו לאורך עשרות שנים השיפור נמדד בשורירי אחוז כאילו 22:24 Speaker A שאתלט ישבור את צי העולם ב-100 מטרים בשנייה שלמה או שקופץ קופץ לגובה ישפר את השיא הקודם במטר וזו הייתה רק ההתחלה בשנה שלאחר מכן הגיעה המערכת שזכתה במקום הראשון ל1%י שקיעה שנה לאחר מכן 6% שקיעה ב-2015 הפגינה מערכת הזוכה 3% שקיעה בלבד 22:49 Speaker A הביצועים האנושיים בסוג הזה של מבחנים אגב נעים סביב 5% שקיעה במקרה הטובח חברות האינטרנט הגדולות רעבות כתמיד לחידושים טכנולוגיים הסטערו על הלמידה העמוקה והחלו חוטפות במלחאות את החוקרים המובילים בתחום. עבד אל רחמן מוחמד וג'ורג' דל הצטרפו למייקרוסופט ב-2011. 23:14 Speaker A ג'פרי הינטון הצטרף לגוגל אנדרו נג עובד בביידו ענקית הטכנולוגיה הסינית ויין לקו מוביל את תחום הלמידה העמוקה בפייסבוק. 23:23 Speaker A בכל אחת מהחברות חודרת הלמידה העמוקה [מוזיקה] לכל תחום ולכל מוצר אפשרי. מייקרוסופט הוסיפה לסקייטיק, תוכנת שיחות הוידאו שלה, את היכולת לתרגם סימולטנית מכל שפה לכל שפה. [מוזיקה] יכולת שעד לא מקבר הייתה נחלתן הבלעדית של סדרות מדע בדיוני כמו מסע בין כוכבים. גוגל החליפה 23:45 Speaker A את יכולת זיהוי הדיבור של מכשירי האנדרואיד ושיפרה אותם בכמה וכמה דרגות. בפייסבוק שדרגו מאוד את יכולת זיהוי הפרצופים מתוך תמונות שמעלים המשתמשים. 23:57 Speaker A [מוזיקה] עכשיו אני מקווה אפשר להבין טוב יותר את הסיבה להייפ העצום ולהתרגשות הגדולה סביב בינה מלאכותית בשלוש השנים האחרונות. 24:14 Speaker A השיפור העצום בביצועי רשתות הנורונים המלאכותיים בתקופה קצרה כל כך הוא שיפור שכמותו לוחבה עולם הבינה המלאכותית מעולם. 24:25 Speaker A מבחינה זו ההצלחה של אלפה גו שניצחה את האלוף הקוריאני לי סדול בגו היא לא הצלחה ייחודית ומנותקת משאר עולם הטכנולוגיה כפי שהייתה הצלחת כחול עמוק בשחמת בשנות ה-90. 24:41 Speaker A כחול עמוק הייתה בינה מלאכותית שהושתטה על כללים. מומחים אנושיים הגדירו למחשב את הכללים שאם יפעל על פיהם ינצח בשחמת. 24:51 Speaker A למידה עמוקה מושטטת הלימוד מתוך דוגמאות ולכן היא סיימה בתחום רחב הרבה יותר של תחומים. אם נזין למחשב דוגמאות של פרצופים הוא ילמד לזהות פרצופים. אם ניתן לו דוגמאות של כתב יד הוא ילמד לזהות כתב יד. 25:08 Speaker A ואם ניתן לו דוגמאות של עסקאות בבורסה, הוא ילמד לסחור בבורסה. במילים אחרות, אלפה גו היא פועל יוצא או תצוגת תכלית אם תרצו של טכנולוגיה בעלת פוטנציאל רחב מאוד במגוון גדול של תחומים. 25:24 Speaker A ההתלהבות של חוקרי הבינה המלאכותית נמצאת בשיעה וצונמי של דיווחים יומיומיים, אודות ייסומים חדשים ומסעירים של למידה עמוקה, שוטף את התקשורת. ישנן מאות ואולי אלפי חברות שמנסות להיעזר ברשתות נוירונים מלאכותיים כדי לפתור מגוון רחב של אתגרים שעד היום היו מחוץ להישג ידו של עולם 25:47 Speaker A המחשב כמו שיפור יכולות אבחון של מחלות כמו מלאנומה באמצעות סריקה של כל נקודות החן בגוף הנבדק זיהוי מצוקה של עוברים בזמן אמת מתוך סריקות אולטרסאונד פיתוח תרופות חדשות ניתוח חכם של מבנים הנדסיים שיפור סיפור התפקוד של לויינים בחלל, 26:07 Speaker A יצירת תוכנות מסחר חכמות בבורסה ומכוניות אוטונומיות שמתחילות לנסוע על הכבישים בארצות הברית ובאירופה. הרשימה עוד ארוכה ותחומים חדשים מתווספים מדי יום. 26:21 Speaker A ועם זאת, ללמידה עמוקה יש גם מגבלות והבנת המגבלות האלה יסהו לנו להבחין בין תחזיות שיש להן סיכוי מעשי להתממש לכאלה שהן בלתי סבירות לפחות בעתיד הנראה לעין. ראשית יש לומר שהקונסנזוס בין המומחים הוא שלפחות בשנים הקרובות למידה עמוקה לא תקדם אותנו 26:44 Speaker A לבינה מלאכותית מהסוג שאנחנו רואים בקולנוע. זאת אומרת מחשבים ורובוטים שמסוגלים לדבר, ללכת, לראות ולהגיב באופן כמו אנושי בכל מצב. נכון להיום למידה עמוקה מאפשרת לרשת הנוירונים המלאכותיים ללמוד מטלה כלשהיא כגון זיהוי פרצופים או תרגום שפה, אבל רק מטלה צרה אחת וטו לא. 27:09 Speaker A רשת נוירונים בעלת יכולת זהוי פרצופים לא תוכל לפת ללמוד לדבר או ללכת. נוסף על כך צריך לזכור שלמרות הדמיון העקרוני בין רשתות הנורונים המלכותיים למבנה הבסיסי של המוח יש עדיין הבדלים תהומיים ביניהם ורשתות נוירונים אינן קרובות כלל למימוש 27:29 Speaker A פונקציות כמו הכרה ומודעות עצמית אנחנו יכולים [‏צחוק] להסיר דאגה מליבנו בכל מה שנוגע לאיום שנשקף לאנושות מבינה מלאכותית שתזכה במודעות ותחית להשמיד את כולם אנדרו נגשו את הדאגי הספציפית הזו לחשש מפני צפיפות יתר של אוכלוסיית מעדים. זה משהו 27:50 Speaker A שיכול להתרחש, אבל זו בעיה רחוקה מספיק שהיא לא צריכה להדאיג אותנו נכון לעכשיו. פה ושם נתקלים מהחוקרים בבעיות בלתי צפויות שנובעות מהאופן הייחודי שבו לומדות רשתות נוירונים לבצע מטלות מסוימות וצריכים למצוא להן פתרונות יצירתיים. בעיה ראשונה היא מצב שבהורשת הנוירונים 28:12 Speaker A המלכותיים הסיקה כלל שגוי במהלך תהליך האימון. למשל, במאמר שהתפרסם ב-2013 תארו החוקרים מקרה שבו מערכת שלמדה לשחק טטריס גילתה שהדרך הטובה ביותר לנצח במשחק היא לעצור אותו. זאת אומרת לעשות פאז. 28:31 Speaker A דוגמה נוספת היא מקרה שבו חוקרים ימנו מערכת לזהות וילונות בתמונות. באחד הנישואים זה הייתה מערכת וילון בתמונה שבכלל לא הכילה וילון. כדי לבדוק מה הייתה הבעיה הנחו החוקרים את המחשב לסרוק את התמונות פיקסל אחר פיקסל ולעצוב ברגע שהגיע למסקנה שגילה וילון. להפתעתם 28:53 Speaker A החוקרים גילו שהמחשב עצר כשהגיע לתמונה של מיטה דווקא. מה הייתה הבעיה? הסתבר שתמונות רבות שבהם נזרו החוקרים כדי להאמן את המערכת היו תמונות של חדרי שינה. 29:07 Speaker A המערכת למדה שבדרך כלל בחדרי שינה יש וילונות וכעבור זמן הפסיקה לחפש וילונות בתמונות והתחילה לחפש מיטות. זו דוגמה לרגישות של למידה עמוקה לשגיעות בתהליך האימון. רגישות שבני אדם אינם מודעים אליה בדרך כלל. בעיה חמורה יותר היא זו המכונה 29:28 Speaker A בעיית האתימות או opacity של מערכות למידה עמוקה. הדוגמה הבאה תסביר אותה. ב-2016 ערכו מספר חוקרים ניסוי בבית חולים. הם אמנו מערכת למידה עמוקה לזהות חולי דלקת ראות בסיכון נמוך יחסית ללקות בסיבוכים מסוכנים כדי שאפשר יהיה לשחרר אותם לביתם 29:50 Speaker A ולפנות מיטות במחלקה לחולים בסיכון גבוה יותר. כשבחנו את תפקוד המערכת בפועל זיהו החוקרים שקיעה קריטית. המחשב המליץ לשחרר חולי דלקת ראות שהיו גם חולי אסטמה. זו טעות מסוכנת שכן דווקא חולי אסטמה נמצאים בסיכון הגבוה ביותר ללקות בסיבוכים מסכני 30:12 Speaker A חיים. הסיבה לתקלה התברר היא אנמליה בנתונים שסיפק בית החולים עצמו. הרופאים ביודעם שחולי אסטמה נמצאים בסיכון גבוה מפנים אותם מיד למחלקת טיפול נמרץ ורשת הנוירונים שלא הבחינה בין הפניה למחלקת טיפול נמרץ ושחרור בחזרה הביתה פירשה את האנמליה הזו כאילו שחולי אסטמה לא נמצאים 30:37 Speaker A בסיכון. העובדה החשובה לענייננו היא שהתקלה הקריטית הזו נתגלתה כמעט במקרה. כשהחוקרים השבו את ביצועי המערכת שלהם לביצועיהן של טכנולוגיות אחרות בתחום הבינה המלאכותית. אילו הייתה מערכת פרוסה באופן מבצעי בבית החולים ללא בקרה הדוקה מטעם החוקרים. הם היו מבינים שמשהו לא 31:00 Speaker A בסדר רק לאחר שהמחשב היה מורה לשחרר חולי אסטמה לביתו וזה היה נפטר כתוצאה מסיבוכי דלקת ראות. 31:09 Speaker A תקלות מהן אלה קשה מאוד לגלות מכיוון שהחוקים והכללים שעל פיהן פועלת רשת הנורונים המלאכותיים אינם כתובים באופן מפורש במקום כלשהו אלא מקודדים בעוצמת הקשרים שבין הנוירורונים המלאכותיים לבין עצמם זאת אומרת אין במערכת משפט בסגנון אם לכולי דלקת ראות יש אסטמה אז מותר לשחרר 31:35 Speaker A אותו הביתה שבגללו המערכת טעתה באזיהוי חולים הכלל הזה מיוצג על ידי קשר חזק בין שני נוירונים כאן או קשר חלש בין שני נוירורונים שם. אבל רשת טיפוסית עשויה להכיל מיליוני נוירונים ומילרדי קשרים ביניהם ובני אדם לא מסוגלים למצוא את 31:56 Speaker A הידיים והרגליים בתוך כמות מידע אדירה שכזו. רשת נורונים מלאכותיים היא כמו מסמך אקסל ענק בעל מיליוני תאים שכל אחד מהם מכיל רק ספרות. 32:09 Speaker A העובדה שרשתות נוירונים מלאכותיים אטומות במרכאות לעינינו ובני אדם מתקשים לפרש את המידע המקודד בהן מקשר עלינו לאמץ את הטכנולוגיה הזו בשתי ידיים במיוחד בתחומים שבהם טעות עשויה להיות הרת גורל כמו רפואה ביטחון או תחבורה כמהנדס אני ביליתי חלק 32:30 Speaker A ניכר מהקריירה שלי בחברות ביטחוניות הוראות הבטיחות בתכנון מערכות מותסות למשל רשומות בחוברות שיכולות להגיע לאלפי עמודים. אין לי ספק שחברות שכאלה התקשו מאוד לאמץ לחיקן רשתות נוירונים כשאיש לא יוכל לומר בוודאות מה רמת הבטיחות שלהן גם אם הביצועים שלהן יהיו מעולים. חוקרים 32:54 Speaker A רבים בתחום המינה המלאכותית מודעים לאבסורד שבתכנון מכונה שאנחנו לא מסוגלים להבין מה מתרחש בתוכה. אבסורד שמעורר תחושות של אינוחות. אחד החוקרים אמר ציטות, חברי קהילת הבינה המלאכותית דומים דמיון רב לשוליית הכוסם בסרט פנטזיה של דיסני. השוליה למד מספיק קסמים כדי לחסוך 33:18 Speaker A מעצמו מאמץ בביצוע משימות מתישות, אבל לא מספיק בכדי למנוע מההדלאים והמתאים המכושפים מלהציף את הטירה. סוף ציטות. 33:29 Speaker A ישנם מגענים שמאמינים שהעתימות הזו היא חלק בלתי נפרד מהמאפיינים של רשת נוירונים מלאכותיים. יכול להיות שאי אפשר לפתח רשת נוירונים מלאכותיים שאפשר להבין אותה במלואה ועדיין תהיה מסוגלת לבצע משימות מורכבות. אולי העתימות הזו הולכת יד ביד עם שאר המאפינים של הרשת. באותו אופן 33:52 Speaker A שילדים יכולים להיות חמודים ומתוקים ועדיין מדי פעם להיות מעצבנים ומציקים. במילים אחרות, יכול להיות שמערכת שהביצועים הקוגניטיביים שלה היו טובים כמו אלה של מוח האדם בהכרח תהיה מורכבת וקשה להבנה כמו מוח האדם. אנחנו בני האנוש מוגבלים נידונים לנצח להבין את המערכות 34:16 Speaker A המורכבות האלה באופן חלקי בלבד. באותו אופן שבו פיזיקאים מנסחים תופעות משונות בעולם הקונטי באמצעות משוואות מתמטיות אבל לעולם לא יוכלו להבין אותן ברמה האינטואיטיבית לא כולם מסכימים לקבל את ההשערה הזו וישנן קבוצות חוקרים שמפתחות שיטות כדי לנסות ולהבין מה מתחולל בתוך רשת נוירונים 34:40 Speaker A חוקרים אחרים לא נותנים להתימות של רשתות הנוירונים להטריד את מנוחתם הם גורסים שלא צריך להבין במדויק מה מתחולל בתוך קרביה של המערכת כדי שניתן יהיה להשתמש בה ביעילות. יאן לקו, החוקר הצרפתי, הביע את הדעה הזו כך. ציטות. כשאתה מגביל את עצמך 35:00 Speaker A לעבוד רק עם מערכות שאתה מבין בצורה מעולה ברמה התיאורטית, אתה דן את עצמך להשתמש אך ורק בשיטות ורעיונות פשוטים. סוף ציטות. 35:17 Speaker A [מוזיקה] לסיכום שמענו על הדרך הארוכה שעשה המחקר ברשתות נוירונים מלאכותיים מאז שנות ה-50 של המאה ה-20 ועד ימינו. הצלחות ראשוניות כדוגמת הפרספטרון הוררו תקוות רבות אבל כישלונות צורבים הבריחו חוקרים מעיסוק בתחום הזה ורק מעטים כדוגמת ג'פרי הינטון ויין לקו המשיכו לעסוק פה באופן מחטרתי 35:46 Speaker A למחצה רק בשנים האחרונות עם חדירת מאבדים גרפיים רבי עוצמה וכמויות המידע האדירות שמאפשרות לחוקרים לאמן את רשתות הלמידה העמוקה בצורה [מוזיקה] נעותה הפשילה הטכנולוגיה הוותיקה הזו הוא מכה גלים בעולם הטכנולוגיה. אין כמעט ספק שבשנים הבאות נמצא את הבינה המלאכותית כובשת 36:08 Speaker A שטחים רבים יותר ויותר וחודרת לתחומי עיסוק שבעבר היו נחלתם הבלעדית של בני האדם. חוקרי הבינה המלאכותית למדו את הלקח מהכישלונות של שנות ה-70 ומשתדלים למתן את [מוזיקה] הציפיות של הציבור מהטכנולוגיות החדשות. 36:28 Speaker A ין לקור נוהג כדרך קבע להצליף במרחאות בעיתונאים ובאנשי יחסי ציבור שמעוררים לדעתו הייפ מוגזם. ציטות. כמה זמן יקח להגיע לבינה מלאכותית כמו בסרטים? לחוקר הבינה המלאכותית יש היסטוריה ארוכה של הערכת חסר של הקשיים בדרך למימוש מכונות אינטליגנטיות. ההתקדמות במחקר היא כמו 36:50 Speaker A נסיעה במכוונים. כשאתה מגלה טכניקות חדשות זה מרגיש כאילו שאתה נוסע בכביש מהיר ושום דבר לא יכול לעצור אותך. אבל המציאות היא שאנחנו נוסעים בערפל כבד ולא יודעים שבעצם הכביש המהיר שלנו הוא בסך הכל מגרש חניה עם קיר לבנים בצידו השני. הרבה אנשים 37:10 Speaker A חכמים עשו את הטעות הזו וכל התפתחות חדשה בבינה המלאכותית מלווה בגלל חדש של אופטימיות חסרת גבולות בהייפ לא רציונלי. 37:21 Speaker A אבל גם הכישלונות לא היו אף פעם מוחלטים. הם השאירו מאחוריהם כלים חדשים, רעיונות חדשים ואלגוריתמים חדשים. סוף ציטות. אז איפה אנחנו נמצאים? בכביש מהיר או במגרש חניה? קשה לדעת. הדרך היחידה לגלות היא כנראה להמשיך ללחוץ על דשת הגז בכל הכוח 37:44 Speaker A ולקבות לטוב. [מוזיקה] [מוזיקה] זהו, עד כאן לפרק הזה. כפי שהפתחתי, בואו נדבר על מה שהשתנה מאז שכתבתי את הפרק הזה ב-2016. 38:12 Speaker A אז קודם כל עשיתי שני פרקים על סיפור המצאתם של מודלי השפה הגדולים שהם ללא ספק הייסום המדליק והמהפכני ביותר של רשתות נוירונים מלאכותיים אלו פרקים 412 ו-413 של עושים היסטוריה ובהם אני מסביר איך עובד צ'ט GPT מתחת למכסה המנוע ועכשיו 38:33 Speaker A בואו נדבר על בעיית העתימות דיברתי עליה בפרק אבל הנה תזכורת קצרה רשתות נורונים מלכותיים מכילות מאות מיליארדי די פרמטרים או משקולות שקובעים מה הבידה המלאכותית יודעת או מבינה. אנחנו יכולים לראות את הפרמטרים האלה בקלות, אבל אנחנו לא יודעים 38:51 Speaker A לתרגם את מיליארדי המספרים האלה להבנה אמיתית. זה כאילו שמישהו יתן לך מסמך אקסל שמכיל את כל העסקאות הפיננסיות שעשה בנק הפועלים בשנה האחרונה. כל הגורה שנכנסה ויצאה מכל חשבון. מיליוני שורות ועמודות של איןספור נתונים. האם מתוך האקסל הזה 39:10 Speaker A אפשר להבין מה המצב הפיננסי של הבנק? כמה כסף יש לו ומי הוא חייב ומי חייב לא? 39:17 Speaker A תיאורטית כן כל המידע נמצא שם אבל בפועל לך תבין מתוך ההר האדיר הזה של נתונים מי נגד מי. אותו הדבר עם הבינה המלאכותית. יש לנו את כל המידע אבל אנחנו לא יודעים איך לחלץ ממנו את התמונה הגדולה את המחשבות 39:33 Speaker A והרעיונות שמסתובבים לai במוח המלאכותי שלו. זה פשוט מסובך מדי. ולבעיה הזו יש כמה משמעויות חשובות. כי אם אנחנו לא מבינים למה בינה מלאכותית החליטה החלטה כלשהיא או ביצעה פעולה מסוימת, קשה מאוד לסמוך עליה. במיוחד בתחומים כמו רפואה, ביטחון או משפט שבהם להחלטה שגויה של AI 39:56 Speaker A יכולות להיות השלכות מאוד מאוד לא נעימות. מכיוון שזו בעיה כל כך חשובה, התפתחו לאורך השנים כל מיני טכניקות שמנסות לפתור אותה. למשל, ישנן מערכות שמשתמשות בשיטות מתמטיות כדי למצוא קשרים בין הכל לבינה המלאכותית לבין הפלת שלה, או שמנסות לספק 40:15 Speaker A הסברים בדיעבד להחלטות שנתקבלו. משהו בסגנון, הבינה המלאכותית דחתה את הבקשה שלך להלוואה, אבל אם היו לך עוד 100,000 דולר בחשבון, היא הייתה מאשרת אותה. לרואה מזל, הטכניקות האלה רחוקות מלהספיק. הן לא מצליחות לתת לנו הסברים טובים לגבי מה 40:32 Speaker A שמתרחש בתוך הבינה המלאכותית. וככל שהמודלים נעשים מתוחכמים יותר, ככה השיטות האלה נעשות פחות ופחות [‏צחוק] אפקטיביות. 40:41 Speaker A אבל רגע, בשנה האחרונה הופיעו מודלי שפה שמאפשרים לנו לקרוא את המחשבות שלהם בזמן שמנסים לענות על השאלות שלנו. למשל, אם אני אבקש מקלוד קוד לכתוב לי תוכנה מסוימת, אני אקבל מונולוג בסגנון המשתמש ביקש ממני לכתוב תוכנה שעושה איק. אני 40:59 Speaker A כנראה צריך להשתמש בטכניקה הזו והזו ואולי כדאי ששאל את המשתמש אם הוא התכוון למשהו כזה וכזה. אני מאוד אוהב לקרוא את המונולוגים הפנימיים האלה. לפעמים זה מרגיש לי קצת כמו מציצנות כאילו שאני קורא את המחשבות הכמוסות של מישהו. אז אולי אם 41:15 Speaker A אנחנו נקרא את המונולוגים האלה אנחנו נוכל לדעת בדיוק על מה הבינה המלאכותית חושבת ולמה היא החליטה את מה [‏צחוק] שהיא החליטה. לא כל כך מהר. זה שהבינה המלאכותית פולטת את המחשבות שלה. לא אומר שהמחשבות האלה מייצגות את מה שבאמת מסתובב לה בתוך המוח 41:33 Speaker A הדיגיטלי שלה. הרי גם לבני אדם יש תת מודע. למשל, כשבת הזוג שלי כועסת עליי, היא יודעת למה היא כועסת עליי, כי עשיתי איזה משהו לא בסדר או שאמרתי איזושהו שטות, אבל אם אני לוקח אותה לאכול איזה המבורגר, פתאום היא שמחה וחייכנית. אז למה 41:50 Speaker A היא כעסה עליי? כי הייתי לא בסדר, או בגלל שהיא הייתה רעבה. באותו אופן יכול להיות שהמונולוג הפנימי שמציגים לנו מודלי שפה לא באמת מייצג את מה שקורה בפנים, אלא זה סתם קשקוש קוגניטיבי שגורם לנו להרגיש כאילו שאנחנו מבינים מה קורה בתוך המוח 42:08 Speaker A שלה. אז מה עושים? ובכן כל השיטות שהתיארתי עד עכשיו מתייחסות למודל כל קופסה שחורה. אנחנו בודקים את הכל והפלט של המודל ומנסים להבין מהם מה קורה בתוך הקופסה האטומה. בשנים האחרונות החוקרים מתחילים להבין את המגבלות של הגישה הזו 42:27 Speaker A ועוברים לנסות גישה אחרת. גישה שמכונה פרשנות מכניסטית. זו שיטה שמנסה לפתוח את הקופסה השחורה ולהסתכל פנימה. להסתכל על הנוירונים המלאכותיים בזמן שהבינה המלאכותית עובדת ולראות אלו נוירונים פעילים בכל רגע נתון. ומתוך זה לנסות ולהבין על מה המודל חושב באותו רגע. למשל 42:48 Speaker A שואלים את המודל איך עושה כלב ומסתכלים על הנוירונים שלו בזמן שהוא חושב כדי לראות איפה בתוך רשת הנוירונים נמצאים המושגים כלב ונביחה. 42:59 Speaker A הבעיה כמובן היא שא' יש מיליארדי נוירונים וב' כשפודקים את זה רואים מיד שאותם נוירונים יכולים להיות פעילים בהמון מצבים שונים. למשל נוירון מסוים יכול להיות פעיל כשהמודל חושב על כלבים אבל גם כשהוא חושב על תורת הגוונטים וגם על איך מכינים רוטב 43:18 Speaker A אדום לספגטי במילים אחרות חזרנו לאותה מורכבות מתסכלת שלא נותנת לנו לראות את היער מתוך כל העצים אבל בסביבות 2013 עשתה קבוצת חוקרים בגוגל בהובלתו של תומס מיקולוב צעד ראשון וחשוב בדרך לפתרון בעיית המורכבות הזו הם פיתחו מערכת בשם 43:38 Speaker A World to שמאפשרת להציג כש קשרים ויחסים בין מושגים שונים באמצעות וקטורים מתמטיים. אז מה זה אומר? ואיך זה מתקשר לבינה המלאכותית? אוקיי, אז בואו נדמיין מערכת צירים כמו זו שאנחנו מכירים מבית הספר. ציר X וציר Y שמונכים זה לזה. ונגיד 43:58 Speaker A שציר X מציין כמה משהו הוא חמוד או מעצבן. זאת אומרת, כמה שאני יותר ימינה על ציר הX הזה, המשהו הזה הוא יותר חמוד. וכמה שאני יותר שמאלה, המשהו הזה הוא יותר מעצבן. 44:12 Speaker A ציר y מציין כמה משהו הוא חכם או טיפש. כמה שאני יותר למעלה על הציר, המשהו הזה יותר חכם וכמה שאני יותר למטה הוא יותר טיפש. עכשיו, איפה היינו ממקמים במערכת הצירים הזו את ארצ'י, הכלב שלי? ארצ'י הוא כלב מאוד חמוד, אבל למרבה הצער גם ממש 44:31 Speaker A טיפש. חמוד זה ימינה, טיפש זה למטה ולכן הוא יהיה בחלק הימני התחתון של מערכת הצירים. לעומת זאת, נצ'וס, החתול שלי לשעבר, היה מאוד חכם, אבל גם מאוד מעצבן. 44:45 Speaker A חכם זה למעלה, מעצבן זה שמאלה, ולכן נצ'וס נמצא בחלק השמאלי העליון של מערכת הצירים. 44:53 Speaker A מה שעשינו פה זה לקחת מושגים או מילים כמו אצ'י ונצ'וס שהם בדרך כלל די מופשטים ומאורפלים. ולתת להם ייצוג מתמטי ברור ומוגדר היטב בדיוק כמו שלנקודה על מפה יש קואורדינטות מוגדרות עכשיו גם לארצ'י ונצ'וס יש קואורדינטות מוגדרות במרחב 45:14 Speaker A הרעיוני הזה של חוכמה וחמידות וזה מעניין מכיוון שעקרונית ככה בדיוק מיוצגים מושגים ורעיונות בתוך מוחה של הבינה המלאכותית הרי בינה מלאכותית היא מחשב ומחשבים מבינים רק מספרים לכל מילה ולכל רעיון שהבינה המלאכותית מכירה. יש ייצוג מספרי כלשהו בתוך המרחב של כל הרעיונות והמושגים 45:38 Speaker A האפשריים. בדוגמה שנתתי למרחב הרעיוני היו רק שני צירים או שני מימדים, ציר החוכמה וציר החמידות. בעוד שבמציאות למרחב הרעיוני של הבינה המלאכותית ישנם אלפי ואולי מיליוני מימדים אפשריים. שהרי כלב למשל יכול להיות חכם או טיפש אבל גם גדול 45:59 Speaker A או קטן, שחור או לבן, שמן או רזה וכולי וכולי. אבל העיקרון הוא אותו עיקרון. שימו לב, זה לא שבתוך רשת הנוירונים יש באמת מערכת צירים ונקודות או משהו בסגנון, זו רק דרך לתרגם את מה שקורה בתוך רשת הנוירונים למשהו שאני ואתם יכולים לתפוס. 46:19 Speaker A קצת כמו שאנחנו משתמשים במפה דו מימדית כדי לייצג את העולם התלט מימדי שלנו. בשנים האחרונות התפתחה בקרב החוקרים תפיסה שלפיה אפשר לייצג את המחשבות של מודל שפה כתנועה בתוך מרחב הרעיונות. למשל, נניח שאני כותב למודל השפה ארצ'י הוא כלב חמוד 46:40 Speaker A וטיפש. כשמודל השפה קורא את המשפט הזה הוא מתחיל בלמקם את ארצ'י באזור במרחב שבו נמצא הרעיון של כלב. כשהוא קורא את המילה חמוד הוא מזיז את ארצ'י על ציר חמידות לכיוון של יותר חמוד וכשהוא קורא את המילה טיפש הוא מזיז אותו על ציר החוכמה בכיוון 47:01 Speaker A של יותר טיפש זה קצת כמו שאנחנו מנוותים בעזרת מפה אם אתם נמצאים בתל אביב וצריכים להגיע לטבריה אתם עולים צפונה על הציר של צפון דרום ואז ממשיכים מזרחה על הציר של מזרח מערב הדרך הזו להבין ין או לייצג את 47:19 Speaker A המחשבות של מודל שפה מכונה השערת היצוג הליניארי the linear representation hypoesis והיא מרתקת ומסעירה מכיוון שהיא מאפשרת לנו לקחת את מיליארדי המספרים שמייצגים את הפעילות של רשת הנוירונים בכל רגע נתון ולתרגם אותם למשהו שאנחנו יכולים להבין. למשל, אם אני רוצה לדעת אם מודל 47:41 Speaker A השפה משקר לי אני לא צריך להסתכל בכלל על הפלט שלו, על מה שהוא אומר. אני פשוט אתבונן על הפעילות של רשת הנוירונים ואני אבדוק לאיזה כיוון נע במרכאות המחשבה שלו. 47:54 Speaker A אם המחשבה נעה על הציר של אמת שקר לכיוון של שקר זה סימן שהמודל משקר. 48:02 Speaker A הרעיון הזה מאפשר לנו לשלוט על המחשבות של הבינה המלאכותית. הרעיון הוא פשוט. נניח שהמילה ארצ'י נמצאת במרחב הרעיונות של הבינה המלאכותית באזור של חמוד וטיפש. 48:15 Speaker A ואני רוצה לגרום למודל לחשוב שרצ הוא בעצם חכם. זה אומר שאני רוצה לצייר לבינה המלאכותית חץ ולומר לה תלכי לכיוון הזה במרחב של הרעיונות. בעולם המתמטיקה אנחנו קוראים לחץ הזה וקטור והפעולה המתמטית של למשוך את המחשבה לכיוון מסוים היא בסך הכל 48:35 Speaker A פעולת חיבור. זאת אומרת ארצ'י ועוד הוקטור של חכם שווה ארצ'י חכם. ובאמת החוקרים של חברת אנרופיק הדגימו את הרעיון הזה בצורה מרתקת במאמר שהם פרסמו בשלי 2024. במאמר הזה הם לקחו את מודל השפה שלהם אופוס, הוסיפו לו את הוקטור 48:54 Speaker A לכיוון הרעיון של גשר שער זהב ומאותו הרגע כל דבר שהמודל חשב עליו היה קשור בגשר שער הזהב. כששאלו את אופוס מי הוא השיב אני גשר שער זהב. כששאלו אותו איך כדאי לבזבז 10 דולר הוא הציע לשלם על נסיעה בגשר שער 49:11 Speaker A זהב וכשביקשו ממנו לכתוב סיפור רעה הוא כתב סיפור על מכונית שאוהבת לנסוע על גשר שער זהב מיום ארפילי במיוחד בקיצור המודל נעשה אובססיבי על גשר שער זהב ההשלכות של המחקר הזה מרתקות מכיוון שהן מאפשרות לנו שליטה הדוקה יותר על המודל למשל אם מאוד 49:33 Speaker A חשוב לנו שהבינה המלאכותית תקפיד על בטיחות נאמר אם היא אחראית על תפעול של קור גרני לצורך העניין אנחנו לא צריכים לכתוב לפרומט בסגנון בטיחות זה מאוד מאוד חשוב אנחנו ניכנס לה לתוך המוח במרחאות ונמשוך את המחשבות שלה לכיוון של יותר בטיחות 49:52 Speaker A ומאותו הרגע כל מה שיעניין את הבינה המלאכותית זה לתפעל את הקור הגרעיני בצורה הכי בטוחה שאפשר מה שכן חשוב לזכור שמדובר במחקר שנמצא על הקצה המדמם של הטכנולוג גיה ויש עוד המון דברים שאנחנו לא מבינים לגבי בינה מלאכותית. למשל, אף אחד לא מבטיח לנו שכל 50:13 Speaker A המחשבות של המודלים מיוצגות כתנועה בקווים ישרים בתוך מרחב הרעיונות. מי יודע, אולי ישנן מחשבות שמיוצגות על ידי תנועה דווקא בקווים עקומים. ובמקרה הזה הפעולה הפשוטה של חיבור של וקטורים היא אולי לא מספיק טובה כדי לשלוט על המחשבות האלה ולהחווין 50:33 Speaker A אותן לכיוון שאנחנו רוצים. מי יודע? אנחנו רק ממש בראשיתו של עידן הבינה המלאכותית. ועוד מחשבה קטנה שאולי עלתה גם לכם בראש בזמן שדיברתי. המוח שלנו הוא בסופו של דבר גם כן רשת נוירונים ואני משאר שהרבה מהדברים שאנחנו לומדים לגבי רשתות 50:53 Speaker A נוירונים מלאכותיים יהיו נכונים ורלוונטיים גם לגבי הנוירורונים הביולוגיים שלנו. ברור שהרבה יותר קשה להביט לתוך המוח שלנו או להשפיע על מה שקורה בתוכו, אבל אפשר גם עתיד שבו ניתן יהיה לקרוא את המחשבות שלנו ולפענח אותן כתנועה במרחב הרעיונות או אפילו להשפיע על 51:14 Speaker A המחשבות האלה ולמשוך אותן לכיוונים כלשהם. טכנולוגיה כזו, אם היא תהיה אפשרית ביום מיני הימים, תהיה מצד אחד אולי הטכנולוגיה הכי מסוכנת שאפשר לדמיין, במיוחד בידיים של משטר טוטליטרי, אבל מצד שני אולי גם תאפשר לנו לפתור בעיות נוירולוגיות ופסיכולוגיות שאף פעם לא יכולנו לרפא. כמו 51:36 Speaker A תמיד, הטכנולוגיה היא רק כלי. מה שאנחנו עושים איתה לטוב ולרע, תלוי רק בה. כתמיד אם אתם אוהבים את עוסים היסטוריה ומעוניין לתמוך בהזמינו אותי להרצות בארגון שלכם. רשימת ההרצאות המלאיה הזמינה באתר שלי ranlלvi.co.il ואתם יכולים גם לרכוש מספריי שזמינים באתר 51:59 Speaker A ומגיעים עם הקדשה אישית לכם או למי שתבחרו להעניק אותם במתנה. אנחנו נשתמע בפרק הבא. 52:07 Speaker A להתראות. [מוזיקה] ‏In this house we ob the of thermodynamics. Topics: למידה עמוקה רשתות נוירונים בינה מלאכותית אלפהגו ג'פרי הינטון back propagation מודלי שפה גדולים AI Deep Learning היסטוריה של AI --- This is the markdown twin of https://sozai.app/transcript/deep-learning-part-2-history/ — the same content, without the markup. Published by SozAI (https://sozai.app). Reuse and quotation are allowed with attribution and a link back. Machine-readable index: https://sozai.app/llms.txt · data API: https://sozai.app/api/