איבם ווטסון עוזר לסטודנטים באוניברסיטה ללמוד מנדרינה

אוניברסיטאות עברו דרך ארוכה בלימודי השפה שלהן, והן עברו מעבר לשיעורים מסורתיים בלבד באולם הרצאות ושיעורים מוקדמים מראש ללא אינטראקציה. כעת יש לסטודנטים גישה לטכנולוגיות כמו בינה מלאכותית (AI) ועיבוד שפה טבעית (NLP) בסביבת למידה מעצמת. זה מה שקורה במעבדה למערכות קוגניטיביות ומערכות עיכול (CISL) שבטרוי, ניו יורק, קמפוס המכון הפוליטכני רנסלייר (RPI). כאן המכון התחבר עם IBM Research כדי ליצור את הטכנולוגיה לקורס קיץ של שישה שבועות בו הסטודנטים מתקשרים עם סוכני AI בסביבות הכוללות שוקי רחוב ומסעדות.

הקורס, שכותרתו "סינית ממושכת בסיוע AI", מכיל מערכת תצוגה פנורמית של 360 מעלות של סצינות המיוצרות מחשב בחדר המתחם הקוגניטיבי (CIR), המכונה גם "חדר המצבים". הסצינות הווירטואליות מתרחשות בסין. סטודנטים משוחחים עם אווטרים המונעים על ידי עוזר ווטסון ומתקנים את הדיבור וההיגוי שלהם. ב- CIR הסטודנטים משתמשים ב- AI שיח, דור נרטיבי, מודעות בהקשר מרחבי, וטכנולוגיית מחוות וזיהוי פנים.

ה- CIR הוא דוגמא למגוון הפוטנציאלים המגוון של יבמ ווטסון במספר תעשיות בנוסף לחינוך. תעשיות אלה כוללות חקלאות, משאבי אנוש וניהול צי.

ב- RPI, בנוסף לסייעת ווטסון, הסטודנטים משתמשים בנאום ווטסון לטקסט, טקסט ווטסון לדיבור ומתרגם שפות בלימודים.

התלמידים לומדים מנדרינית באמצעות AI בקמפוס RPI. (זיכוי תמונה: IBM Research / RPI)

חווית למידה פעילה

עבור ג'וליאן וונג, צעיר ב- RPI, חוויית ה- AI האינדיבידואלית הייתה דרך מושכת ללמוד מנדרין מכיוון שהיא נותנת לו דרך פעילה יותר ללמוד. מכיוון שמנדרינה היא שפה טונאלית בה שינוי בגובה יכול לשנות את משמעות המילים, האווטרים בחוויית ה- AI מספקים משוב על הטון כדי לוודא שוונג והתלמידים האחרים מתקנים את ההגיות.

עבודה עם AI ב- CIR מעניקה איזון נאה לזמן הכיתה הרגיל, לפי וונג. "מפגש לשיחה עם המחשב… בהחלט מסייע בהרבה היבטים של לימוד השפה, בעיקר מיומנויות מילוליות, " אמר וונג.

שיעור המנדרינות של וונג נפגש ארבע פעמים בשבוע. בימי שני ושישי הוא משתתף בכיתה בכיתה מסורתית עם הלן ג'ו, פרופסור חבר ב- RPI. שם הוא לומד אוצר מילים חדש ומקבל היכרות עם ביטויים ומבנים דקדוקיים. בימי שלישי וחמישי, השיעור נפגש ב- CIR, בו התלמידים מנהלים שיחות עם סוכנים וירטואליים. בסביבת מסעדה, וונג אמר כי סטודנטים יכולים לעבור את כל התהליך של ישיבה במסעדה, להסתכל על תפריט, להזמין אוכל, לדבר עם מלצר על אופן הכנת האוכל ולשלם את החשבון. סביבות אחרות כוללות גן, שוק וקמפוס בית ספר.

שיעור המנדרינה בכיתה הענפה שונה מסביבה מסורתית מכיוון שהוא מספק חוויה רב-מודאלית של שפה ווידיאו, לדברי ג'ו. היא אמרה שכיתה מסורתית תהיה פחות מעציבה ואינטראקטיבית. "בסימולציה בכיתה הענפה, יש לנו שני סוכנים להילחם זה בזה, כדי לנסות לשכנע את התלמידים לקנות את המוצר, " אמר ג'ואו. "אז התלמידים יבינו מניסיון אישי ולא צפייה בסרטונים או האזנה להרצאות בלבד. אני מאמין שהם היו מרימים את התרבות ביתר קלות מאשר רק על ידי למידה מספרי לימוד או האזנה לקלטות."

ב- CIR התלמידים מבצעים חידונים הקשורים לסצנות איתם הם קיימו פעולה ומרימים את ידיהם כדי לתת את התשובות שלהם. טכנולוגיית ראיית מחשבים מהמצלמות בחדר לוכדת את המחוות שלהם. עוזר ה- AI נותן חידון שקשור לסצנה ועל התלמידים לענות בביטוי בסינית.

וונג הסביר כי "אם אתה רוצה לבחור אחד מהקופצים המופיעים על המסך, אתה יכול להושיט את היד, לפתוח את כף היד ואז לסגור את היד." "אתה בוחר בכל הסמן שעכשיו נמצא. עבור החידונים הקטנים, אם אתה יודע מה התשובה הנכונה, אתה יכול להעביר את היד שלך לדמויות שאתה רוצה לבחור, ואז לסגור את היד שלך כדי לבחור אותן. איידע אותך אם הבנת את זה נכון או לא."

הסוכן הווירטואלי מבין את התלמידים רוב הזמן, למעט כאשר ייתכן והמיקרופון שלהם לא קרוב לפיהם. למערכת יש הגדרות זיהוי קולי שונות שמאספות את התלמידים אם הם לא נמצאים בהגייתם. זה גם נותן משוב מיידי בשיחה אם אין לך פרופסור. בזמנם, התלמידים בכיתת מנדרין עוברים לאתר אינטרנט לגישה לקטעי קול לתרגול.

מאפיין מגניב של החוויה הענקית ב- RPI הוא מודעות בהקשר מרחבי, בה מספר סוכנים וירטואליים על המסך יכולים לדעת עם מי אתה יוצר קשר עין. "אם אתה אומר משהו כשאתה מסתכל על סוכן אחד, אז אותו סוכן יגיב ולא השני, " אמר וונג.

סטודנט משתמש במחוות וטכנולוגיית זיהוי פנים של יבמ ווטסון כחלק משיעור מנדרין ב- RPI. (זיכוי תמונה: IBM Research / RPI )

כיצד התפתחה החוויה האיכותית

החוויה האולטימטיבית ב- RPI הגיעה כאשר פרופסורים לשפות ומרצים לעיצוב משחקים נפגשו כדי לדון בדרך טובה יותר ללמד שפה. תוכנית לפיתוח משחק תפקידים עברה במהרה לדיון כיצד ללמד את מנדרין באמצעות הדמיה של תרחישים מהחיים האמיתיים, על פי הוי סו, שהוא גם מנהל חוויית משתמש קוגניטיבית במחקר יבמ ומנהל ה- CISL. יבמ וה- RPI החלו בפיתוח הקורס בסוף 2015, והם הקימו את המעבדה המשותפת באותה תקופה. לאחר מכן, ה- CISL התגבש זמן קצר לאחר מכן.

סו אמר כי "מטרת המעבדה היא לבנות את הסביבה הקוגניטיבית והאינטנסיבית כדי לשפר את הפעילות הקבוצתית, להגדיל את האינטליגנציה הקבוצתית בהקשר של למידה וקבלת החלטות". "אנו מתמקדים גם בבניית אולמות דירקטוריון קוגניטיביים טבועים… להתבונן בנתונים של מצב קריטי ולנסות להבין את המידע ולייצר החלטות או המלצה למקבלי ההחלטות."

כחלק מתוכנית למידת השפה AI, יבמ ו- RPI מבצעים ניסויים בקווי מתאר של המגרש. סו תיאר כיצד עובד הטכנולוגיה הזו. "כשאתה מדבר הברה, כשאתה מבטא הברה, הטכנולוגיה העומדת בבסיס תתפוס את הקול, והיא יוצרת מתאר חזותי של איך אתה מבטא את ההברה", אמר סו. "ואז הוא משתמש במתאר החזותי הזה ומשווה את קווי המתאר החזותיים האלה עם קווי המתאר החזותיים של דובר שפת אם."

לאחר מכן התלמידים יכולים לבצע התאמות בהיגוי שלהם כדי להגיע לטון הנכון. הם ילמדו שהם צריכים לשנות הגיות של הברות מסוימות. על פי הידע שהתלמידים משיגים על ידי למידת מנדרין בכיתה הענפה תוך שימוש בטכנולוגיית ווטסון, יהיה להם ביטחון רב יותר בשיחה בחיים האמיתיים, לפי סו.

"כל הרעיון הוא לספק מספיק הקשר תרבותי באמצעות סביבתנו הטבילה והטכנולוגיית AI כדי לאפשר לתלמידים לתרגל תרגיל", אמר סו. "אז לא יהיו להם פחדים כמו לדבר עם אנשים בחיים האמיתיים."

סטודנט מתרגל מנדרינה בסביבת מסעדות וירטואליות באמצעות טק IBM Watson. (זיכוי תמונה: IBM Research / RPI )

גשר בין תעשיית הטכנולוגיה והאקדמיה

יבמ ו- RPI מסוגלים לבנות גשר בין חוקרי IBM ואנשי סגל, כאשר יבמ תטמיע חוקר בקמפוס, דהיינו סו. בינתיים, ג'ואו, פרופסור הכיתה ב- RPI, נותן משוב גם למעצבים, למשתמשים ולמורים כיצד לשפר את החוויה האיכותית בכיתה.

"אני צריך לתת להם משוב מיידי כדי לבצע ניפוי באגים או לשפר את העיצוב כדי שנוכל להציע כיתה טבעית יותר לתלמידים, " אמר ג'ו. "אז יש הרבה עבודה אבל זה שווה את זה."

עתיד לימוד השפה

• התוכנה הטובה ביותר ללימוד שפות לשנת 2019 התוכנה הטובה ביותר ללימוד שפות לשנת 2019
• יבמ משחררת כלים מעוצבים של ווטסון AI בכמה תעשיות. IBM משחררת כלים מעוצבים של ווטסון AI בכמה תעשיות.
• האם AI באמת מדבר את השפה שלנו? האם AI באמת מדבר את השפה שלנו?

סוג זה של סביבה עשירה הוא בעל ערך בגלל היכולת לספק סביבה שנראית חיים אמיתיים, לדברי ג'ו. ג'ואו אמר כי "הסביבה המעשירה של AI יכולה לא רק לשפר את הדיבור וההאזנה של התלמידים, אלא גם את הפרגמטיקה של השימוש בשפה זו במצבים ממשיים. "זו הסיבה שה- AI הוא יותר אידיאלי עבורי כמדריך כדי שתלמידים יוכלו לקבל תחושה של שימוש בשפה בשלב מוקדם, אפילו עבור לומדים מתחילים, מבלי לנסוע לארץ."

סביבות למידה מולטימליות כמו אלו המוצעות ב- RPI תרחיבו את תפקיד ה- AI בכיתה. עם הניסיון שה- AI מספק באמצעות הסוכנים הווירטואליים, התלמידים יהיו מוכנים להתמודד עם תרחישים שונים בעולם האמיתי עם כישורי השפה הדרושים.