יום ראשון, 28 באוקטובר 2018

מסתבר שגם אצל סירי החזות קודמת לקול

עודכן באוקטובר 2026. הגרסה המקורית פורסמה באוקטובר 2018.

באוקטובר 2018 כתבתי כאן שאנחנו "אפילו לא קרובים" לשיחה טבעית עם מחשבים. הטענה הזו לא החזיקה מעמד. ארבע שנים אחר כך הגיעו הצ'אטבוטים של בינה מלאכותית יוצרת (Generative AI), והיום אפשר לשוחח איתם בקול, לשאול שאלות המשך ולתקן אותם באמצע משפט. אבל בסוף אותו פוסט הייתה טענה נוספת: ככל שהמידע מורכב יותר, המחשב צריך להראות ולא רק לדבר. הטענה הזו דווקא החזיקה, ובשנה האחרונה נראה שכל החברות הגדולות הגיעו אליה. קודם הטקסט המקורי, כמו שהוא, ואחריו מה שקרה מאז.

מימין: מטבח מואר, ובו רובוט צעצוע כחול ומבריק עם עניבת פרפר שמחזיק טאבלט עם תמונות של מנות, ואדם מחייך שמערבב סיר על הכיריים ומצביע על אחת המנות. משמאל: אותו מטבח באור קודר, אותו רובוט כשהוא חלוד מקריא ממגילת נייר ארוכה שנערמת על הרצפה, ולידו אדם מבולבל שמערבב סיר.

מה כתבתי ב‑2018

בניגוד לדעה הרווחת, לפיה בזכות ההתקדמות הטכנולוגית, לא ירחק היום שבו נוכל לשוחח בטבעיות עם מחשבים ומערכות בינה מלאכותיות - המציאות מוכיחה שאנחנו אפילו לא קרובים לזה! נכון לעכשיו אנחנו עוד לא באמת יכולים לשוחח ברצינות עם המחשבים שלנו.

ממשקי השיחה המשוכללים ביותר, שכבר נגישים לצרכנים, הם העוזרים האישיים הדיגיטליים, דוגמת סירי של אפל, אלקסה של אמזון והעוזר של גוגל (OK Google). בפועל המוצרים הללו די מוגבלים מבחינת היכולת שלהם לפענח את הכוונה של המשתמשים ומבחינת היכולת שלהם להגיש למשתמשים את המידע באופן יעיל. במאמר שפורסם ביולי 2018 באתר של חברת היעוץ והמחקר Nielsen Norman Group מתארים הכותבים סידרה של מבחני שמישות, שהם ערכו לעוזרים הדיגיטליים. מסתבר שהמוצרים הללו עדיין מתקשים מאוד לנהל שיחה טבעית ולזהות את מצב העניינים. לפעמים נדמה כאילו הם ממשיכים לדבר ולהגיש את התוצאות לנצח – גם כשהמשתמש כבר מזמן איבד עניין, או הפסיק לעקוב. בנוסף לזה, מסתבר שבהרבה מאוד מקרים עצם הקראת תשובות לשאלות של משתמשים מקשה על המעקב אחר התשובות – למשל כאשר המערכת מציעה מספר אפשרויות לבחירה. עוד עולה מן המחקר כי העוזרים הדיגיטליים מתקשים לזהות שאלות המשך, שמתבססות על התשובות שנתנו, ושהם מתקשים לזהות את ההֶקשֵׁר של השיחה, באמצעות מידע זמין מהיומן של המשתמשים, או מהתכתבויות הדוא"ל שלהם. כדי למצות את היכולות של העוזרים, המשתמשים צריכים למעשה ללמוד איך לדבר איתם נכון ובאילו מונחים להשתמש – כלומר, בשלב זה לא מדובר באמת בשיחה טבעית אלא בהליך שמצריך למידה והסתגלות של המשתמשים.

על רקע קשיים מובנים אלו ביכולות של העוזרים הדיגיטליים, אנשים נוטים להשתמש בעוזרים בהקשרים מאוד מסויימים לביצוע משימות פשוטות יחסית. המניעים העיקריים לפנייה לעוזר דיגיטלי הם מצבים בהם הידיים תפוסות (כמו למשל בזמן בישול או נהיגה) והצגת שאלות שיותר מהר לומר אותן בהשוואה להקלדה וקריאה של התשובות (כלומר שאלות פשוטות יחסית). לרוב האנשים, שמשתמשים בעוזרים, יש אמון מוגבל למדי באשר ליכולותיהם ולרוב הם יציגו שאלות פשוטות בסיגנון של מי, מה, מתי, איפה, ולא שאלות של בדיקות מעמיקות או חיפושים מעט יותר מורכבים. גם משתמשים שמצליחים, בסופו של דבר, לשאול את העוזרים שאלות יותר מורכבות ולקבל תשובות ראויות, מרגישים שהמאמץ הכרוך בניסוח מתאים של השאלות, כדי שהעוזר הדיגיטלי יבין אותן, לא משתלם.

היכולת של העוזרים הדיגיטליים לפענח בצורה אינטליגנטית בקשות של משתמשים, ולעבוד עבורם באופן עצמאי (כמו למשל לתאם פגישות או לספק מענה על חלק מהודעות הדוא"ל) דורשת קיום אלגוריתמים, שלומדים את המשתמש הספציפי, באופן מעמיק ולאורך זמן ומבצעים ניתוח מעמיק של ההרגלים שלו ופיענוח נבון של צרכיו – כפי שהם באים לידי ביטוי בבקשה המילולית מהעוזר הדיגיטלי. לכך יש להוסיף כמובן את העובדה שהאינטגרציה של היכולות החלקיות שכבר קיימות, ביחד עם האזנה לפנייה קולית של המשתמשים, עיבוד ראוי של השיחה והקראה של המענה, תוך התחשבות בצרכים במקום ובזמן, עדיין מתנהלים באופן לא מרשים ולא אטרקטיבי.

אז לאן כל התחום הזה הולך? כנראה שאנחנו נדבר אל המחשבים שלנו יותר ויותר, כי הם יודעים להקשיב ועם הזמן הם ידעו לפענח טוב יותר את הכוונות שלנו. באשר להגשת מידע מהמחשב אלינו, תשובות פשוטות אפשר להציג באמצעות הקראה, אבל ככל שהדברים מורכבים יותר, יהיה צורך להשתמש בתצוגה חזותית, שמאפשרת סריקה והתמקדות ודורשת פחות ריכוז ופחות מאמץ מנטלי. בהרבה דברים הערוץ החזותי שלנו הרבה יותר יעיל מהערוץ המילולי: כאשר אתם צריכים לבחור פריט אחד מבין חמישה פריטים, קל יותר להצביע על הפריט הנבחר מאשר להסביר לאיזה פריט אנחנו מתכוונים. חשבו על שיחה לא במובן של שיחה מילולית בין שני אנשים שהידיים שלהם קשורות אלא על שיחה בה כל צד משתמש באמצעי ההמחשה שעומדים לרשותו – למחשב יש צג והוא יכול לשלב אותו בשיחה כדי ליעל אותה.

מה קרה מאז

השיחה עצמה כבר לא הבעיה

רוב התלונות מ‑2018 נגעו להבנה: העוזרים לא זיהו שאלות המשך, איבדו את ההקשר, ודרשו מהמשתמשים ללמוד איך לנסח. מודלי השפה פתרו את רוב הבעיות הללו. אפשר לשאול "ומה לגבי מחר?" והבוט יודע על מה מדובר, ואפשר לנסח בקשה כמו שמנסחים אותה לבן אדם. גם סירי עצמה נבנתה מחדש: בספטמבר 2026, עם iOS 27, אפל השיקה את Siri AI, גרסה חדשה לגמרי שיודעת גם לענות על שאלות לגבי מה שמוצג על המסך. היא עדיין מסומנת כגרסת בטא, באנגלית בלבד, והביקורות עליה חלוקות, אבל הכיוון ברור.

זה לא אומר שהשיחה עם בוטים נהייתה קלה. בפוסט על מודלים מנטליים כתבתי על הקשיים החדשים שהחליפו את הישנים. אבל את השאלה "האם המחשב מבין מה אמרתי" כבר אפשר לסמן כפתורה ברוב המקרים.

התשובות עברו למסך

החלק השני של הבעיה מ‑2018 היה הגשת המידע: הקראה של אפשרויות, של רשימות ושל תשובות ארוכות. כאן הפתרון לא הגיע מקול טוב יותר, אלא מהמסך:

  • צ'אט עם קול: בנובמבר 2025 OpenAI שילבה את מצב הקול של ChatGPT בתוך חלון הצ'אט הרגיל. בזמן שהבוט מדבר, התשובה מופיעה גם כטקסט, ולצידה מפות ותמונות. אפשר לגלול אחורה בלי לעצור את השיחה. זה מתחבר יפה עם התלונה מ‑2018, שאי אפשר לחזור לאפשרויות קודמות, והפתרון הוא כמעט מילה במילה "למחשב יש צג והוא יכול לשלב אותו בשיחה".
  • תשובה שהיא ממשק: באותו חודש גוגל הציגה ב‑Gemini תשובות שאינן טקסט אלא תצוגה חזותית ואינטראקטיבית, שהמודל בונה במיוחד לכל שאלה. גוגל קוראת לזה Generative UI.
    בקהילה המקצועית מתייחסים ל‑Generative UI בזהירות. ב‑NN/g הזהירו כבר ב‑2024 שממשק שמשתנה כל הזמן יוצר בעיות שמישות, כי משתמשים נשענים על כך שהדברים נמצאים במקום שהם מכירים. ג'ייקוב נילסן מציע פשרה: שלד קבוע של ניווט ותהליכים מרכזיים, שבתוכו נוצרים רק החלקים שמשתנים לכל משימה. וזה מתחבר לכך שהיתרון של מסך הוא שאפשר לסרוק אותו ולחזור אליו, וממשק שנראה אחרת בכל פעם מוותר על חלק מהיתרון הזה.
  • רמקול עם מסך: במאי 2026 אמזון הביאה למכשירי Echo Show עם Alexa+ את אותה חוויית קנייה חזותית שיש באתר ובאפליקציה. לפי אמזון, לקוחות משלימים רכישות במכשירים האלה פי שלושה יותר מאשר עם אלקסה המקורית. זה נתון של החברה, בלי פירוט, אבל ההסבר שהיא נותנת מעניין: קול מתאים לדברים שמייגע להקליד, כמו שם מוצר ארוך או שאלה מורכבת, והמסך מתאים לסריקה של תמונות, דירוגים ומחירים ביחד.
  • משקפיים עם מסך: משקפי Ray-Ban של Meta היו בהתחלה בלי מסך: מצלמה, מיקרופונים ורמקולים, והכל בשליטה קולית. בספטמבר 2025 יצא דגם עם תצוגה קטנה בעדשה. גם במקום שבו הכי קשה להוסיף מסך, על הפנים, הוסיפו אחד. האם זה מתאים לאנשים "רגילים" בשימוש יומיומי? אני בספק, ומה שכתבתי, כבר די מזמן, אודות משקפי גוגל עדיין תקף.

הקול נשאר בצד הקלט

ב‑2018 כתבתי ש"אנחנו נדבר אל המחשבים שלנו יותר ויותר". גם זה מסתדר. מחקר מסטנפורד מצא כבר ב‑2016 שהכתבה קולית בטלפון מהירה פי שלושה מהקלדה באנגלית, ויש פחות שגיאות. החלוקה שמתקבלת פשוטה: אנחנו מדברים מהר יותר משאנחנו מקלידים, וקוראים וסורקים מהר יותר משאנחנו מקשיבים. לכן הקול טוב יותר בדרך אל המחשב, והמסך טוב יותר בדרך חזרה.

כדאי לזכור גם ניואנס מהמחקר של NN/g מ‑2018. בשאלות פשוטות המשתתפים העדיפו דווקא לשמוע את התשובה ולא לקרוא אותה. הם רצו מפה כשחיפשו מסעדה, ותמונות לפני שקנו משהו או הזמינו מלון. כלומר הבחירה היא לא בין קול למסך, אלא לפי סוג התשובה.

מה עושים עם זה

אם אתם מתכננים מוצר עם ממשק קולי, או מוסיפים קול למוצר קיים:

  • החליטו לפי התשובה, לא לפי המוצר. תשובה קצרה אפשר להקריא. רשימה, השוואה או כל דבר שהמשתמש צריך לבחור מתוכו, עדיף להציג.
  • אל תקריאו חמש אפשרויות. הציגו אותן, ותנו למשתמש להצביע או ללחוץ במקום לתאר במילים לאיזו מהן הוא מתכוון.
  • השאירו תיעוד של השיחה. מה שנאמר צריך להישאר זמין לקריאה ולגלילה, כדי שאפשר יהיה לחזור אליו בלי לבקש מהמערכת לחזור על עצמה.
  • שמרו על שלד קבוע. אם הממשק נוצר בזמן אמת, השאירו את הניווט ואת הפעולות המרכזיות במקום קבוע, ותנו למערכת ליצור רק את מה שמשתנה מתשובה לתשובה.
  • במוצר בלי מסך, תכננו את המעבר למסך. ברמקול, באוזניות או בשיחת טלפון, הגבילו את הקול לתשובות קצרות, והציעו לשלוח את הפרטים לטלפון.

מקורות

פורסם על ידי