עברית
שיחת היכרות

לא כל החלטה באוטומציה צריכה מודל שפה גדול

רוב הצעדים באוטומציה עסקית הם החלטות קטנות. האם המייל הזה ספאם? לאיזו מחלקה להעביר את הפנייה? עד כמה היא דחופה? האם הלקוח מבקש לבטל?

בשנתיים האחרונות התשובה הנפוצה לכל אלה הייתה לשלוח את הטקסט למודל שפה גדול ולבקש ממנו לענות. זה עובד, אבל משלמים על יכולת כתיבה שאף אחד לא צריך. המודל מייצר טקסט, הקוד צריך לחלץ ממנו תשובה, ומדי פעם התשובה מגיעה בפורמט אחר מזה שציפו לו.

הרעיון לא חדש

כבר ב-2023 הראו חוקרים מסטנפורד, במאמר FrugalGPT, ששרשרת של מודלים מהזול ליקר מגיעה לביצועים של GPT-4 בעלות נמוכה בעד 98%. ב-2024 פרסמו חוקרים מ-LMSYS את RouteLLM, נתב שמחליט לגבי כל שאלה אם לשלוח אותה למודל חזק או חלש. במבחן אחד הוא חסך יותר מ-85% מהעלות ושמר על כ-95% מהביצועים. גם Anthropic ממליצה בתיעוד שלה להתחיל במודל הקטן שלה, Haiku, למשימות פשוטות בנפח גבוה.

החדש ב-2026 הוא סוג אחר של מודל, שנבנה מראש רק בשביל החלטות.

מודל שמחזיר החלטה במקום טקסט

בספטמבר 2026 הציגה חברת TypeSafe את Jev, מודל שמחזיר החלטה מוגדרת: כן או לא, בחירה מתוך רשימה, או ציון, יחד עם רמת ביטחון מכוילת. הוא לא כותב טקסט בכלל. המחיר שפורסם הוא 0.042 דולר למיליון טוקנים של קלט, והפלט בחינם. לשם השוואה, החברה מציינת טווח של 0.20 עד 10 דולר למיליון טוקנים במודלי שפה רגילים. זמן התגובה, לפי החברה, הוא בין 70 ל-500 אלפיות שנייה. המודל זמין כרגע רק בגישה מוקדמת.

מתחרה בקוד פתוח כבר קיים: Laya של ConvAI Innovations, מודל קטן במשקלים פתוחים שעונה תוך כ-33 אלפיות שנייה. לפי היוצרים שלו, הוא מגיע לתוצאות טובות רק אחרי התאמה לנתונים של הלקוח, ובלי התאמה הוא קרוב לניחוש.

מה קרה כשניסו

ניסוי מפורט פרסמה חברת התוכנה Pelcro. באוקטובר היא תיארה איך נתנה ל-Jev לדרג את הקשר בין כל זוג דפים באתר שלה, 361 דפים, כדי לבחור קישורים למאמרים קשורים. זה יצא 129,960 החלטות, בפחות משש דקות, בעלות כוללת של 87 סנט. אחרי שהוסיפו כללים, הדיוק של הקישורים עלה מ-64% ל-81%. מודל שפה קטן היה עולה כ-2 דולר על אותה עבודה. embeddings, הדרך הוותיקה למדוד דמיון בין טקסטים, היו עולים כסנט אחד. כלומר, גם כאן הבחירה תלויה בשאלה שצריך לענות עליה, ולא רק במחיר.

חברת ההערכה העצמאית Vals AI בדקה את Jev על 400 טענות מתוך דוחות כספיים של חברות. הוא ענה נכון על 390, בדיוק כמו GPT-6 Astra, בעלות נמוכה פי 498 בערך. אבל כל 12 המודלים שנבדקו קיבלו שם בין 95% ל-99.5%, כך שהמבחן לא היה קשה במיוחד. במבחן של שאלות משפטיות, Jev הגיע למקום האחרון מבין ה-12, עם רמת הביטחון הכי פחות אמינה.

המשקיע תומאש טונגוז בדק את Jev על 98 שרשורי מייל שלו. מודל השפה שהריץ אצלו עד אז צדק ב-47% מהמקרים, ו-Jev ב-80%. זו דגימה קטנה של אדם אחד, אבל היא מראה כמה מהר אפשר להריץ השוואה כזו על נתונים אמיתיים.

איפה זה לא מתאים

  • שאלות שדורשות שיקול דעת מורכב, כמו פרשנות משפטית. כאן המבחנים מראים חולשה ברורה.
  • אימות טענות מול מסמכים, כשטעות אחת יקרה. בבדיקה עצמאית ב-GitHub, Jev אישר טענות שגויות בשיעור של 23%, לעומת 13% עד 14% במודל גדול.
  • כל צעד שבו צריך לכתוב: תשובה ללקוח, סיכום, מסמך.
  • מחיר שעלול להשתנות. טונגוז עצמו מעריך שהמחיר הנוכחי מסובסד, והמודל עדיין בגישה מוקדמת.

איך בונים את זה בתהליך

בפרויקט אוטומציה, ההחלטה הזו שייכת לשלב האפיון. לכל צעד בתהליך מגדירים מה הקלט, איזו החלטה צריך, ומה עולה טעות. רק אחר כך בוחרים מודל. התבנית שעובדת ברוב המקרים:

  • צעד החלטה זול ומהיר בכניסה, שמסווג ומנתב.
  • מודל גדול רק בצעד שבאמת צריך לכתוב או לחשוב.
  • סף ביטחון. מה שמתחת לסף עובר לאדם או למודל חזק יותר.
  • סט בדיקה של כמה מאות דוגמאות אמיתיות עם התשובה הנכונה, שמריצים על כל מודל לפני שבוחרים ובכל פעם שמחליפים.

אותו עיקרון עובד גם בסוכני AI. באפריל 2026 פרסמה Anthropic גישה שבה מודל חזק מייעץ ומודל זול מבצע. בבדיקות שלה, Sonnet עם Opus כיועץ קיבל ציון גבוה ב-2.7 נקודות מ-Sonnet לבדו, ועלה 11.9% פחות לכל משימה.

שאלות נפוצות

מה זה מודל החלטה?
מודל שמקבל טקסט ומחזיר תשובה מוגדרת מראש, כמו כן או לא, קטגוריה או ציון, יחד עם מידת הביטחון שלו. הוא לא כותב טקסט, ולכן הוא מהיר וזול יותר, והקוד לא צריך לפענח את התשובה.
כדאי להחליף עכשיו את כל הקריאות למודלים גדולים?
לא. מתחילים בצעד אחד עם נפח גבוה ותשובה ברורה, כמו סיווג פניות, ובודקים אותו מול דוגמאות אמיתיות. אם הדיוק מספיק, מרחיבים לצעד הבא.
מה עושים כשהמודל לא בטוח בתשובה?
בשביל זה צריך רמת ביטחון מכוילת. קובעים סף, ומה שמתחתיו עובר לאדם או למודל חזק יותר. כך הטעויות היקרות לא עוברות בשקט.

מקורות

רוצים לדבר על זה בהקשר של המערכת שלכם? שיחת היכרות, שעה, ללא עלות.