תכונה אקראית
Definition
מיפויי תכונות אקראיים ממירים קלטים למרחב חדש שבו מודלים ליניאריים יכולים לקרב פונקציות …
Optimization
Terms tagged with Optimization
מקוונטז (Quantized)
Definition
כמותנה (Quantization) היא טכניקה לאופטימיזציה של מודלים, המפחיתה את הדיוק המספרי של …
כוונון הנחיות (Prompt Tuning)
Definition
כוונון הנחיות כולל הוספת הנחיות רכות ניתנות לאימון (וקטורים רציפים) לשכבת הקלט של מודל …
שיטות גרדיאנט פרוקסימלי ללמידה
Definition
שיטות גרדיאנט פרוקסימלי הן טכניקות אופטימיזציה איטרטיביות המשמשות כאשר פונקציית האובדן …
PagedAttention
Definition
PagedAttention היא טכניקה שהוכנסה על ידי פרויקט vLLM כדי לשפר את היעילות של הסקת מסקנות …
OpenVINO
Definition
פותח על ידי אינטל, OpenVINO (Open Visual Inference and Neural Network Optimization) מאפשר …
Mxfp4
Definition
MXFP4 (Mixed eXtended Floating Point 4-bit) הוא פורמט סוג נתונים ייעודי שהוצג כדי לייעל …
שיטת עדכון משקלים כפלית
Definition
שיטת עדכון משקלים כפלית היא אלגוריתם לימוד מקוון בסיסי המשמש לקבלת החלטות בסביבות לא …
למידה רב-משימתית
Definition
טכניקה זו מנצלת את ההטיות האינדוקטיביות המשותפות בין משימות קשורות כדי לשפר את יעילות …
MobileNet
Definition
רשתות MobileNet משתמשות בהטלות ספרביליות עומק (depthwise separable convolutions) כדי …
דחיסת מודל
Definition
קטגוריה זו כוללת שיטות כמו חיתוך (pruning), כימות (quantization) ודיסטילציית ידע, …
אימון בדיוק מעורב
Definition
אימון בדיוק מעורב (MPT) משלב סוגי נתונים של דיוק חצי (FP16) ודיוק מלא (FP32) במהלך אימון …
למידה על-עלית
Definition
למידה על-עלית מתמקדת בעיצוב אלגוריתמים שיכולים ללמוד ממשימות קודמות כדי לשפר את הביצועים …
רגולריזציה מטריציונית
Definition
רגולריזציה מטריציונית מרחיבה מושגי רגולריזציה סקלריים למטריצות, ולעיתים קרובות משמשת …
דגימת מקרה-בקר מקומית
Definition
דגימת מקרה-בקר מקומית היא אסטרטגיה המשמשת בעיקר באימון מודלים ללמידה ניגודית או במערכות …
השערת כרטיס הלoteria
Definition
השערת כרטיס הלoteria מציעה כי בתוך רשת נוירונים גדולה ואתחול אקראי, קיימת תת-רשת דלילה …
אוטומט למידה
Definition
מושג זה נובע מלמידה חיזוקית וכולל סוכן האינטראקציה עם סביבה לא ידועה. האוטומט בוחר פעולות …
נרמול שכבתי
Definition
נרמול שכבתי מייצב את האימון על ידי הפחתת ההיסט הקווריאטיבי הפנימי, במיוחד ביעילות …
דיסטילציה של ידע
Definition
דיסטילציה של ידע היא שיטה למידת מכונה המשמשת לדחוס רשת נוירונים גדולה ומורכבת (המורה) …
הרכבה של ידע
Definition
הרכבה של ידע מתייחסת לטכניקות בינה מלאכותית הממירות בסיס ידע או תיאוריה לוגית לייצוג אחר …
בחירת דוגמאות
Definition
בחירת דוגמאות שואפת לשפר יעילות חישובית וביצועי המודל על ידי הסרת נקודות נתונים מיותרות …
חיפוש היוריסטי הדרגתי
Definition
חיפוש היוריסטי הדרגתי מתייחס לאלגוריתמים המחדדים פתרון מועמד צעד אחר צעד, בהנחיית …
Imatrix
Definition
Imatrix, קיצור של Importance Matrix (מטריצת חשיבות), היא טכניקה הקשורה בעיקר לאימון …
אופטימיזציית פרמטרי-על
Definition
אופטימיזציית פרמטרי-על (HPO) מתייחסת לתחום הרחב יותר של אוטומציה בבחירת פרמטרי-על. בעוד …
כוונון פרמטרי-על
Definition
כוונון פרמטרי-על כולל הערכת קבוצות שונות של פרמטרי-על כדי למצוא את התצורה המניבה את הדיוק …
זוגיות סיכון היררכית
Definition
זוגיות סיכון היררכית (HRP) היא שיטת בניית תיק השקעות המתמודדת עם מגבלות האופטימיזציה …
צבירת גרדיאנטים
Definition
אסטרטגיית האופטימיזציה הזו מאפשרת לאימוני מודלים ללמידה עמוקה להיעשות עם גודל באץ’ …
GLM MoE DSA
Definition
אין מונח סטנדרטי יחיד בשם ‘GLM MoE DSA’. עם זאת, הוא ככל הנראה משלב את GLM …
GGUF
Definition
GGUF (GPT-Generated Unified Format) הוא פורמט קובץ בינארי המיועד ספציפית להפעלת מודלי שפה …
FP8
Definition
נקודה צפה 8 (FP8) היא סוג נתונים מספרי המציע איזון בין יעילות חישובית לדיוק, ומותאם …
אומדן כושר
Definition
אומדן כשר משמש בחישוב אבולוציוני כאשר הערכת פונקציית הכשר האמיתית יקרה או דורשת זמן רב …
מדויק עדין (Fine-tuned)
Definition
דיוק עדין מתייחס לטכניקה של לקיחת מודל שכבר אומן על מערך נתונים גדול וכללי, והמשך האימון …
הדמיית תכונות
Definition
הדמיית תכונות, הידועה גם כ’מלכודת הגיבוב’ (hashing trick), מאפשרת למודלי …
סרגול תכונות
Definition
סרגול תכונות מייצב את הטווח של משתני הקלט כדי למנוע מתכונות בעלות ערכים גדולים יותר …
הנדסת תכונות
Definition
הנדסת תכונות היא האמנות של ניצול מומחיות בתחום כדי להמיר נתונים גולמיים לתכונות המייצגות …
אופטימיזציה אקסטרימלית
Definition
בניגוד לאלגוריתמים גנטיים ששומרים על אוכלוסייה, EO פועל על פתרון יחיד. הוא מזהה את הרכיב …
דילמת מיצוי-חקירה
Definition
בתהליכי קבלת החלטות, סוכנים עומדים בפני פשרה: הם יכולים למצות את הידע הנוכחי לקבלת התגמול …
יכולת התפתחות אבולוציונית
Definition
בהקשרים חישוביים, יכולת התפתחות אבולוציונית מתייחסת לקלות שבה אלגוריתם או ארכיטקטורת רשת …
מינימיזציה של סיכון אמפירי
Definition
מינימיזציה של סיכון אמפירי (ERM) היא פונקציית המטרה הסטנדרטית לאימון מודלים של למידה …
EfficientNet
Definition
פותח על ידי גוגל, EfficientNet משתמש בשיטת סקאלה משולבת (Compound Scaling) לאיזון בין …
הסקת מסקנות בקצה הרשת
Definition
פרקטיקה זו כוללת פריסת מודלי בינה מלאכותית מאומנים ישירות על חומרה כמו סמארטפונים, חיישני …
אלגוריתם EM ומודל GMM
Definition
מונח זה מתייחס ליחס ההדדי בין אלגוריתם הציפייה-מקסימום (EM) לבין מודלי תערובות גאוסיאניות …
עצירה מוקדמת
Definition
עצירה מוקדמת היא צורת רגולריזציה המשמשת בעיקר בתהליכי אימון איטרטיביים כמו ירידה בשיפוע …
Diffusers: LTX Pipeline
Definition
צינור ה-LTX מותאם לדגמים המעדיפים מהירות ויעילות במשימות יצירתיות, לעיתים קרובות תוך …
ירידה במדרון סטוכסטית פרופרית דיפרנציאלית
Definition
DP-SGD הוא וריאנט של ירידה במדרון סטוכסטית (SGD) המיועד להגן על פרטיות נתוני האימון. הוא …
גיזום עץ החלטות
Definition
גיזום הוא שיטה המשמשת למניעת התאמת יתר (Overfitting) במודלי עצי החלטות על ידי הסרת ענפים …
שיטת האנטרופיה הצולבת
Definition
שיטת האנטרופיה הצולבת (CEM) היא אלגוריתם אופטימיזציה רב-תכליתי וחזק המשמש לבעיות …
למידת מכונה רגישה לעלויות
Definition
למידת מכונה רגישה לעלויות מרחיבה את הלמידה הפיקוחית המסורתית על ידי הקצאת קנסות שונים …
למידה ניגודית
Definition
למידה ניגודית היא שיטת למידת ייצוגים הדורשת נתונים מתויגים. היא עובדת על ידי יצירת תצוגות …
אינטליגנציה היוריסטית חישובית
Definition
אינטליגנציה היוריסטית חישובית כוללת אלגוריתמים המשתמשים בכללי אצבע, קירובים או ניחושים …
טנסורים דחוסים
Definition
טנסורים דחוסים הם מערכים רב-ממדיים המשמשים בלמידה עמוקה, שבהם הדיוק המספרי (למשל, …
קליפ / חיתוך
Definition
בהנדסת למידה עמוקה, קליפפינג מיושם בדרך כלל על גרדיאנטים כדי להקל על בעיית הגרדיאנטים …
אחסון מטמון (Caching)
Definition
בהנדסת בינה מלאכותית, אחסון מטמון משפר ביצועים על ידי שמירה של תוצאות שאילתות או תחזיות …
אופטימיזציה בייסיאנית
Definition
אופטימיזציה בייסיאנית משתמשת במודל סורוגט הסתברותי, בדרך כלל תהליך גאוסי, כדי לדגמן את …
גודל אצווה
Definition
גודל האצווה הוא היפר-פרמטר קריטי הקובע כמה דגימות מעובדות לפני עדכון הפרמטרים הפנימיים של …
נרמול אצווה
Definition
שיטה זו מתאימה ומנרמלת את הפעלות הרשת כך שיהיו בעלות תוחלת אפס ושונות אחת בתוך כל …
AlphaChip
Definition
AlphaChip הוא מערכת AI ייעודית המיועדת לאוטומציה ושיפור מיקום והטמעה של רכיבים בשבבים …
בחירת אלגוריתם
Definition
בחירת אלגוריתם כוללת הערכה של גישות חישוביות שונות כדי לקבוע איזו מהן פותרת משימה נתונה …
הוריסטיקה אדמיסיבילית (מותרת)
Definition
בבעיות מציאת מסלול וחיפוש, הוריסטיקה אדמיסיבילית מספקת חסם תחתון לעלות האמיתית להגעה …
Accelerated Linear Algebra
Definition
תחום זה מתמקד בהאצת חישובי אלגברה לינארית בסיסיים, מהווים ליבה בלמידת מכונה וסימולציות …
בדיקות A/B
Definition
בדיקות A/B הן ניסוי מבוקר אקראי שבו משווים בין שתי וריאציות, A ו-B, כדי להעריך איזו מהן …
חיבור שאריתי
Definition
חיבורים שאריתיים, הידועים גם כחיבורי דילוג (Skip Connections), מאפשרים לגרדיאנטים לזרום …
QLoRA
Definition
QLoRA משלבת התאמה מדורגת נמוכה (LoRA) עם קוונטיזציה ל-4 סיביות כדי להפחיש משמעותית את נפח …
קוונטיזציה
Definition
קוונטיזציה ממירה מספרי נקודה צפה בדיוק גבוה (כמו FP32) לפורמטים בדיוק נמוך יותר (כמו INT8 …
קצב למידה
Definition
קצב הלמידה קובע כמה משקולות המודל מתעדכנות ביחס לגרדיאנט המחושב בכל איטרציית אימון. קצב …
ירידה במדרון
Definition
ירידה במדרון היא אלגוריתם אופטימיזציה איטרטיבי מסדר ראשון למציאת מינימום מקומי של פונקציה …
אימון מבוזר
Definition
אימון מבוזר מאיץ התכנסות של מודלים על ידי מקבילת חישובים על גבי מספר כרטיסי GPU או צמתים. …
מתאם
Definition
מתאמים הם טכניקת כיוון עדיף חסכונית בפרמטרים המשמשת בעיקר במודלי שפה גדולים …
ספציפי למשימה
Definition
מונח זה מתייחס למודלי בינה מלאכותית או רכיבים המותאמים במיוחד כדי להצטיין בקבוצה צרה של …
צעד אחד
Definition
במכונת למידה ואופטימיזציה, שיטות צעד-אחד פותרות בעיות ישירות ללא צורך באיטרציות או עדיות …
סדר ראשון
Definition
בבינה מלאכותית ובמתמטיקה, המונח ‘סדר ראשון’ מתאר בדרך כלל מערכות או פעולות …
עדין-כוונון / Fine-Tuned
Definition
כוונון עדין (Fine-Tuning) כולל לקיחת מודל שכבר אומן על ערכת נתונים גדולה וכללית, והמשך …
כוונון
Definition
כוונון כולל השבחת מודל למידת מכונה כדי להשיג דיוק או יעילות טובים יותר. הוא יכול להתייחס …
למידה בהעברה
Definition
למידה בהעברה מנצלת מודלים מאומנים מראש כדי לשפר ביצועים ולהפחית את זמן האימון במשימות …
כלפי / כיוון
Definition
בפיתוח בינה מלאכותית, ‘כלפי’ מתאר לעיתים קרובות את המסלול של תהליכי …
התאמה לגודל (Scaling)
Definition
התאמה לגודל היא המתודולוגיה הפעילה של הרחבת מערכות בינה מלאכותית על ידי הוספת שכבות, …
קצב
Definition
בבינה מלאכותית, ‘קצב’ מתייחס לרוב לקצב הלמידה, פרמטר-על השולט בכמה יש לשנות …
אופטימלי
Definition
בבינה מלאכותית ובתיאוריית האופטימיזציה, פתרון אופטימלי הוא כזה המשיג את מדד הביצועים …
פונקציית הפסד
Definition
פונקציות הפסד, המוכרות גם כפונקציות עלות, מודדות עד כמה התחזיות של מודל למידת מכונה …
LoRA
Definition
LoRA מקפיאה את משקלי המודל המאומנים מראש ומכניסה מטריצות פירוק ניתנות לאימון לכל שכבה …
גלובלי
Definition
המונח ‘גלובלי’ בבינה מלאכותית מנוגד בדרך כלל ל’מקומי’, ומתייחס …
מהיר
Definition
המונח ‘מהיר’ מתאר יעילות חישובית במודלים של בינה מלאכותית, תוך דגש על זמני …
יעיל
Definition
יעילות היא מדד קריטי בבינה מלאכותית המודד עד כמה מודל או אלגוריתם מנצלים משאבים זמינים …
דיסטילציה
Definition
תהליך זה כולל העברת ידע מרשת נוירונים מורכבת ובעלת ביצועים גבוהים (‘מורה’) …
סטייה (Divergence)
Definition
בהקשר של אופטימיזציה, סטייה מתרחשת כאשר פרמטרי המודל מתעדכנים בצורה הגורמת לעלייה באובדן …
שילוב
Definition
מושג זה כולל שיטות כמו למידה קבוצתית (Ensemble Learning), שבה תחזיות ממספר מודלים מצטברות …
Adam
Definition
Adam (Adaptive Moment Estimation) הוא אלגוריתם אופטימיזציה פופולרי המבוסס על גרדיאנט מסדר …
כוונון עדין
Definition
כוונון עדין כולל לקיחת מודל שכבר אומן על מערך נתונים גדול וכללי והמשך אימונו על מערך …
הנדסת הנחיות (Prompt Engineering)
Definition
הנדסת הנחיות כוללת ניסוח קלטים ספציפיים, המכונים ‘הנחיות’ (Prompts), כדי …