Обучение по программе (Curriculum Learning)
Definition
Обучение по программе имитирует человеческое образование, представляя обучающие данные в …
Optimization
Terms tagged with Optimization
Обнаружение активности голоса
Definition
Алгоритмы VAD анализируют аудиопотоки в реальном времени, чтобы различать периоды …
Unsloth
Definition
Unsloth — это специализированный инструмент, предназначенный для оптимизации дообучения и …
Vllm
Definition
vLLM (Virtual Large Language Model) — это библиотека с открытым исходным кодом, …
Токен-максинг
Definition
Токен-максинг включает тщательную разработку входных данных для использования полного …
Трехфакторное обучение
Definition
Трехфакторное обучение — это конкретный подход в обучении с подкреплением, который …
TFLite
Definition
TensorFlow Lite — это фреймворк с открытым исходным кодом, предназначенный для …
Инференс генерации текста
Definition
Инференс генерации текста (TGI) — это выделенная программная платформа, предназначенная …
Символьная регрессия
Definition
Символьная регрессия — это тип регрессионного анализа, целью которого является нахождение …
Суррогатная модель
Definition
В машинном обучении и оптимизации суррогатная модель служит прокси-функцией для целевой …
Минимизация структурного риска
Definition
Минимизация структурного риска (SRM) — это метод снижения ожидаемого риска за счет …
Регуляризация структурированной разреженности
Definition
Регуляризация структурированной разреженности расширяет стандартную L1-регуляризацию, …
Семантическое свёртывание
Definition
Семантическое свёртывание — это процесс сжатия сложных векторных эмбеддингов высокой …
Трюк репараметризации
Definition
Трюк репараметризации — это фундаментальный метод, используемый в вариационных …
Регуляризация
Definition
Регуляризация — это ключевое понятие в машинном обучении, предназначенное для снижения …
Случайная функция признака
Definition
Отображения случайных признаков преобразуют входные данные в новое пространство, где …
Квантованный
Definition
Квантование — это техника оптимизации модели, которая снижает численную точность …
Проксимальные градиентные методы для обучения
Definition
Проксимальные градиентные методы — это итеративные техники оптимизации, используемые, …
Тонкая настройка промптов
Definition
Тонкая настройка промптов включает добавление обучаемых мягких промптов (непрерывных …
PagedAttention
Definition
PagedAttention — это техника, представленная проектом vLLM, направленная на повышение …
OpenVINO
Definition
Разработанный компанией Intel, OpenVINO (Open Visual Inference and Neural network …
Mxfp4
Definition
MXFP4 (Mixed eXtended Floating Point 4-bit) — это специализированный формат данных, …
Метод мультипликативного обновления весов
Definition
Метод мультипликативного обновления весов — это фундаментальный алгоритм онлайн-обучения, …
Многозадачное обучение
Definition
Этот метод использует индуктивное смещение, общее для связанных задач, чтобы повысить …
MobileNet
Definition
MobileNet использует глубинные сепарабельные свертки, что позволяет значительно снизить …
Сжатие моделей
Definition
Этот класс включает такие методы, как прунинг (обрезка), квантование и дистилляция …
Обучение со смешанной точностью (Mixed Precision Training)
Definition
Обучение со смешанной точностью (MPT) объединяет данные половинной точности (FP16) и …
Метаобучение
Definition
Метаобучение сосредоточено на разработке алгоритмов, которые могут учиться на предыдущих …
Матричная регуляризация
Definition
Матричная регуляризация расширяет концепции скалярной регуляризации на матрицы и часто …
Гипотеза лотерейного билета
Definition
Гипотеза лотерейного билета предполагает, что внутри большой нейронной сети со случайной …
Локальная выборка «случай-контроль»
Definition
Локальная выборка «случай-контроль» — это стратегия, используемая преимущественно при …
Обучающийся автомат
Definition
Это понятие происходит из обучения с подкреплением и включает взаимодействие агента с …
Нормализация по слоям
Definition
Нормализация по слоям стабилизирует обучение, уменьшая внутреннее ковариационное …
Дистилляция знаний
Definition
Дистилляция знаний — это метод машинного обучения, используемый для сжатия крупной …
Компиляция знаний
Definition
Компиляция знаний относится к техникам в области искусственного интеллекта, которые …
Отбор экземпляров
Definition
Отбор экземпляров направлен на повышение вычислительной эффективности и …
Итеративный эвристический поиск
Definition
Итеративный эвристический поиск относится к алгоритмам, которые пошагово уточняют …
Imatrix
Definition
Imatrix (от Importance Matrix — Матрица важности) — это техника, преимущественно …
Настройка гиперпараметров
Definition
Настройка гиперпараметров включает оценку различных наборов гиперпараметров для …
Оптимизация гиперпараметров
Definition
Оптимизация гиперпараметров (HPO) относится к более широкой области автоматизации выбора …
Иерархическое паритетное распределение риска
Definition
Иерархическое паритетное распределение риска (HRP) — это метод формирования портфеля, …
Накопление градиентов
Definition
Эта стратегия оптимизации позволяет обучать модели глубокого обучения с эффективными …
GLM MoE DSA
Definition
Единого стандартного термина «GLM MoE DSA» не существует. Однако он, скорее всего, …
GGUF
Definition
GGUF (GPT-Generated Unified Format) — это бинарный формат файлов, специально …
FP8
Definition
Числовой тип данных FP8 (Floating-Point 8) обеспечивает баланс между вычислительной …
Аппроксимация приспособленности
Definition
Аппроксимация приспособленности используется в эволюционных вычислениях, когда оценка …
Дообученный
Definition
Дообучение относится к технике использования модели, которая уже была обучена на большом …
Масштабирование признаков
Definition
Масштабирование признаков стандартизирует диапазон входных переменных, предотвращая …
Хеширование признаков
Definition
Хеширование признаков, также известное как трюк хеширования, позволяет моделям машинного …
Конструирование признаков
Definition
Конструирование признаков — это искусство использования экспертных знаний в предметной …
Дилемма исследования и эксплуатации
Definition
В процессах принятия решений агенты сталкиваются с компромиссом: они могут использовать …
Экстремальная оптимизация
Definition
В отличие от генетических алгоритмов, которые поддерживают популяцию, EO работает с одним …
Эволюционируемость
Definition
В вычислительном контексте эволюционируемость относится к тому, насколько легко алгоритм …
Минимизация эмпирического риска
Definition
Минимизация эмпирического риска (ERM) — это стандартная целевая функция для обучения …
EfficientNet
Definition
Разработанная компанией Google, EfficientNet использует метод комплексного …
Граничный вывод (Edge inference)
Definition
Эта практика предполагает развертывание обученных моделей ИИ непосредственно на таком …
Алгоритм EM и модель GMM
Definition
Этот термин относится к синергетической связи между алгоритмом ожидания-максимизации (EM) …
Ранняя остановка
Definition
Ранняя остановка — это форма регуляризации, используемая преимущественно в итеративных …
Diffusers: LTX Пайплайн
Definition
Пайплайн LTX адаптирован для моделей, приоритетом которых является скорость и …
Дифференциально приватный стохастический градиентный спуск
Definition
DP-SGD — это вариант стохастического градиентного спуска, разработанный для защиты …
Прунинг дерева решений
Definition
Прунинг — это метод предотвращения переобучения в моделях деревьев решений путем удаления …
Метод перекрёстной энтропии
Definition
Метод перекрёстной энтропии (CEM) — это мощный алгоритм оптимизации общего назначения, …
Машинное обучение с учетом затрат
Definition
Машинное обучение с учетом затрат расширяет традиционное обучение с учителем, назначая …
Контрастное обучение
Definition
Контрастное обучение — это метод обучения представлений, не требующий размеченных данных. …
Вычислительная эвристическая интеллект
Definition
Вычислительная эвристическая интеллект включает алгоритмы, которые применяют правила …
Сжатые тензоры
Definition
Сжатые тензоры — это многомерные массивы, используемые в глубоком обучении, где числовая …
Ограничение (клиппинг)
Definition
В инженерии глубокого обучения ограничение часто применяется к градиентам для смягчения …
Кэширование
Definition
В инженерии ИИ кэширование оптимизирует производительность, сохраняя недавние или частые …
Байесовская оптимизация
Definition
Байесовская оптимизация использует вероятностную модель-суррогат, обычно гауссовский …
Размер пакета
Definition
Размер пакета — это критический гиперпараметр, определяющий, сколько образцов …
Пакетная нормализация
Definition
Этот метод корректирует и масштабирует активации так, чтобы они имели нулевое среднее …
AlphaChip
Definition
AlphaChip — это специализированная система искусственного интеллекта, предназначенная для …
Выбор алгоритма
Definition
Выбор алгоритма включает оценку различных вычислительных подходов для определения того, …
Допустимая эвристика
Definition
В задачах поиска путей и поиска в целом допустимая эвристика даёт нижнюю оценку …
Accelerated Linear Algebra
Definition
Эта область сосредоточена на ускорении фундаментальных вычислений линейной алгебры, …
A/B-тестирование
Definition
A/B-тестирование — это рандомизированное контролируемое экспериментальное исследование, в …
Остаточное соединение
Definition
Остаточные соединения, также известные как skip-connections (пропускные связи), позволяют …
QLoRA
Definition
QLoRA объединяет адаптацию с низким рангом (LoRA) с 4-битным квантованием для …
Квантование
Definition
Квантование преобразует числа высокой точности с плавающей запятой (например, FP32) в …
Скорость обучения
Definition
Скорость обучения определяет, насколько сильно веса модели обновляются относительно …
Градиентный спуск
Definition
Градиентный спуск — это алгоритм оптимизации первого порядка для нахождения локального …
Распределенное обучение
Definition
Распределенное обучение ускоряет сходимость модели за счет параллелизации вычислений на …
Адаптер
Definition
Адаптеры — это техника эффективного по параметрам дообучения, используемая …
специализированные под задачу
Definition
Термин «специализированные под задачу» относится к ИИ-моделям или компонентам, которые …
одношаговый
Definition
В машинном обучении и оптимизации одношаговые методы решают задачи напрямую, не требуя …
первого порядка
Definition
В искусственном интеллекте и математике термин «первого порядка» обычно описывает системы …
дообученный (fine-tuned)
Definition
Дообучение предполагает использование модели, уже обученной на большом общем наборе …
Настройка
Definition
Настройка включает в себя уточнение параметров модели машинного обучения для достижения …
Перенос обучения
Definition
Перенос обучения использует предварительно обученные модели для повышения …
В направлении / К
Definition
В разработке ИИ термин «в направлении» часто описывает траекторию процессов оптимизации, …
Масштабирование
Definition
Масштабирование — это активная методология расширения систем ИИ путем добавления большего …
Скорость / Ставка (Rate)
Definition
В ИИ термин «rate» чаще всего относится к скорости обучения — гиперпараметру, который …
Оптимальный
Definition
В ИИ и теории оптимизации оптимальное решение — это такое, которое достигает наивысшего …
Функция потерь
Definition
Функции потерь, также известные как функции стоимости, измеряют, насколько хорошо …
LoRA (Low-Rank Adaptation)
Definition
LoRA фиксирует предварительно обученные веса модели и вставляет обучаемые матрицы …
Глобальный
Definition
Термин «глобальный» в ИИ обычно противопоставляется «локальному», относясь к аспектам, …
Быстрый
Definition
Термин «быстрый» описывает вычислительную эффективность в моделях искусственного …
Эффективный
Definition
Эффективность — это критически важный показатель в искусственном интеллекте, измеряющий, …
Дистилляция знаний
Definition
Этот процесс включает передачу знаний от сложной высокопроизводительной нейронной сети …
Расходимость
Definition
В контексте оптимизации расходимость возникает, когда параметры модели обновляются таким …
Комбинирование
Definition
Это понятие охватывает такие методы, как ансамблевое обучение, где прогнозы нескольких …
Adam
Definition
Adam (Adaptive Moment Estimation) — популярный алгоритм оптимизации первого порядка на …
Дообучение (Fine-tuning)
Definition
Дообучение предполагает взятие модели, уже обученной на большом общем наборе данных, и её …
Промпт-инжиниринг
Definition
Промпт-инжиниринг включает создание специфических входов, известных как промпты, для …