Гипотеза лотерейного билета
term_id: lottery_ticket_hypothesis
Category: basic_concepts
Definition
Гипотеза лотерейного билета предполагает, что внутри большой нейронной сети со случайной инициализацией существует разреженная подсеть («выигрышный билет»), которая хорошо инициализирована для обучения. Путем обрезки лишних весов и обучения оставшейся подсети в изоляции можно достичь той же точности, что и у полной сети, но с меньшими вычислительными затратами.
Summary
Теория о том, что плотные нейронные сети содержат более мелкие подсети, которые при обучении изолированно с начальной инициализацией могут достичь точности исходной сети.
Key Concepts
- Обрезка весов
- Разреженные сети
- Сжатие моделей
- Чувствительность инициализации
Use Cases
- Развертывание легких моделей на периферийных устройствах
- Снижение вычислительных затрат во время обучения
- Ускорение скорости вывода (инференса)