Eagle

Definition

Eagle представляет собой конкретную архитектурную и инженерную рамку в области больших языковых моделей, связанную преимущественно с оптимизацией эффективности обучения и масштабируемости. Он фокусируется

Summary

Eagle — это высокопроизводительная открытая фреймворк для больших языковых моделей (LLM), разработанный ByteDance, предназначенный для эффективного предварительного обучения и тонкой настройки LLM.

Key Concepts

• Фреймворк для LLM
• Эффективность обучения
• Архитектура Transformer
• Открытый исходный код

Use Cases

• Предварительное обучение моделей крупного масштаба
• Эффективная тонкая настройка LLM
• Исследования в области оптимизации моделей

Related Terms

• PyTorch (библиотека глубокого обучения)
• Megatron-LM (фреймворк для обучения LLM)
• DeepSpeed (библиотека оптимизации обучения)
• Большие языковые модели