Dataset:Nvidia/Helpsteer2

Definition

Helpsteer2 er et kurateret datasæt udgivet af NVIDIA, der indeholder parvise sammenligninger af svar genereret af store sprogmodeller. Det fokuserer på multidimensionelle menneskelige præferencer, såsom hjælpsomhed

Summary

Et højtkvalitets datasæt af menneskelige præferencer, der er designet specifikt til træning af belønning modeller i forstærket læring fra menneskelig feedback.

Key Concepts

• RLHF
• Belønningsmodellering
• Menneskelige præferencer
• Alignering

Use Cases

• Træning af belønning modeller til LLM-alignering
• Vurdering af modellers hjælpsomhed og sikkerhed
• Finjustering af basemodeller med præferencedata

Related Terms

• RLHF (Forstærket læring fra menneskelig feedback)
• Belønningsmodel (Reward Model)
• DPO (Direct Preference Optimization)
• Anthropic HH (Anthropics Human Helpfulness-datasæt)