스트리밍
Definition
스트리밍은 데이터가 생성되는 실시간 또는 준실시간으로 데이터를 지속적으로 흡수하고 처리하는 것을 의미합니다. 고정된 데이터셋을 처리하는 배치 처리와 달리, 스트 …
Data Engineering
Terms tagged with Data Engineering
LlamaIndex
Definition
원래 GPT Index로 알려졌던 LlamaIndex는 구조화되고 비구조화된 데이터를 LLM이 흡수하고 상호작용할 수 있게 하는 강력한 데이터 프레임워크입니다. …
지식 통합
Definition
지식 통합은 데이터베이스, 온톨로지, 비정형 텍스트 등 다양한 출처의 데이터를 하나의 일관된 스키마로 병합하는 작업입니다. 이는 의미적 이질성과 데이터 불일치 …
배치 처리(Batch Processing)
Definition
배치 처리는 계산이나 모델 추론을 실행하기 전에 데이터 입력값을 하나의 그룹(배치)으로 집계하는 과정을 포함합니다. 이 접근 방식은 실시간 스트리밍 처리와 대비 …