데이터 인제스천(수집·적재)

정의

여러 소스의 데이터를 저장소 안으로 받아들여 쌓는 첫 단계.

자세한 설명

여러 데이터 소스에서 나온 데이터를 데이터 웨어하우스나 데이터 레이크 같은 저장소 안으로 처음 받아들여 쌓는 단계를 가리킵니다. 한꺼번에 모아 정해진 시간마다 집어넣는 방식도 있고, 데이터가 생기는 즉시 조금씩 흘려 넣는 방식도 있습니다. 어떤 방식을 고르느냐는 데이터가 얼마나 빨리 필요한지, 얼마나 자주 생기는지에 따라 달라집니다. 들어오는 입구를 제대로 관리해야 뒤따르는 정제·변환 작업도 수월해집니다.

예를 들면

여러 매장의 결제 데이터를 밤마다 한꺼번에 받아들이는 방식으로 데이터 인제스천을 설계했습니다.

관련 용어