[러닝 스파크] 스파크 연산의 종류

스파크 연산의 종류

 

스파크 연산은 트랜스포메이션과 액션 두가지 종류로 구분된다.

 

트랜스포메이션은 원본 데이터를 수정하지 않고 하나의 스파크 데이터프레임을 새로운 데이터프레임으로 변형하는 것이고, 액션은 연산 결과를 내놓아야 할 때 사용된다.

 

각 연산의 예시는 다음과 같다.

 

연산 종류	예시
트랜스포메이션	orderBy, groupBy, filter, select, join
액션	show, take, count, collect, save

 

 

연산의 실행

 

모든 트랜스포메이션 연산은 즉시 실행되지 않고 리니지 형태로 기록된다.

액션 연산이 실행될 때 그동안 기록된 트랜스포메이션 연산들이 발동된다. 이를 통해 보다 효율적인 실행과 최적화가 가능하다.

 

 

좁은 의존성과 넓은 의존성

 

트랜스포메이션은 좁은 의존성과 넓은 의존성으로 분류할 수 있는데, 좁은 의존성은 하나의 입력 파티션을 연산하여 하나의 결과 파티션을 내놓는 filter, contains 등을 의미하고, 넓은 의존성은 여러 개의 파티션으로부터 데이터를 읽어 합치고 디스크에 쓰는 등의 일을 하는 groupBy, orderBy 등의 연산을 의미한다.