[러닝 스파크] 데이터프레임 연산과 전처리

spark의 데이터프레임 연산들을 이용해 데이터 전처리, 변환, 통계 등 다양한 일을 수행할 수 있다.

다음은 몇가지 연산들과 활용 예시이다.

 

프로젝션과 필터

df = df.select(df.colA, df.colB) # 프로젝션 (colA와 colB만 선택)
df = df.where(df.colB < 5)) # 필터

 

 

Column 이름 변경 및 추가, 삭제

df = df.withColumnRenamed("colA", "colB") # column 이름 변경

df = df.withColumn("largeA", expr("colA > 10000")) # colA의 값이 10000이상이면 True를 갖는 column largeA를 추가

df = df.drop("colA") # colA 삭제

 

참고) alias와 withColumnRenamed의 차이 -

• alias: 쿼리 내에서 임시적으로 컬럼에 별칭 부여
• withColumnRenamed: 데이터프레임의 컬럼 이름을 영구적으로 변경

 

 

집계

# Null이 아닌 colA 값들의 가짓수
df = (df
    .where(df.colA.isNotNull())
    .agg(countDistinct(df.colA).alias("DistinctColANum"))

# Null이 아닌 colA 값들의 종류
df = (df
    .where(df.colA.isNotNull())
    .distinct())
    
# colA의 각 값의 갯수를 새로 내림차순으로 정렬
df = (df
    .groupBy("colA")
    .count()
    .orderBy("count", ascending=False))
    
# colA의 통계값 계산
import pyspark.sql.functions as F

df = df.select(F.sum("colA"), F.avg("colA"), F.min("colA"), F.max("colA"))