[러닝 스파크] 데이터프레임 읽고 내보내기

구조화된 외부 데이터 소스에서 데이터를 읽어 Spark 데이터프레임으로 로드하고,

특정 포맷으로 데이터프레임의 데이터를 써서 내보내기 위해

DataFrameReader와 DataFrameWriter 인터페이스를 사용할 수 있다.

pyspark.sql.DataFrameReader — PySpark 3.5.0 documentation

pyspark.sql.DataFrameWriter — PySpark 3.5.0 documentation

 

지원되는 파일 포맷은 csv, json, orc, parquet 등이다.

 

다음은 csv 파일을 읽고 쓰는 예시이다.

 

df = spark.read.csv("data.csv", header=True, schema=schema)
df.write.format("csv").save("data_copy.csv")