IBOK

spark의 데이터프레임 연산들을 이용해 데이터 전처리, 변환, 통계 등 다양한 일을 수행할 수 있다. 다음은 몇가지 연산들과 활용 예시이다. 프로젝션과 필터 df = df.select(df.colA, df.colB) # 프로젝션 (colA와 colB만 선택) df = df.where(df.colB 10000")) # colA의 값이 10000이상이면 True를 갖는 column largeA를 추가 df = df.drop("colA") # colA 삭제 참고) alias와..

구조화된 외부 데이터 소스에서 데이터를 읽어 Spark 데이터프레임으로 로드하고, 특정 포맷으로 데이터프레임의 데이터를 써서 내보내기 위해 DataFrameReader와 DataFrameWriter 인터페이스를 사용할 수 있다. pyspark.sql.DataFrameReader — PySpark 3.5.0 documentation Interface used to load a DataFrame from external storage systems (e.g. file systems, key-value stores, etc). Use SparkSession.read to access this. Changed in version 3.4.0: Supports Spark Connect. spark.apache.or..

컬럼 Column 스파크 데이터프레임에서는 Column의 이름을 이용해 다양한 연산을 수행할 수 있다. pyspark.sql.Column — PySpark 3.5.0 documentation A column in a DataFrame. Changed in version 3.4.0: Supports Spark Connect. Select a column out of a DataFrame >>> df.name Column >>> df[“name”] Column spark.apache.org Pyspark에서 column에 접근하는 방식은 여러 가지가 있는데, 하나는 col("columnName") 함수를 사용하는 것,다른 하나는 df.columnName을 사용하는 것이다. 다음은 Column을 이용한 연산의..

스파크 데이터프레임은 판다스 데이터프레임에 영향을 받아 만들어져 이름 있는 칼럼과 스키마를 가진 분산 인메모리 테이블처럼 동작한다. 스키마 Schema 스키마는 데이터프레임의 칼럼 이름과 데이터 타입을 정의한 것이다. 스키마는 데이터를 읽어들일 때 자동으로 정의되게 할 수도 있지만, 미리 스키마를 정의하면 다음과 같은 장점이 있다. 💡 스파크가 데이터 타입을 추측해야 하는 책임을 덜어 줌으로써, 스키마 확정을 위한 별도의 잡을 만드는 것을 방지한다. 💡 데이터가 스키마와 맞지 않는 경우 조기에 문제를 발견할 수 있다. 스키마를 정의하는 방법은 두가지가 있다. 첫 번째는 pyspark.sql.types에서 데이터 타입을 불러와 프로그래밍 스타일로 정의하는 것이다. 다음과 같이 각 필드의 이름과 Type을 ..

스파크 연산의 종류 스파크 연산은 트랜스포메이션과 액션 두가지 종류로 구분된다. 트랜스포메이션은 원본 데이터를 수정하지 않고 하나의 스파크 데이터프레임을 새로운 데이터프레임으로 변형하는 것이고, 액션은 연산 결과를 내놓아야 할 때 사용된다. 각 연산의 예시는 다음과 같다. 연산 종류 예시 트랜스포메이션 orderBy, groupBy, filter, select, join 액션 show, take, count, collect, save 연산의 실행 모든 트랜스포메이션 연산은 즉시 실행되지 않고 리니지 형태로 기록된다. 액션 연산이 실행될 때 그동안 기록된 트랜스포메이션 연산들이 발동된다. 이를 통해 보다 효율적인 실행과 최적화가 가능하다. 좁은 의존성과 넓은 의존성 트랜스포메이션은 좁은 의존성과 넓은 의존..