-
[Spark] Pyspark 데이터프레임 Shape(column) & Size(row) 구하기DataProcessing/Spark 2021. 3. 3. 22:57728x90
Spark dataframe row count
dataframe.count()
dataframe column(Shape)과 row(Size)개수 count
print((dataframe.count(), len(dataframe.columns))) # row, column print
- 이상 오늘의 삽질일기 끝!
여기저기 삽질도 해보고
날려도 먹으면서
배우는 게
결국 남는거다
- Z.Sabziller
'DataProcessing > Spark' 카테고리의 다른 글
[Spark] Pyspark 데이터프레임을 JSON 딕셔너리로 변환하기 (0) 2021.03.01 [Spark Streaming] PySpark 데이터프레임 모든 컬럼 json으로 변환 & 데이터프레임 딕셔너리 내부 value값 dict 변환 (2) 2021.02.25 [Spark Streaming] spark-streaming-kafka 실행 오류 해결 (feat. 파일 경로 옮기기) (0) 2021.02.24 [Spark Streaming] Kafka-Spark Streaming-Cassandra 연동 (feat.pyspark) (0) 2021.02.23 [Spark Streaming] Kafka TransformedDStream 변환하기 (0) 2021.02.19