본문 바로가기

파이썬/Pandas (데이터 가공 라이브러리)

Pandas를 활용한 parquet → csv로 변환하기

# Pandas를 활용하여 parquet 형식의 파일을 csv로 변환하기

parquet 파일은 AWS Athena에서 사용하는 포맷 형식이다.

AWS의 CUR 레포트나 AWS Glue 서비스를 활용할때 Athena를 사용하는데, 파일 포맷이 parquet이기 때문에

로컬에서 dbeaver등의 툴을 사용하여 테스트 할때 제약사항이 많다.

그래서 pandas를 활용하여 parquet 파일 포맷을 csv 형태로 변환하는 간단한 코드를 짜보자.

코드는 매우 간단하다.

- 파이썬 코드

import pandas as pd
df = pd.read_parquet('test_file.parquet')
df.to_csv('test_file.csv')