QuickSight에서는 Pqrquet 형식의 데이터 업로드

# QuickSight 에서 Parquet 형식의 데이터를 json 형식의 manifest 파일로 작성하여 업로드를 해보자.

- 아래와 같이 json 형식의 포멧으로 작성을 하였으나, QuickSight에서는 로드가 실패했다.

{
    "fileLocations": [
        {
            "URIPrefixes": [
                "https://data_bucket.s3-ap-northeast-2.amazonaws.com",
                "s3://apache-logs/parquet/"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "Parquet"
}

원인을 찾아보니 스택 오버플로우에서 아래와 같은 답글이 있었다.

AWS S3 does not support parquet format in the manifest file, but you can use Athena as Dataset to support parquet format.
Importing File Data You can use files in Amazon S3 or on your local (on-premises) network as data sources. QuickSight supports files in the following formats:

CSV and TSV – Comma-delimited and tab-delimited text files

ELF and CLF – Extended and common log format files

JSON – Flat or semistructured data files

XLSX – Microsoft Excel files

QuickSight supports UTF-8 file encoding, but not UTF-8 (with BOM).

- 결론은 Parquet 형식의 데이터를 QuickSight에서 사용하기 위해서는 AWS Athena 에서 논리적 메타 테이블을 만들고 그 데이터를 QuickSight에서 로드하여 시각화 하여야 한다...