⭐ AWS/AWS QuickSight (5) 썸네일형 리스트형 AWS QuickSight # AWS 퀵사이트에서 오류 - 오류 내용 [Simba][AthenaJDBC](100071) An error has been thrown from the AWS Athena client. Permission denied on S3 path:[S3경로] - 해당 오류가 발생하면 퀵사이트에서 S3에 대한 접근 권한을 설정 해주어야 한다. - 설정 방법 : QuickSight 관리 → 보안 및 권한 → AWS 서비스에 대한 QuickSight 액세스에서 Manage를 클릭하여 S3버킷에 대한 접근 권한을 설정해주어야 한다. - 데이터 세트 편집 옵션을 클릭하면 현재 데이터 세트를 자동으로 새로고침을 한다. 그 후 우측 상단에 게시 및 시각화를 통해 데이터 세트의 최종정보를 가져올 수 있다. - 위에 설정을 마.. QuickSight에서는 Pqrquet 형식의 데이터 업로드 # QuickSight 에서 Parquet 형식의 데이터를 json 형식의 manifest 파일로 작성하여 업로드를 해보자. - 아래와 같이 json 형식의 포멧으로 작성을 하였으나, QuickSight에서는 로드가 실패했다. { "fileLocations": [ { "URIPrefixes": [ "https://data_bucket.s3-ap-northeast-2.amazonaws.com", "s3://apache-logs/parquet/" ] } ], "globalUploadSettings": { "format": "Parquet" } 원인을 찾아보니 스택 오버플로우에서 아래와 같은 답글이 있었다. AWS S3 does not support parquet format in the manifest fi.. AWS QuickSight 데이터 새로고침 # 아파치 로그 데이터를 실시간으로 받아 AWS QuickSight에 표시하는 작업을 수행 # AWS S3에 새로운 데이터가 JSON 형태로 쌓이고, 쌓인 데이터를 AWS Glue에서 전처리 후 전치리된 데이터를 AWS QuickSight에서 읽어서 화면에 표시 한다. - 주요 작업 1. AWS QuickSight의 새로고침 - 데이터 세트로 이동한다. - 데이터 세트 이름을 클릭한 후 세부 창에서 새로 고침 예약을 클릭하여 QuickSight의 새로고침 예약을 설정한다. 2. 새로 고침 예약에서 아래처럼 일정을 등록해주면 된다. - 반복 일정 주기 : 매시간, 매일, 매주, 매월 이 존재한다. - 더 세분화 하여 데이터를 새로고침 하기를 원한다면 람다 함수 및 이벤트 트리거를 추가로 구현을 해야 가능할.. AWS QuickSight와 연결 가능한 서비스 # AWS QuickSight와 연결하여 데이터를 바로 시각화 가능한 서비스 목록 (추후 신규 서비스 생성으로 인해 변경 가능) # DB 저장소와 직접 연결하여 데이터 시각화 가능 Manifest file을 이용하여 S3에서 데이터 세트 가져오는 방법 # Manifest 파일을 이용하여 S3에 저장되어 있는 데이터를 불러와 AWS QuickSight에서 시각화 하는 방법에 대해서 알아보자. https://docs.aws.amazon.com/quicksight/latest/user/supported-manifest-file-format.html Supported formats for Amazon S3 manifest files - Amazon QuickSight For log (.clf) and extended log (.elf) files, only the format field in this section is applicable, so you can skip the other fields. If you choose to include them, t.. 이전 1 다음
