S3/Athena DB명 하이픈 포함 시 이스케이프 문자 처리

 

EMR에서 데이터 전처리 후 S3에 테이블로 저장 시 DB명에 하이픈(-) 문자가 포함되어 있는 경우,

그냥 처리하면 에러가 발생한다.

 

예시)

dataframe.write.format("parquet").option("path", "s3://folder/").saveAsTable("db-name.table_name")

 

이때 db명이 test-db 라고 한다면, 이스케이프 문자 처리를 해주어야 하는데 db명을 백틱(‘)으로 감싸주면 된다.

=> `test-db`

 

dataframe.write.format("parquet").option("path", "s3://folder/").saveAsTable("`db-name`.table_name")

 

이렇게하면 정상적으로 저장이 되는 것을 확인 할 수 있다 😃

 

 

 

- 이상 오늘의 삽질일기 끝!

 

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller