2. Azure Databricks - 카탈로그(Catalog)

 이전 시간에는 클러스터를 만드는 방법에 대해 실습했다. 이번에 공부해볼 메뉴는 "카탈로그"이다.

 

카탈로그(Catalog) 란?

 공식문서를 찾아보니 Unity 카탈로그라고 칭하는 것 같다. 너무 길어 카탈로그라고 하겠다. 카탈로그는 Azure Databricks 작업영역에서 중앙 집중식 액세스 제어, 감사, 계보 및 데이터 검색 기능을 제공한다. 쉽게 말하자면 여러 작업영역을 하나의 카탈로그로 제어한다고 생각하면 될 것 같다.

 

* 주요기능

• 모든 작업영역의 데이터 액세스 정책 관리 가능
• 보안 모델(ANSI SQL) 기반으로, 관리자는 카탈로그, 스키마(DB) 등을 기존 Data lake에서 권한 부여 가능
• 데이터에 엑세스하는 사용자 로그 기록
• 데이터 자산에 태그 지정 및 문서화 가능, 검색 인터페이스 제공
• 데이터 엑세스 및 쿼리 가능

 

 카탈로그가 무엇인지 공부하려면 메타스토어(Metastore)에 대해서도 알아보아야 합니다. 메타스토어는 Unity 카탈로그의 최상위 컨테이너이자 테이블의 메타데이터를 저장하는 곳입니다. 작업영역에서 Unity 카탈로그를 사용하려면 Unity 카탈로그 메타스토어가 연결되어 있어야 합니다. 메타스토어는 작업영역의 각 지역(region)별 당 하나의 메타스토어가 필요합니다.

 

권한 설정

메타스토어 권한 설정 항목

 

카탈로그에서 설정하는 권한 설정은 종류별로 다릅니다. 메타스토어, 스키마, 테이블별로 권한 설정 항목은 다음과 같습니다.

 

Metastore	Schema	Table
ALL	ALL	ALL
SELECT	SELECT	SELECT
MODIFY	MODIFY	MODIFY
READ_METADATA	READ_METADATA	READ_METADATA
USAGE	USAGE
CREATE	CREATE
CREATE_NAMED_FUNCTION	CREATE_NAMED_FUNCTION
MODIFY_CLASSPATH

 

 

테이블 정보

 

[개요]

테이블에 대한 기본 정보가 제공됩니다.

 

[샘플 데이터]

데이터 미리보기가 제공됩니다. (표 형태로 뿌려짐)

필터를 활성화하여 필터링이 가능하며, 검색 창 활성화하여 데이터 검색이 가능합니다.

 

[세부정보]

테이블이 만들어진 날짜 및 시간, 저장된 위치 등이 제공됩니다.

 

[이력]

해당 테이블에 접근한 사용자 ID 및 계정, 작업내용, 일시가 조회됩니다.

 

해당 실습은 SQL Warehouse 실행 후 csv test data 파일 업로드하여 진행하였습니다.