728x90

Databricks 2

2. Azure Databricks - 카탈로그(Catalog)

이전 시간에는 클러스터를 만드는 방법에 대해 실습했다. 이번에 공부해볼 메뉴는 "카탈로그"이다. 카탈로그(Catalog) 란? 공식문서를 찾아보니 Unity 카탈로그라고 칭하는 것 같다. 너무 길어 카탈로그라고 하겠다. 카탈로그는 Azure Databricks 작업영역에서 중앙 집중식 액세스 제어, 감사, 계보 및 데이터 검색 기능을 제공한다. 쉽게 말하자면 여러 작업영역을 하나의 카탈로그로 제어한다고 생각하면 될 것 같다. * 주요기능모든 작업영역의 데이터 액세스 정책 관리 가능보안 모델(ANSI SQL) 기반으로, 관리자는 카탈로그, 스키마(DB) 등을 기존 Data lake에서 권한 부여 가능데이터에 엑세스하는 사용자 로그 기록데이터 자산에 태그 지정 및 문서화 가능, 검색 인터페이스 제공데이터 엑..

1. Azure Databricks 컴퓨팅 - Cluster 만들기

Databricks가 무엇인지에 대한 설명은 여러 곳에서 찾을 수 있기 때문에 생략합니다. 해당 포스팅은 직접 실습을 하며 궁금한 점을 정리하는 목적으로 작성했습니다. [1] 작업환경 Databricks Workspace는 Azure 내 리소스에서 지원되는 Azure Databricks Service 를 사용했습니다. 해당 화면은 Databricks Workspace 초기화면입니다. 실습을 시작하기에 앞서 왼편에 많은 기능들이 수록되어 있는 것을 볼 수 있습니다. 이 중 제가 주로 실습해볼 기능은 다음과 같습니다.카탈로그컴퓨팅SQL 편집기SQL Warehouse데이터 수 [2] 기능설명컴퓨팅컴퓨팅 메뉴는 '클러스터'를 생성하는 공간입니다. 그렇다면 '클러스터'는 무엇일까요?※클러스터 : 여러 대의 가상 ..

728x90