복사본이 늘어나는 이유
데이터 팀의 일 중 상당 부분은 데이터를 옮기는 일입니다. 운영 DB에서 레이크로, 레이크에서 웨어하우스로, 웨어하우스에서 다시 다른 팀의 시스템으로.
옮길 때마다 복사본이 생깁니다. 복사본마다 권한 설정이 따로 놀고, 동기화가 어긋나고, 어느 것이 최신인지 헷갈립니다.
스노우플레이크 제품 총괄 Christian Kleinerman의 말이 이 문제를 그대로 짚습니다. 대부분의 조직은 여전히 데이터를 쓰기 위해 옮기고 복제한다는 것입니다.
약속: 하나의 살아 있는 사본
보도자료의 핵심 문장은 이것입니다. 기업이 데이터가 어디에 있든 하나의 살아 있는, 통제되는 사본 위에서 일할 수 있게 하겠다는 약속입니다.
그 바탕은 Apache Iceberg와 Apache Polaris입니다. 통제 계층인 Horizon Catalog는 Polaris 위에서 동작합니다. Iceberg는 여러 엔진이 같은 테이블을 읽고 쓸 수 있게 하는 개방형 테이블 형식이고, Polaris는 그 테이블들의 카탈로그입니다.
상태별로 나눠 보기
보도자료에는 기능마다 상태가 붙어 있습니다. 정식과 프리뷰를 나눠 읽는 게 중요합니다.
정식 출시
- Apache Iceberg v3 지원
- Iceberg 테이블용 Snowflake Storage
- 외부 엔진에서 Snowflake 관리 Iceberg 테이블로 양방향 읽기·쓰기
- 데이터 보호 정책(열 마스킹, 행 접근)
- 민감 데이터 분류, 데이터 품질 통제
- SAP 연동과 SAP용 스킬
비공개 프리뷰
- 외부 엔진 접근 관리(범용 접근 통제)
- Iceberg REST Scan Plan API
- 외부 관리 Iceberg 테이블 관측
- Workday 연동
Salesforce 연동은 "곧 정식 출시"였습니다.
가장 중요한 것은 아직 프리뷰다
목록을 보면 눈에 걸리는 점이 있습니다. 데이터 보호 정책은 정식입니다. 그런데 그 정책을 외부 엔진에서도 지키게 하는 REST Scan Plan API는 비공개 프리뷰입니다.
이 차이가 큽니다. 마스킹 정책을 스노우플레이크에 걸어 두었는데 Spark가 같은 Iceberg 파일을 직접 읽으면, 마스킹이 적용되지 않을 수 있습니다. 하나의 사본 위에서 일하려면 어떤 엔진으로 읽든 같은 권한이 적용돼야 합니다.
Scan Plan API는 엔진이 테이블을 읽기 전에 카탈로그에 "어떤 파일을 어떻게 읽을지" 계획을 받아 가는 방식으로 이해됩니다. 카탈로그가 그 계획에 권한을 반영할 수 있게 되는 거죠. 이게 정식이 되기 전까지는 외부 엔진에 민감 데이터를 열 때 조심해야 합니다.
다른 카탈로그와 함께 쓰기
Catalog Linked Databases는 외부 Iceberg 테이블을 스노우플레이크에서 찾고 쓸 수 있게 합니다. 보도자료는 상태를 따로 적지 않았습니다.
Horizon Catalog를 여러 카탈로그가 섞인 환경의 범용 카탈로그로 내세운 점도 눈에 띕니다. 회사마다 AWS Glue, Unity Catalog, Polaris가 섞여 있는 현실을 인정하고, 그 위에서 통제를 맡겠다는 전략입니다.
실제 사례
Affirm이 사례로 나왔습니다. 수천 개의 테이블과 핵심 금융 워크로드를 Polaris로 옮겼다고 합니다. Affirm의 엔지니어링 부사장은 스노우플레이크가 "대규모에서도 중단 없는 정확성"을 함께 만들었다고 말했습니다. 금융 데이터에서 중단 없이 옮겼다면 쉽지 않은 작업입니다.
그 밖에 Indeed, NTT DOCOMO, Samsung Ads가 고객으로 인용됐고, AVEVA와 IBM이 새 파트너로 발표됐습니다.
정리하며
이번 발표는 스노우플레이크가 "데이터를 우리에게 가져오라"에서 "데이터가 어디 있든 우리가 통제하겠다"로 입장을 바꿨다는 걸 보여 줍니다. 구글의 Cross-cloud Lakehouse, 데이터브릭스의 Unity Catalog도 같은 자리를 노립니다.
Iceberg를 도입하려는 팀이라면 질문 하나를 기준으로 삼으면 좋겠습니다. 우리가 쓰는 모든 엔진에서 같은 권한이 적용되는가. 이 질문에 "예"라고 답할 수 있을 때 하나의 사본이 실제로 가능해집니다.
함께 읽을 개념 정리
- Apache Iceberg를 한 장으로: 여러 엔진이 같은 테이블을 읽고 쓰는 원리
