Zanzibar는 zookie로 new enemy 문제를 막으며, zookie가 작동하는 것은 Spanner가 모든 쓰기에 인과성을 준수하는 타임스탬프를 주기 때문이다. 일관성, 스냅샷, zookie는 TrueTime과 커밋 대기가 그 타임스탬프를 만드는 방식을 포함하여 둘 다 설명한다. Google 밖에서 TrueTime 위에서 동작하는 곳은 거의 없다. 이 페이지는 zookie 프로토콜이 데이터베이스에 실제로 요구하는 것이 무엇인지, 그리고 다른 데이터베이스 위에 만들어진 제품들이 그것을 어떻게 얻는지, 또는 그것 없이 어떻게 지내는지 묻는다.
zookie가 데이터 저장소에 요구하는 것
zookie 프로토콜은 §2.2가 저장 계층에 요구하는 두 가지 속성, “external consistency and snapshot reads with bounded staleness”(외부 일관성과 오래된 정도가 제한된 스냅샷 읽기)에 기반한다.
- 커밋 순서가 인과성을 따른다. 쓰기
x가 쓰기y보다 먼저 일어났다면(예를 들어 Anne이x가 성공한 것을 보고 나서y를 했다면)T_x < T_y다. 논문의 표현으로 인과적으로 관련된 두 갱신x ≺ y는 “will be assigned timestamps that reflect the causal order:T_x < T_y”(인과적 순서를 반영하는 타임스탬프T_x < T_y가 할당된다)(§2.2), 그리고 zookie 프로토콜은 “ensures that all prior ACL writes have lower timestamps”(이전의 모든 ACL 쓰기가 더 낮은 타임스탬프를 갖도록 보장한다). - 주어진 지점 이후의 스냅샷 읽기.
T에서의 읽기는 “observes all updates with timestamps ≤ T”(타임스탬프가 ≤ T인 모든 갱신을 관측하며)(§2.2), 검사는 “is always evaluated at a consistent snapshot no earlier than the given zookie”(항상 주어진 zookie보다 이르지 않은 일관된 스냅샷에서 평가된다)(§2.4.4).
이 목록의 어디에도 벽시계 시간이라는 의미의 “타임스탬프”는 나오지 않는다. zookie 안의 값은 두 속성이 성립하기만 하면 이력 속의 어떤 위치든 될 수 있다. 논문이 zookie를 불투명하게 만든 이유가 이것이다. “to discourage our clients from choosing arbitrary timestamps and to allow future extensions”(클라이언트가 임의의 타임스탬프를 선택하지 않도록 유도하고 향후 확장을 허용하기 위해)(§2.4).
두 속성은 어떻게 결합하여, 폴더 A에서 제거된 Chen이 readme를 보지 못하게 막는가?
속성 ①은 데이터베이스가 서로 관련되어 있다고 볼 수 없을지도 모르는 쓰기에 관한 것이라는 점에 주목하라. §2.2는 “updates on different ACLs or objects and those coordinated via channels invisible to Zanzibar”(서로 다른 ACL이나 객체에 대한 갱신, 그리고 Zanzibar가 볼 수 없는 채널을 통해 조율된 갱신)에 대해서도 순서를 요구한다. 논문의 예 A에서 두 쓰기를 잇는 것은 Alice가 Charlie에게 부탁하는 것으로, 어떤 시스템 밖의 일이다. 그래도 데이터베이스는 두 커밋의 순서를 올바르게 정해야 한다.
순서를 얻는 세 가지 방법
Spanner는 오차 한계가 알려진 동기화된 시계로 속성 ①을 얻으며, 그 대가로 쓰기마다 불확실성만큼 기다린다(Spanner, OSDI ’12. 일관성 페이지에 그려져 있다). 다른 데이터베이스들은 다른 방식으로 그것을, 또는 그 대부분을 얻는다. 각각에서 순서는 어디에서 오는가?
단일 주 서버 데이터베이스는 서버 하나가 모든 커밋을 순서대로 보므로 속성 ①을 공짜로 얻는다는 점에 주목하라. 그 대신 포기하는 것은 논문의 전 세계 복제다. CockroachDB는 전 세계로 복제하지만 속성 ①을 부분적으로만 제공한다. 다음 절은 그 틈에 관한 것이다.
CockroachDB: 키가 겹쳐야 한다는 규칙
CockroachDB에는 TrueTime이 없다. 노드들은 느슨하게 동기화된 시계를 유지하며, 클러스터에는 최대 시계 오차 --max-offset이 있고 기본값은 500ms다. “If observed clock offsets exceed this limit, servers will crash to minimize the likelihood of reading inconsistent data”(관측된 시계 오차가 이 한도를 넘으면 서버는 일관되지 않은 데이터를 읽을 가능성을 최소화하기 위해 중단된다)(cockroach start). Cockroach Labs가 직접 Spanner와 비교한 글은 “CockroachDB only goes as far as to claim serializability”(CockroachDB는 직렬화 가능성까지만 주장한다)라고 하며, 허용하는 이상 현상을 “causal reverse”(인과 역전)라고 부른다. 인과적으로 관련된 트랜잭션이 잘못된 순서의 타임스탬프로 커밋될 수 있다는 것이다(Living without atomic clocks, 2022-01-27).
AuthZed는 2021년에 CockroachDB 위의 SpiceDB에서 new enemy 문제를 재현했다(The One Crucial Difference Between Spanner and CockroachDB, 2021-10-14). 그 글이 요약한 틈은 이렇다. “Cockroach does not provide external consistency for transactions involving non-overlapping keys.”(Cockroach는 겹치지 않는 키를 포함하는 트랜잭션에 대해 외부 일관성을 제공하지 않는다.) 그 시험은 쓰기 두 번과 검사 한 번을 “in sequence (not parallel)”(병렬이 아니라 순차적으로) 실행했다. excluded 튜플을 쓰고, direct 튜플을 쓰고, 두 번째 쓰기의 리비전에서 allowed = direct - excluded를 검사하면 “the check in 3 will succeed”(3의 검사가 성공한다).
한 노드의 시계가 앞서 가면, 예제로는 어떻게 보이는가?
오른쪽 프레임의 “같은 키 K” 화살표에 주목하라. 어느 시계도 나아지지 않았다. 바뀐 것은 두 트랜잭션이 이제 충돌한다는 것이며, CockroachDB는 충돌하는 트랜잭션의 순서를 올바르게 정한다. 두 프레임의 타임스탬프는 설명을 위한 것이다. 오차는 500ms 기본값 안에 충분히 들어가므로 어떤 서버도 중단되지 않는다.
AuthZed는 공유 읽기만으로는 부족하다는 것을 알아냈다. “we needed both transactions to write to the same key”(두 트랜잭션이 모두 같은 키에 쓰게 해야 했다). 그래서 SpiceDB의 CockroachDB 드라이버는 쓰기에 겹침 키를 추가하며, 그 전략은 --datastore-tx-overlap-strategy로 고른다(datastores).
| 전략 | SpiceDB 문서 |
|---|---|
static(기본값) |
“All writes overlap to guarantee safety at the cost of write throughput”(쓰기 처리량을 희생하여 안전을 보장하도록 모든 쓰기가 겹친다) |
prefix |
“Only writes that contain objects with same prefix overlap”(같은 접두사를 가진 객체를 포함하는 쓰기만 겹친다) |
request |
“Only writes with the same io.spicedb.requestoverlapkey header overlap”(같은 io.spicedb.requestoverlapkey 헤더를 가진 쓰기만 겹친다) |
insecure |
“No writes overlap, providing the best write throughput, but possibly leaving you vulnerable to the New Enemy Problem”(어떤 쓰기도 겹치지 않아 쓰기 처리량은 가장 좋지만, New Enemy 문제에 취약해질 수 있다) |
AuthZed의 표현으로 그 비용은 이렇다. “This does add a small amount of latency to the write path, but it leaves the read paths performant.”(이는 쓰기 경로에 약간의 지연 시간을 더하지만, 읽기 경로의 성능은 그대로 둔다.) static에서는 모든 쓰기가 한 행을 두고 경합하며, 이것이 논문이 대신 커밋 대기로 치른 대가다.
데이터 저장소 문서는 읽기 쪽의 CockroachDB 주의 사항을 하나 더 덧붙인다. SpiceDB는 cluster_logical_timestamp()로 리비전을 고르는데, 이는 “which can differ across nodes by up to the cluster’s”(노드마다 클러스터의) 최대 오차까지 다를 수 있으며, “A read may not see a recently committed write if the reading node’s timestamp is behind the writing node’s.”(읽는 노드의 타임스탬프가 쓰는 노드보다 뒤처지면 읽기가 최근에 커밋된 쓰기를 보지 못할 수 있다.) 그 결과 “fully_consistent does not guarantee read-after-write consistency on CockroachDB.”(CockroachDB에서 fully_consistent는 쓰기 후 읽기 일관성을 보장하지 않는다.) 쓰기에서 받은 ZedToken은 쓰기 자신의 리비전을 지정하므로 이를 피한다(datastores).
PostgreSQL과 MySQL: 주 서버 하나가 정한다
단일 주 서버 데이터베이스는 이미 모든 커밋을 순서대로 보므로, 속성 ①에 시계가 필요 없다. 남은 문제는 속성 ②다. 뒤처진 복제본으로 갈 수 있는 읽기다.
SpiceDB의 PostgreSQL 드라이버는 순서를 정하는 데 시간을 전혀 쓰지 않는다. 리비전은 pg_current_xact_id()와 pg_current_snapshot()에서 얻은 트랜잭션 ID와 스냅샷이다. 드라이버의 주석은 “timestamps cannot be used for ordering transactions in PG”(PG에서는 트랜잭션의 순서를 정하는 데 타임스탬프를 쓸 수 없다)라고 하며, 두 스냅샷이 “mutually uncomparable”(서로 비교할 수 없을) 수 있다고 한다(postgres/revisions.go, v1.57.1). x가 커밋된 뒤에 얻은 스냅샷은 x를 커밋된 것으로 나열하며, 이는 속성 ①을 PostgreSQL 자신의 용어로 말한 것이다. MySQL 드라이버는 id가 AUTO_INCREMENT인 트랜잭션 테이블에 행을 쓰고 그 ID를 리비전으로 쓴다(migrations, revisions.go). 다른 쓰기가 커밋된 뒤에 시작하는 쓰기는 나중에 행을 삽입하므로 더 큰 ID를 받는다. 이 추론은 이 페이지의 것이며 SpiceDB 문서에 적혀 있지 않다.
읽기 복제본은 지연을 다시 들여온다. 복제본이 뒤처져 있을 때 SpiceDB는 검사를 어떻게 적어도 토큰만큼 최신으로 유지하는가?
문서는 바로 이것을 기술한다. 복제 지연은 “would be problematic to SpiceDB’s ability to solve the new enemy problem”(new enemy 문제를 해결하는 SpiceDB의 능력에 문제가 될 것)이므로, SpiceDB는 “if the revision has been replicated into the target replica. If missing, it will fall back to the primary.”(리비전이 대상 복제본에 복제되었는지 확인한다. 없으면 주 서버로 대체한다.) MySQL에서 이는 “requires two roundtrips instead of one”(왕복 한 번 대신 두 번이 필요하며), 문서는 MySQL 복제본 앞에 로드 밸런서를 두지 말라고 경고한다. “because SpiceDB will not be able to maintain consistency guarantees”(SpiceDB가 일관성 보장을 유지할 수 없게 되기 때문)다(datastores).
PostgreSQL 위에서 동작하는 Permify도 Snap Token을 같은 방식으로 만든다. 토큰은 PostgreSQL XID8과 스냅샷 문자열을 담는다(snapshot/token.go, v1.7.6). 문서는 토큰을 “a token that consists of an encoded timestamp”(인코딩된 타임스탬프로 이루어진 토큰)로만 설명한다(snap tokens).
논문 없이 쓰는 Spanner
SpiceDB는 TrueTime을 가진 Cloud Spanner 위에서도 동작한다. 거기서 드라이버는 “assumes the database is linearizable and skips the transaction overlap strategy”(데이터베이스가 선형화 가능하다고 가정하고 트랜잭션 겹침 전략을 건너뛰며)(datastores), SELECT CURRENT_TIMESTAMP()로 리비전을 읽는다(spanner/revisions.go). 이것이 논문에 가장 가까운 구성이다.
토큰이 전혀 없을 때
OpenFGA에는 zookie가 없다. 문서는 논문에 “has a feature called Zookies”(Zookies라는 기능이 있으며), OpenFGA는 “is considering a similar feature in future releases”(향후 릴리스에서 비슷한 기능을 검토하고 있다)라고 말한다(consistency). 대신 쿼리는 MINIMIZE_LATENCY(기본값)나 HIGHER_CONSISTENCY를 고르며, 후자는 “will skip the cache and query the database directly”(캐시를 건너뛰고 데이터베이스에 직접 쿼리한다). 보조 데이터 저장소(datastore.secondaryUri, “for postgres only”, PostgreSQL 전용, configuration)를 설정한 PostgreSQL에서는 HIGHER_CONSISTENCY가 주 서버도 선택한다. 코드 주석은 “If we are using higher consistency, we need to use the write database”(더 높은 일관성을 쓰는 경우 쓰기 데이터베이스를 써야 한다)라고 되어 있다(postgres.go, v1.22.1).
이것이 주는 것은 “적어도 내 쓰기만큼 최신”이 아니라 “주 서버만큼 최신”이다. 그 차이는 비용에서 중요하다. zookie가 있으면 대부분의 검사는 캐시나 복제본을 쓰고 최근의 것만 주 서버로 가지만, HIGHER_CONSISTENCY는 그런 쿼리를 모두 주 서버로 보낸다. OpenFGA 페이지가 캐시의 경우를 그림으로 보여 준다. 문서는 리소스의 마지막 수정 시각을 캐시 TTL과 비교하여 요청마다 모드를 고를 것을 제안하는데, 이는 애플리케이션이 zookie 정보의 일부를 직접 보관하게 만든다.
다른 제품들:
- Ory Keto의 Check API에는
snaptoken과latest필드가 있으며, 각각 “This field is not implemented yet and has no effect”(이 필드는 아직 구현되지 않았으며 효과가 없다)로 표시되어 있다(check_service.proto). - Warrant는
Warrant-Token헤더를 읽으며 값latest에만 반응한다. 이 값은 읽기를 주 서버로 보낸다. 다른 값은 무시되며, 오픈 소스 서버는 토큰을 반환하지 않는다(wookie.go, Warrant). - Topaz는 토큰을 문서화하지 않는다. 비교 페이지를 보라.
Tom MacWright의 논문 독서 노트는 같은 관찰을 바깥에서 한다. OpenFGA에는 zookie 같은 것이 없으며, “neither does Ory Keto”(Ory Keto에도 없다)(Reading Zanzibar, 2025-05-02).
토큰이 없으면 논문의 보장이 필요한 애플리케이션에는 두 가지 선택지가 있다. 항상 최신인 저장소(주 서버 하나, 캐시 없음)에서 읽거나, 제거된 사용자가 여전히 허용될 수 있는 구간을 받아들이는 것이다.
제품별 메커니즘
| 제품과 데이터 저장소 | 순서가 오는 곳 | 토큰 | 토큰 이후의 읽기 |
|---|---|---|---|
| 논문 (Spanner) | TrueTime + 커밋 대기 | zookie | 어떤 복제본이든. 필요하면 기다린다(§3.2.5) |
| Spanner 위의 SpiceDB | TrueTime. 겹침 전략은 건너뜀 | ZedToken | Spanner 스냅샷 읽기 |
| CockroachDB 위의 SpiceDB | HLC 타임스탬프. 쓰기에 겹침 키(기본값 static) |
ZedToken | AS OF SYSTEM TIME. fully_consistent는 다른 노드의 쓰기를 놓칠 수 있다 |
| PostgreSQL 위의 SpiceDB | 주 서버의 트랜잭션 ID와 스냅샷 | ZedToken | 복제본에 리비전이 있으면 복제본, 아니면 주 서버 |
| MySQL 위의 SpiceDB | AUTO_INCREMENT 트랜잭션 ID |
ZedToken | 복제본에 리비전이 있으면 복제본, 아니면 주 서버(왕복 두 번) |
| PostgreSQL 위의 Permify | 주 서버의 XID8과 스냅샷 |
Snap Token | 토큰의 스냅샷 |
| OpenFGA | 노출되지 않음 | 없음 | HIGHER_CONSISTENCY: 캐시를 건너뛰고 주 서버 사용 |
| Ory Keto | 노출되지 않음 | snaptoken 필드, 미구현 |
사용 불가 |
| Warrant | 없음(토큰을 반환하지 않음) | Warrant-Token 헤더 |
latest만. 다른 값은 무시됨 |
각 행의 출처는 위의 절들에 있다. Permify의 토큰 읽기 경로는 소스에서 추적하지 않았으며, 이 행은 토큰의 내용만 반영한다.
출처
- Ruoming Pang et al., Zanzibar: Google’s Consistent, Global Authorization System, USENIX ATC ’19, §2.2, §2.4, §2.4.4, §3.2.5, §5.
- James C. Corbett et al., Spanner: Google’s Globally-Distributed Database, OSDI ’12.
- AuthZed, The One Crucial Difference Between Spanner and CockroachDB, 2021-10-14 (vendor blog).
- AuthZed, Enforcing Causal Ordering in Distributed Systems: The Importance of Permissions Checking, 2021-02-17 (vendor blog).
- AuthZed, Datastores, SpiceDB docs.
- SpiceDB v1.57.1 source:
postgres/revisions.go,mysql/revisions.go,mysqlinitial schema,spanner/revisions.go. - Cockroach Labs,
cockroach start(--max-offset). - Spencer Kimball and Irfan Sharif, Living without atomic clocks: Where CockroachDB and Spanner diverge, Cockroach Labs, 2022-01-27 (vendor blog).
- OpenFGA, Query Consistency Modes and Configuring OpenFGA; v1.22.1 source
pkg/storage/postgres/postgres.go. - Permify, Snap Tokens; v1.7.6 source
snapshot/token.go. - Ory Keto,
check_service.proto. - Warrant,
pkg/wookie/wookie.go. - Tom MacWright, Reading Zanzibar, 2025-05-02.