O Zanzibar evita o problema do “novo inimigo” com zookies, e os zookies funcionam porque o Spanner dá a cada escrita um timestamp que respeita a causalidade. Consistência, snapshots e zookies explica ambos, inclusive como o TrueTime e a espera de commit produzem esses timestamps. Quase ninguém fora do Google roda sobre o TrueTime. Esta página examina o que o protocolo de zookie realmente exige de um banco de dados, e como produtos construídos sobre outros bancos de dados obtêm isso, ou passam sem isso.
O que um zookie exige do repositório de dados
O protocolo de zookie se apoia em duas propriedades que a §2.2 exige da camada de armazenamento, “external consistency and snapshot reads with bounded staleness” (consistência externa e leituras de snapshot com defasagem limitada):
- A ordem de commit segue a causalidade. Se a escrita
xaconteceu antes da escritay(por exemplo, Anne viuxser bem-sucedida e então fezy), entãoT_x < T_y. Nas palavras do artigo, duas atualizações causalmente relacionadasx ≺ y“will be assigned timestamps that reflect the causal order:T_x < T_y” (receberão timestamps que refletem a ordem causal:T_x < T_y) (§2.2), e o protocolo de zookie “ensures that all prior ACL writes have lower timestamps” (garante que todas as escritas de ACL anteriores tenham timestamps menores). - Leituras de snapshot em um dado ponto ou depois dele. Uma leitura em
T“observes all updates with timestamps ≤ T” (observa todas as atualizações com timestamps ≤ T) (§2.2), e uma verificação “is always evaluated at a consistent snapshot no earlier than the given zookie” (é sempre avaliada em um snapshot consistente não anterior ao zookie fornecido) (§2.4.4).
Nada nesta lista fala em “timestamp” no sentido de horário de relógio. O valor dentro de um zookie pode ser qualquer posição em um histórico, desde que as duas propriedades valham para ele. É por isso que o artigo tornou o zookie opaco: “to discourage our clients from choosing arbitrary timestamps and to allow future extensions” (para desencorajar nossos clientes de escolher timestamps arbitrários e para permitir extensões futuras) (§2.4).
Como as duas propriedades se combinam para impedir que Chen veja o readme depois de ter sido removido da pasta A?
Observe que a propriedade ① trata de escritas que o banco de dados talvez nunca veja como relacionadas. A §2.2 exige ordenação para “updates on different ACLs or objects and those coordinated via channels invisible to Zanzibar” (atualizações em ACLs ou objetos diferentes e aquelas coordenadas por canais invisíveis ao Zanzibar). No Exemplo A do artigo, o vínculo entre as duas escritas é Alice pedindo algo a Charlie, fora de qualquer sistema. Ainda assim, o banco de dados precisa ordenar corretamente os dois commits.
Três maneiras de obter uma ordem
O Spanner obtém a propriedade ① de relógios sincronizados com um limite de erro conhecido, pagando por isso com a espera pela incerteza em cada escrita (Spanner, OSDI ’12; ilustrado na página de consistência). Outros bancos de dados a obtêm, totalmente ou em grande parte, de outras maneiras. De onde vem a ordem em cada um?
Observe que os bancos de dados com um único primário obtêm a propriedade ① de graça, porque um único servidor vê todos os commits em ordem; do que eles abrem mão é da replicação global do artigo. O CockroachDB replica globalmente, mas fornece a propriedade ① apenas em parte. A próxima seção trata dessa lacuna.
CockroachDB: a regra das chaves sobrepostas
O CockroachDB não tem TrueTime. Seus nós mantêm relógios sincronizados de forma aproximada, e o cluster tem um deslocamento máximo de relógio, --max-offset, com padrão de 500ms; “If observed clock offsets exceed this limit, servers will crash to minimize the likelihood of reading inconsistent data” (se os deslocamentos de relógio observados excederem esse limite, os servidores serão encerrados para minimizar a probabilidade de ler dados inconsistentes) (cockroach start). A própria comparação da Cockroach Labs com o Spanner diz que “CockroachDB only goes as far as to claim serializability” (o CockroachDB vai apenas até reivindicar serializabilidade), e dá nome à anomalia que ele permite, “causal reverse” (inversão causal): transações causalmente relacionadas podem receber, no commit, timestamps na ordem errada (Living without atomic clocks, 2022-01-27).
A AuthZed reproduziu o problema do “novo inimigo” no CockroachDB com o SpiceDB em 2021 (The One Crucial Difference Between Spanner and CockroachDB, 2021-10-14). O resumo da lacuna feito pela publicação: “Cockroach does not provide external consistency for transactions involving non-overlapping keys.” (O Cockroach não oferece consistência externa para transações que envolvem chaves não sobrepostas.) Seu teste usou duas escritas e uma verificação, executadas “in sequence (not parallel)” (em sequência, não em paralelo): escrever uma tupla excluded, escrever uma tupla direct e então verificar allowed = direct - excluded na revisão da segunda escrita; “the check in 3 will succeed” (a verificação em 3 terá sucesso).
Como isso fica com o exemplo recorrente, se o relógio de um nó estiver adiantado?
Observe a seta rotulada “mesma chave K” no quadro da direita. Nenhum relógio melhorou; o que mudou é que as duas transações agora entram em conflito, e o CockroachDB ordena corretamente transações conflitantes. Os timestamps nos dois quadros são ilustrativos; o desvio está bem dentro do padrão de 500ms, de modo que nenhum servidor seria encerrado.
A AuthZed constatou que uma leitura compartilhada não bastava: “we needed both transactions to write to the same key” (precisávamos que ambas as transações escrevessem na mesma chave). O driver do SpiceDB para o CockroachDB, portanto, acrescenta uma chave de sobreposição às escritas, com uma estratégia escolhida por --datastore-tx-overlap-strategy (repositórios de dados):
| Estratégia | Documentação do SpiceDB |
|---|---|
static (padrão) |
“All writes overlap to guarantee safety at the cost of write throughput” (todas as escritas se sobrepõem para garantir a segurança, ao custo da vazão de escrita) |
prefix |
“Only writes that contain objects with same prefix overlap” (apenas as escritas que contêm objetos com o mesmo prefixo se sobrepõem) |
request |
“Only writes with the same io.spicedb.requestoverlapkey header overlap” (apenas as escritas com o mesmo cabeçalho io.spicedb.requestoverlapkey se sobrepõem) |
insecure |
“No writes overlap, providing the best write throughput, but possibly leaving you vulnerable to the New Enemy Problem” (nenhuma escrita se sobrepõe, o que oferece a melhor vazão de escrita, mas pode deixá-lo vulnerável ao problema do “novo inimigo”) |
O custo, nas palavras da AuthZed: “This does add a small amount of latency to the write path, but it leaves the read paths performant.” (Isso acrescenta uma pequena latência ao caminho de escrita, mas mantém o bom desempenho dos caminhos de leitura.) Toda escrita static disputa uma única linha, que é o preço que o artigo pagou, em vez disso, com a espera de commit.
A documentação de repositórios de dados acrescenta mais uma ressalva sobre o CockroachDB, do lado da leitura: o SpiceDB escolhe uma revisão com cluster_logical_timestamp(), “which can differ across nodes by up to the cluster’s” (que pode diferir entre os nós em até o) deslocamento máximo do cluster, e “A read may not see a recently committed write if the reading node’s timestamp is behind the writing node’s.” (Uma leitura pode não ver uma escrita confirmada recentemente se o timestamp do nó que lê estiver atrás do timestamp do nó que escreveu.) Como resultado, “fully_consistent does not guarantee read-after-write consistency on CockroachDB.” (fully_consistent não garante consistência de leitura após escrita no CockroachDB.) Um ZedToken vindo da escrita evita isso, porque ele nomeia a própria revisão da escrita (repositórios de dados).
PostgreSQL e MySQL: um único primário decide
Um banco de dados com um único primário já vê todos os commits em ordem, de modo que a propriedade ① não precisa de relógios. A questão em aberto é a propriedade ②: leituras que podem ir para uma réplica atrasada.
O driver do SpiceDB para o PostgreSQL não usa o tempo para a ordenação. Uma revisão é o ID de transação e o snapshot obtidos de pg_current_xact_id() e pg_current_snapshot(); um comentário no driver diz que “timestamps cannot be used for ordering transactions in PG” (timestamps não podem ser usados para ordenar transações no PG), e que dois snapshots podem ser “mutually uncomparable” (mutuamente incomparáveis) (postgres/revisions.go, v1.57.1). Um snapshot tirado depois do commit de x lista x como confirmada, que é a propriedade ① expressa nos termos do próprio PostgreSQL. O driver para o MySQL escreve uma linha em uma tabela de transações cujo id é AUTO_INCREMENT e usa esse ID como revisão (migrations, revisions.go). Uma escrita que começa depois que outra foi confirmada insere sua linha mais tarde e, portanto, recebe um ID maior; esse raciocínio é desta página, não está afirmado na documentação do SpiceDB.
Réplicas de leitura reintroduzem atraso. Como o SpiceDB mantém uma verificação pelo menos tão atual quanto o seu token quando a réplica está atrasada?
A documentação descreve exatamente isso: o atraso de replicação “would be problematic to SpiceDB’s ability to solve the new enemy problem” (seria problemático para a capacidade do SpiceDB de resolver o problema do “novo inimigo”), então o SpiceDB verifica “if the revision has been replicated into the target replica. If missing, it will fall back to the primary.” (se a revisão foi replicada na réplica de destino. Se estiver ausente, recorrerá ao primário.) Para o MySQL, isso “requires two roundtrips instead of one” (exige duas idas e voltas em vez de uma), e a documentação desaconselha um balanceador de carga na frente das réplicas MySQL “because SpiceDB will not be able to maintain consistency guarantees” (porque o SpiceDB não conseguirá manter as garantias de consistência) (repositórios de dados).
O Permify, que roda sobre o PostgreSQL, constrói seu Snap Token da mesma forma: o token contém um XID8 do PostgreSQL e uma string de snapshot (snapshot/token.go, v1.7.6). Sua documentação descreve o token apenas como “a token that consists of an encoded timestamp” (um token que consiste em um timestamp codificado) (snap tokens).
Spanner sem o artigo
O SpiceDB também roda sobre o Cloud Spanner, que tem TrueTime. Ali o driver “assumes the database is linearizable and skips the transaction overlap strategy” (assume que o banco de dados é linearizável e dispensa a estratégia de sobreposição de transações) (repositórios de dados), e lê sua revisão com SELECT CURRENT_TIMESTAMP() (spanner/revisions.go). Essa é a configuração mais próxima do artigo.
Sem nenhum token
O OpenFGA não tem zookie; sua documentação diz que o artigo “has a feature called Zookies” (tem um recurso chamado Zookies) e que o OpenFGA “is considering a similar feature in future releases” (está considerando um recurso semelhante em versões futuras) (consistência). Em vez disso, uma consulta escolhe MINIMIZE_LATENCY (o padrão) ou HIGHER_CONSISTENCY, que “will skip the cache and query the database directly” (ignorará o cache e consultará o banco de dados diretamente). No PostgreSQL com um repositório de dados secundário configurado (datastore.secondaryUri, “for postgres only” (apenas para postgres), configuração), HIGHER_CONSISTENCY também seleciona o primário: o comentário no código diz “If we are using higher consistency, we need to use the write database” (se estamos usando consistência mais alta, precisamos usar o banco de escrita) (postgres.go, v1.22.1).
Isso dá “tão atual quanto o primário”, não “pelo menos tão atual quanto a minha escrita”. A diferença importa para o custo: um zookie permite que a maioria das verificações use um cache ou uma réplica e que apenas as recentes vão ao primário, enquanto HIGHER_CONSISTENCY envia para lá todas essas consultas. A página do OpenFGA ilustra o caso do cache; a documentação sugere escolher o modo por requisição comparando o momento da última modificação de um recurso com o TTL do cache, o que faz a aplicação guardar ela mesma parte da informação de um zookie.
Outros produtos:
- O Ory Keto tem os campos
snaptokenelatestem sua API de Check, cada um marcado como “This field is not implemented yet and has no effect” (este campo ainda não está implementado e não tem efeito) (check_service.proto). - O Warrant lê um cabeçalho
Warrant-Tokene age apenas sobre o valorlatest, que envia a leitura ao primário; qualquer outro valor é ignorado, e o servidor de código aberto não retorna nenhum token (wookie.go, Warrant). - O Topaz não documenta nenhum token; veja a página de comparação.
As notas de leitura de Tom MacWright sobre o artigo fazem a mesma observação de fora: o OpenFGA não tem nada parecido com zookies, e “neither does Ory Keto” (o Ory Keto também não) (Reading Zanzibar, 2025-05-02).
Sem um token, uma aplicação que precisa da garantia do artigo tem duas opções: ler de um repositório que esteja sempre atual (um único primário, sem cache) ou aceitar uma janela em que um usuário removido ainda pode ser permitido.
Mecanismo por produto
| Produto e repositório de dados | De onde vem a ordem | Token | Leituras no token ou depois dele |
|---|---|---|---|
| Artigo (Spanner) | TrueTime + espera de commit | zookie | qualquer réplica; espera se necessário (§3.2.5) |
| SpiceDB sobre Spanner | TrueTime; estratégia de sobreposição dispensada | ZedToken | leitura de snapshot do Spanner |
| SpiceDB sobre CockroachDB | timestamps HLC; chave de sobreposição nas escritas (static por padrão) |
ZedToken | AS OF SYSTEM TIME; fully_consistent pode perder uma escrita feita em outro nó |
| SpiceDB sobre PostgreSQL | ID de transação e snapshot do primário | ZedToken | réplica, se tiver a revisão; senão, primário |
| SpiceDB sobre MySQL | ID de transação AUTO_INCREMENT |
ZedToken | réplica, se tiver a revisão; senão, primário (duas idas e voltas) |
| Permify sobre PostgreSQL | XID8 e snapshot do primário |
Snap Token | snapshot a partir do token |
| OpenFGA | nenhuma exposta | nenhum | HIGHER_CONSISTENCY: ignora o cache, usa o primário |
| Ory Keto | nenhuma exposta | campo snaptoken, não implementado |
não disponível |
| Warrant | nenhum (nenhum token é retornado) | cabeçalho Warrant-Token |
apenas latest; outros valores ignorados |
As fontes de cada linha estão nas seções acima. O caminho de leitura do Permify para um token não foi rastreado no código-fonte; a linha reflete apenas o conteúdo do token.
Fontes
- Ruoming Pang et al., Zanzibar: Google’s Consistent, Global Authorization System, USENIX ATC ’19, §2.2, §2.4, §2.4.4, §3.2.5, §5.
- James C. Corbett et al., Spanner: Google’s Globally-Distributed Database, OSDI ’12.
- AuthZed, The One Crucial Difference Between Spanner and CockroachDB, 2021-10-14 (blog do fornecedor).
- AuthZed, Enforcing Causal Ordering in Distributed Systems: The Importance of Permissions Checking, 2021-02-17 (blog do fornecedor).
- AuthZed, Datastores, documentação do SpiceDB.
- Código-fonte do SpiceDB v1.57.1:
postgres/revisions.go,mysql/revisions.go, schema inicial domysql,spanner/revisions.go. - Cockroach Labs,
cockroach start(--max-offset). - Spencer Kimball e Irfan Sharif, Living without atomic clocks: Where CockroachDB and Spanner diverge, Cockroach Labs, 2022-01-27 (blog do fornecedor).
- OpenFGA, Query Consistency Modes e Configuring OpenFGA; código-fonte v1.22.1
pkg/storage/postgres/postgres.go. - Permify, Snap Tokens; código-fonte v1.7.6
snapshot/token.go. - Ory Keto,
check_service.proto. - Warrant,
pkg/wookie/wookie.go. - Tom MacWright, Reading Zanzibar, 2025-05-02.