guide:sync@de

Leitfäden

Tupel mit Ihren Daten im Gleichschritt halten

Warum das Paper doppelte Schreibvorgänge nie behandelt, was schiefgeht, wenn eine Anwendungsdatenbank und ein Autorisierungsdienst sich widersprechen, und welche Muster verwendet werden, um beide im Gleichschritt zu halten.

Fakten geprüft am Abschnitte im Paper §1, §2.2, §2.4.2, §2.4.3, §2.4.4, §3.1.2

Ein Autorisierungsdienst weiß nur, was man ihm mitgeteilt hat. Wenn Anne doc:readme teilt oder Beto aus group:eng entfernt, entsteht die Tatsache meist in der eigenen Datenbank der Anwendung und muss den Autorisierungsdienst als Tupel erreichen. Zwei Systeme, zwei Schreibvorgänge, keine gemeinsame Transaktion. Diese Seite erklärt, warum das Paper das Problem kaum erwähnt, wie die beiden Schreibvorgänge scheitern und welche Muster verwendet werden, um sie im Gleichschritt zu halten.

Warum das Paper das auslassen kann

Das Paper beschreibt Zanzibar als “a system for storing permissions and performing authorization checks based on the stored permissions” (§1) (ein System zum Speichern von Berechtigungen und zum Durchführen von Autorisierungsprüfungen auf Grundlage der gespeicherten Berechtigungen) und führt “unified ACL storage and an RPC-based API” (einheitliche ACL-Speicherung und eine RPC-basierte API) als “a philosophy also core to Zanzibar’s design” (§5) (eine Philosophie, die auch für das Design von Zanzibar zentral ist) an. ACLs und Gruppen liegen in Zanzibar. Die Client-Anwendung hält ihre Inhalte in ihrem eigenen Speicher, und das Einzige, was sie zur Autorisierung speichert, ist der zookie.

Das Protokoll des Papers ist so geformt, dass der einzige Schreibvorgang, der beide Seiten umspannt, auf der Client-Seite atomar ist: “The client stores the zookie with the content change in an atomic write to the client storage” (§2.2) (Der Client speichert den zookie zusammen mit der Inhaltsänderung in einem atomaren Schreibvorgang in den Client-Speicher). Die Prüfung, die den zookie erzeugt hat, ist ein Lesevorgang; “the content-change check does not need to be evaluated in the same transaction as the application content modification” (§2.2) (die Content-Change-Prüfung muss nicht in derselben Transaktion wie die Änderung des Anwendungsinhalts ausgewertet werden). Innerhalb von Zanzibar sind das Tupel und sein Changelog-Eintrag eine Transaktion: “Every Zanzibar write is committed to both the tuple storage and the changelog shard in a single transaction” (§3.1.2) (Jeder Zanzibar-Schreibvorgang wird in einer einzigen Transaktion sowohl in den Tupelspeicher als auch in den Changelog-Shard committet), sodass Watch keinen committeten Schreibvorgang verpassen kann.

Das Paper sagt nicht, ob die Anwendungen von Google zusätzlich eine eigene Kopie von Tatsachen wie „wem gehört dieses Dokument“ halten oder wie sie eine solche abgleichen würden. Es behandelt den Fall nicht.

Die meisten Anwender beginnen anderswo. Der Eigentümer ist eine Spalte in der Tabelle documents; Teammitgliedschaft ist eine Verknüpfungstabelle; bezahlte Nutzerplätze (Seats) liegen in einem anderen Dienst. Dieselbe Tatsache existiert dann zweimal, und jede Änderung daran ist ein doppelter Schreibvorgang (Dual Write).

Wie doppelte Schreibvorgänge scheitern

Der Beitrag von AuthZed zum Thema sagt es deutlich: “The dual-write problem presents itself in all distributed systems” (Das Dual-Write-Problem tritt in allen verteilten Systemen auf) (AuthZed, The Dual-Write Problem). Keine Reihenfolge der beiden Schreibvorgänge ist für sich sicher, weil der Prozess zwischen ihnen anhalten kann. Was passiert in jeder Reihenfolge?

Erst Datenbank, Tupel-Schreibvorgang verlorenAnne entfernt Beto aus der Gruppe eng. Die App committet die Änderung in ihre Datenbank. Bevor sie das Tupel im Autorisierungsdienst löscht, stürzt die App ab. Das Tupel ist noch vorhanden, also erlaubt eine spätere Prüfung Beto, das Readme zu sehen, obwohl die eigenen Daten der App sagen, dass er kein Mitglied mehr ist.ZeitAppApp-DatenbankAuthz-Dienstnie gesendetAnne entferntBeto aus engmember-Zeilelöschen, COMMITAbsturz vor demTupel-Löscheneng memberbeto: noch daBeto siehtReadme: erlaubt
Ein verlorener Entzug lässt den Zugriff offen (fail open), und nichts in der App zeigt es.
Erst Tupel, Datenbank zurückgerolltAnne macht Beto zum Bearbeiter des Readmes. Die App öffnet eine Datenbanktransaktion und fügt eine Freigabezeile ein, schreibt dann das editor-Tupel in den Autorisierungsdienst und stürzt vor dem Commit ab. Die Datenbank rollt zurück, also zeigt die App keine Freigabe, aber der Autorisierungsdienst lässt Beto bearbeiten.ZeitAppApp-DatenbankAuthz-DienstAnne macht Betozum BearbeiterBEGIN, Freigabe-zeile einfügenreadme editorbeto schreibenAbsturz vorCOMMITzurückgerollt:keine FreigabeBeto darfbearbeiten
Die beiden Systeme widersprechen sich; hier existiert die Berechtigung nur dort, wo die Oberfläche sie nicht anzeigen kann.

Das linke Bild ist das gefährliche für die Sicherheit, das rechte für das Vertrauen: Beto behält Zugriff, den er hätte verlieren sollen, oder hat Zugriff, den niemand sehen und daher entziehen kann. Das rechte Bild ist der Fall, den AuthZed durchgeht: “we’ve written to SpiceDB but we haven’t committed the transaction to our database, and now SpiceDB and our database disagree about the state of the world” (wir haben in SpiceDB geschrieben, aber die Transaktion in unserer Datenbank nicht committet, und nun sind sich SpiceDB und unsere Datenbank über den Zustand der Welt uneins) (The Dual-Write Problem). Wiederholungsversuche im Request-Handler schließen keine der beiden Lücken, weil der Absturz vor dem Wiederholungsversuch passieren kann.

Die Optionen

Der Beitrag von AuthZed listet die Möglichkeiten auf: nichts tun, Konsistenzprüfung außerhalb des Hauptpfads, den Autorisierungsdienst zur maßgeblichen Quelle machen, Event Sourcing/CQRS, Umgebungen für dauerhafte Ausführung (Durable Execution) und die Transactional Outbox (The Dual-Write Problem). Nichts zu tun “is an option that may be viable in the right context” (ist eine Option, die im richtigen Kontext gangbar sein kann); Prüfung außerhalb des Hauptpfads bedeutet “you can check that the two systems agree on a periodic basis” (Sie können periodisch prüfen, ob die beiden Systeme übereinstimmen), was Abweichungen findet, aber nicht verhindert. Die drei folgenden sind diejenigen, die das Zeitfenster strukturell beseitigen oder zuverlässig schließen.

Der Autorisierungsdienst als maßgebliche Quelle

Jede Beziehung einmal speichern, im Autorisierungsdienst und nirgendwo sonst. Das ist die Anordnung des Papers. AuthZed: “make a single write to SpiceDB and avoid the dual-write problem entirely” (einen einzigen Schreibvorgang an SpiceDB senden und das Dual-Write-Problem ganz vermeiden) (The Dual-Write Problem).

Der Preis ist, dass die Anwendung diese Daten nicht mehr wie ihre eigenen abfragen kann: Liegt das Eigentum nur in SpiceDB, könnte eine Benutzeroberfläche darüber diese Tabelle nicht so leicht filtern, sortieren oder paginieren (“wouldn’t be able to filter, sort, or paginate that table as easily”), weil SpiceDB “isn’t a general-purpose database” (keine Allzweckdatenbank ist). Das Listenproblem aus Auflisten, was ein Benutzer sehen kann gilt dann für jeden Bildschirm, der die Beziehung zeigt. Oso argumentiert für sein eigenes Produkt in die Gegenrichtung und lässt Sie “apply your application data to authorization decisions without synchronizing it” (Ihre Anwendungsdaten für Autorisierungsentscheidungen verwenden, ohne sie zu synchronisieren) (Oso, Launching Local Authorization, Herstellerbeitrag), was die Synchronisation vermeidet, indem die Daten in der Anwendungsdatenbank bleiben, statt verschoben zu werden.

Transactional Outbox und Relay

Die Anwendungsdatenbank bleibt die maßgebliche Quelle, und der zweite Schreibvorgang wird dauerhaft statt sofort gemacht. In derselben Transaktion wie die fachliche Änderung wird eine Zeile in eine Outbox-Tabelle eingefügt, die die Tupeländerung beschreibt. Ein separates Relay liest die Outbox und wendet die Änderungen auf den Autorisierungsdienst an, mit Wiederholungen, bis sie gelingen. Die allgemeine Form des Musters: “first store the message in the database as part of the transaction that updates the business entities” (die Nachricht zuerst in der Datenbank speichern, als Teil der Transaktion, die die fachlichen Entitäten aktualisiert) (Chris Richardson, Transactional outbox).

Was tut das Relay, wenn der Autorisierungsdienst kurz nicht verfügbar ist?

Transactional Outbox und RelayAnne entfernt Beto aus der Gruppe eng. In einer Datenbanktransaktion löscht die App die member-Zeile und fügt eine Outbox-Zeile ein. Das Relay liest die Outbox-Zeile und sendet das Löschen des Tupels; der erste Versuch scheitert, also wiederholt es. Der zweite Versuch gelingt, und das Relay markiert die Outbox-Zeile als erledigt. Bis dahin lässt der Autorisierungsdienst Beto weiterhin herein.ZeitAppApp-DatenbankRelayAuthz-DienstatomarwiederholenAckAnne entferntBeto aus engeine Txn: member-Zeile + Outbox-Zeilenächste Outbox-Zeile lesenBeto nocherlaubtLöschen scheitert:wiederholenTupel gelöschtOutbox-Zeileerledigt markiert
Nichts geht verloren, aber die Änderung erreicht den Autorisierungsdienst später als die Datenbank.

Beachten Sie den roten Kasten rechts: Die Outbox garantiert, dass die Änderung ankommt, nicht, dass sie sofort ankommt. Zwischen dem Commit und dem Erfolg des Relays gilt der alte Zugriff weiter. Das Relay muss außerdem Wiederholungen vertragen, denn in den Worten des Musters selbst: “The Message relay might publish a message more than once” (Das Nachrichten-Relay kann eine Nachricht mehr als einmal veröffentlichen) (Transactional outbox); AuthZed verweist auf “SpiceDB allowing for idempotent writes with its TOUCH operation” (dass SpiceDB mit seiner TOUCH-Operation idempotente Schreibvorgänge erlaubt) und auf die Reihenfolge: “As long as this process is effectively single-threaded and retries operations until they succeed” (Solange dieser Prozess effektiv single-threaded ist und Operationen wiederholt, bis sie gelingen) (The Dual-Write Problem). Ein Löschen vor dem früheren Anlegen anzuwenden, würde den falschen Zustand hinterlassen.

Change Data Capture

Statt die Outbox abzufragen, liest man das eigene Commit-Log der Datenbank. Debezium zum Beispiel verwendet das Logical Decoding von PostgreSQL: Nach einem anfänglichen Snapshot “continuously captures row-level changes that insert, update, and delete database content and that were committed to a PostgreSQL database” (erfasst es fortlaufend Änderungen auf Zeilenebene, die Datenbankinhalte einfügen, aktualisieren und löschen und die in eine PostgreSQL-Datenbank committet wurden) und streamt sie in Kafka-Topics. AuthZed beschreibt es als eines der am häufigsten verwendeten Werkzeuge für das Outbox-Muster: “It watches changes in an outbox table and submits them as events to Kafka” (Es beobachtet Änderungen in einer Outbox-Tabelle und sendet sie als Ereignisse an Kafka) (The Dual-Write Problem).

Welchen Weg nimmt eine Änderung vom Commit bis zu einem Tupel?

Change Data Capture in den AutorisierungsdienstDie App committet fachliche Zeilen und eine Outbox-Zeile in einer Transaktion in ihre Datenbank. Debezium liest die committeten Änderungen aus dem Write-Ahead-Log und veröffentlicht sie in einem Kafka-Topic. Ein Consumer liest das Topic, macht aus jedem Ereignis einen Tupel-Schreib- oder Löschvorgang und wendet ihn auf den Autorisierungsdienst an. Nach einem Neustart des Connectors sind Duplikate möglich, daher müssen die Schreibvorgänge des Consumers idempotent sein.AppApp-DatenbankZeilen + OutboxDebezium(liest WAL)Kafka-TopicConsumer:Ereignis → TupelAuthz-Diensteine TxncommitteteÄnderungenveröffentlichenkonsumierenTOUCH /DELETE
Jeder Schritt fügt Verzögerung hinzu; nur committete Änderungen gelangen in die Pipeline, sodass eine zurückgerollte Transaktion nie zu einem Tupel wird.

Beachten Sie den ersten Schritt: Weil Debezium committete Änderungen liest, kann der rechte Fehlerfall von oben nicht eintreten. Duplikate dagegen schon. Die PostgreSQL-Dokumentation von Debezium sagt, dass “while it is recovering from the fault, it’s possible that the connector might emit some duplicate change events” (der Connector während der Wiederherstellung nach einem Fehler einige doppelte Änderungsereignisse ausgeben kann) und dass “consumers should always anticipate some duplicate events” (Consumer immer mit einigen doppelten Ereignissen rechnen sollten) (Debezium PostgreSQL connector). Sein Outbox Event Router ist die fertig verpackte Form der Kombination aus Outbox und CDC: “An outbox pattern implementation avoids inconsistencies between a service’s internal state (as typically persisted in its database) and state in events consumed by services that need the same data” (Eine Implementierung des Outbox-Musters vermeidet Inkonsistenzen zwischen dem internen Zustand eines Dienstes (wie er typischerweise in seiner Datenbank persistiert ist) und dem Zustand in Ereignissen, die von Diensten konsumiert werden, die dieselben Daten brauchen) (Debezium, Outbox Event Router).

Watch speist Indizes, ist aber keine Queue

Die obigen Muster bringen Änderungen in den Autorisierungsdienst. Watch (§2.4.3) bringt sie heraus: “Some clients maintain secondary indices of relation tuples in Zanzibar. They can do so with our Watch API.” (Einige Clients pflegen sekundäre Indizes der Relationstupel in Zanzibar. Das können sie mit unserer Watch-API tun.) Eine Antwort enthält Änderungen “in ascending timestamp order” (in aufsteigender Zeitstempelreihenfolge) bis zu einem Heartbeat-zookie, den “the client can use … to resume watching where the previous watch response left off” (§2.4.3) (der Client verwenden kann, … um das Beobachten dort fortzusetzen, wo die vorherige Watch-Antwort aufgehört hat). Der inkrementelle Indexer von Leopard ist der Konsument, den das Paper selbst beschreibt (§3.2.4).

Der Client besitzt die Fortsetzungsposition, und der Server hält die Historie nur eine Weile. Die SpiceDB-Dokumentation: “Historical changes can only be requested until the configured garbage collection window on the underlying datastore. This is typically 24 hours, but may differ based on the datastore used” (Historische Änderungen können nur bis zum konfigurierten Garbage-Collection-Fenster des zugrunde liegenden Datenspeichers angefordert werden. Das sind typischerweise 24 Stunden, kann aber je nach verwendetem Datenspeicher abweichen) (SpiceDB, Watching Relationship Changes). Ein SpiceDB-Issue nennt die Folge: “the Watch API is non-durable; if you want to write to a durable queue, you have to take the messages coming from the Watch API and put them somewhere” (die Watch-API ist nicht dauerhaft; wenn Sie in eine dauerhafte Queue schreiben wollen, müssen Sie die Nachrichten aus der Watch-API nehmen und irgendwo ablegen) (spicedb#2015, am 2026-10-29 als nicht geplant geschlossen). Das offene Issue spicedb#2285 ergänzt, dass das Standardverhalten “starts watching from the HEAD revision which leaves gaps of updates that may have not been seen” (ab der HEAD-Revision beobachtet, was Lücken mit Aktualisierungen hinterlässt, die möglicherweise nicht gesehen wurden).

Was passiert mit einem Index, dessen Consumer länger als dieses Fenster ausfällt?

Watch fortsetzen und die Position verlierenDer Indexer wendet einen Stapel von Änderungen an und speichert das Stream-Token t50 zusammen mit den Indexzeilen. Er trennt die Verbindung, verbindet sich mit t50 neu und erhält die folgenden Änderungen. Später ist er länger ausgefallen als das Garbage-Collection-Fenster des Datenspeichers; t50 ist abgelaufen, also kann er nicht fortsetzen und muss den Index aus einem vollständigen Lesevorgang neu aufbauen.ZeitAuthz-DienstIndexerIndexspeichernfortsetzennicht fortsetzbarÄnderungen bisToken t50Stapel anwendenZeilen + t50,eine TxngetrenntWatch ab t50Änderungennach t50länger aus alsGC-Fenstert50 abgelaufenNeuaufbau ausvollem Lesen
Speichern Sie das Token in derselben Transaktion wie die Zeilen, die es abdeckt, und halten Sie einen Weg zum Neuaufbau bereit, falls die Historie weg ist.

Beachten Sie das erste Ereignis in der Index-Spur: Das Token wird mit den Zeilen gespeichert, die es erzeugt hat. Speicherte der Indexer zuerst das Token und stürzte dann ab, würde er Änderungen überspringen; wendete er Zeilen an und stürzte vor dem Speichern ab, würde er sie erneut anwenden, was nur dann harmlos ist, wenn die Index-Schreibvorgänge idempotent sind. Um einen langen Ausfall zu überstehen, kopieren Sie den Stream in eine dauerhafte Queue unter Ihrer Kontrolle, wie das Issue sagt, oder seien Sie bereit zum Neuaufbau. Das Fortsetzungsfeld von SpiceDB ist ChangesThrough: Die Dokumentation empfiehlt, Watch “in a loop, sending in the last received ZedToken from ChangesThrough if the call disconnects” (in einer Schleife aufzurufen und dabei das zuletzt empfangene ZedToken aus ChangesThrough mitzusenden, wenn der Aufruf die Verbindung verliert) (Watching Relationship Changes).

zookies und jede Option

Das zookie-Protokoll braucht zwei Dinge vom Client: beim Speichern von Inhalten einen zookie anfordern und ihn mit dem Inhalt speichern (§2.2, §2.4.4). Die SpiceDB-Dokumentation gibt denselben Rat für ZedTokens: sie “alongside the newly updated content in the application database” (neben dem neu aktualisierten Inhalt in der Anwendungsdatenbank) speichern und sie aktualisieren, wenn die Ressource angelegt oder gelöscht wird, wenn sich ihr Inhalt ändert und wenn Zugriff darauf hinzugefügt oder entfernt wird (SpiceDB, Consistency). Die Content-Change-Prüfung hat kein eigenes Dual-Write-Problem: Sie ist ein Lesevorgang, und das Token geht in derselben Transaktion wie der Inhalt in die Anwendungsdatenbank.

Die Optionen unterscheiden sich darin, was dieses Token versprechen kann.

Option Wann die ACL-Änderung im Autorisierungsdienst ist Was ein gespeichertes Token abdeckt
Autorisierungsdienst als maßgebliche Quelle Wenn der Schreibvorgang zurückkehrt, bevor der Benutzer informiert wird Alles, wie im Paper: Das Token des Schreibvorgangs oder eine spätere Content-Change-Prüfung ist mindestens so aktuell wie die ACL-Änderung
Outbox und Relay Wenn das Relay Erfolg hat, nach dem Datenbank-Commit Nur Änderungen, die das Relay bereits angewendet hat. Eine Content-Change-Prüfung davor sieht die alte ACL
Change Data Capture Nachdem das Log gelesen, veröffentlicht und konsumiert wurde Wie bei der Outbox, mit mehr Verzögerungsschritten
Von Watch gespeister Index Bereits dort; die Verzögerung liegt im Index Nichts direkt: zookies sind opak, also kann der Index nicht erkennen, ob er so aktuell ist wie ein gegebenes Token. Mit dem Token erneut prüfen oder die eigene gespeicherte Position des Index vergleichen

Für die Zeilen zu Outbox und CDC ist die Garantie des Papers schwächer, als sie aussieht. Beispiel B in §2.2 setzt voraus, dass die ACL-Änderung (B1) in Zanzibar ist, bevor die Inhaltsänderung (B2) geprüft wird. Mit einem Relay dazwischen kann Anne Beto entfernen, eine Sekunde später neue Inhalte speichern und einen zookie aus einer Content-Change-Prüfung erhalten, die lief, bevor das Relay die Entfernung angewendet hat. Der zookie ist korrekt für die Daten, die Zanzibar hatte; diese Daten waren im Rückstand. Zwei Gegenmaßnahmen, keine aus den obigen Quellen und beide hier nicht getestet: Entzüge direkt über den Autorisierungsdienst senden und sie erst danach in der Datenbank festhalten (wobei der rechte Fehlerfall als sichtbarer Zustand „noch aufgeführt, aber abgewiesen“ in Kauf genommen wird), oder das Relay das empfangene Token in die betroffenen Zeilen zurückschreiben lassen, damit spätere Prüfungen es mitführen.

Die Opazitätsregel des Papers ist Absicht: zookies sind opak, “to discourage our clients from choosing arbitrary timestamps and to allow future extensions” (§2.4) (um unsere Clients davon abzuhalten, beliebige Zeitstempel zu wählen, und um zukünftige Erweiterungen zu ermöglichen). Der Preis steht in der letzten Zeile: Ein Client kann zwei zookies nicht vergleichen, um zu entscheiden, welcher neuer ist.

Die Tupel eines Objekts sicher neu schreiben: das Lock-Tupel

Ein Synchronisationsjob will oft alle Tupel eines Objekts ersetzen, damit sie der Datenbank entsprechen, zum Beispiel um die Betrachter des Readmes genau auf das zu setzen, was die Freigabetabelle sagt. Zwei solche Jobs, oder ein Job und die Bearbeitung eines Benutzers, können sich dabei in die Quere kommen. Die Antwort des Papers ist optimistische Nebenläufigkeitskontrolle mit einem Lock-Tupel (§2.4.2):

“The lock tuple is just a regular relation tuple used by clients to detect write races” (§2.4.2) (Das Lock-Tupel ist einfach ein gewöhnliches Relationstupel, das Clients verwenden, um Schreib-Races zu erkennen). Was passiert, wenn zwei Synchronisationsjobs gleichzeitig die Tupel des Readmes neu schreiben?

Optimistische Nebenläufigkeit mit einem Lock-TupelBeide Sync-Jobs lesen alle Tupel von doc:readme, einschließlich des Lock-Tupels, in derselben Version. Job 1 sendet seine Schreibvorgänge mit einem Touch auf das Lock-Tupel, unter der Bedingung, dass das Lock unverändert ist; Zanzibar committet, und das Lock ändert sich. Job 2 sendet seine Schreibvorgänge mit derselben Bedingung; das Lock hat sich geändert, also weist Zanzibar sie ab, und Job 2 geht zurück zu Schritt 1 und liest erneut.ZeitSync-Job 1Sync-Job 2Zanzibarwiederholenreadme-Tupel+ Lock lesenLock inVersion 7readme-Tupel+ Lock lesenschreiben + touch,wenn Lock gleichCommit;Lock geändertschreiben + touch,wenn Lock gleichLock geändert:abgewiesenzurück zu Schritt 1:neu lesen
Keiner der Jobs hält eine Sperre, während er rechnet; der bedingte Schreibvorgang erkennt den Konflikt zum Commit-Zeitpunkt.

Job 2 wird nicht blockiert, während Job 1 arbeitet; er erfährt vom Konflikt erst beim Commit-Versuch und rechnet dann mit frischen Daten neu. Das passt zu Synchronisationsjobs, die immer aus der Datenbank neu rechnen können.

Quellen