Change Data Capture

Haga streaming de cambios a nivel de fila desde una base de datos. Una fuente CDC captura inserciones, actualizaciones y borrados, opcionalmente entrega primero a cada suscriptor un snapshot consistente de las filas existentes, y entrega todo como eventos de cambio neutrales respecto al driver. Las fuentes son direccionables por su ID de entrada y se consumen desde Lua mediante el módulo cdc.

Kinds de Entrada

Ambos kinds exponen la misma API de Lua, el mismo registro de información de fuente y la misma forma de evento de cambio. Lo que difiere es el conjunto de garantías, publicado por fuente como capacidades.

Configuración de Postgres

- name: pg_cdc
  kind: db.cdc.postgres
  host: ${env:DB_HOST}
  port: 5432
  database: app
  username: ${env:DB_USER}
  password: ${env:app.secrets:db_password}
  slot_name: wippy_slot
  publication: wippy_pub
  tables:
    - public.users
    - public.orders
  snapshot: true
  streaming: true
  standby_interval: "10s"
  status_interval: "10s"
  lifecycle:
    auto_start: true

Un cero en cualquier campo max_* selecciona el valor por defecto; el decodificador nunca es ilimitado. Los valores negativos se rechazan.

Las credenciales resuelven los marcadores ${env:NAME} a través del registro de entorno en el momento de decodificar.

Configuración de SQLite

Una fuente SQLite no abre su propia base de datos. Toma prestado un recurso db.sql.sqlite existente y se suscribe al observador de mutaciones confirmadas de ese recurso, de modo que captura exactamente las escrituras hechas a través de ese recurso SQL de Wippy — las escrituras de otro proceso, otra conexión o una herramienta externa no se observan.

- name: cdcdb
  kind: db.sql.sqlite
  file: /var/data/app.db
  lifecycle:
    auto_start: true

- name: changes
  kind: db.cdc.sqlite
  db_resource: app:cdcdb
  tables:
    - users
    - orders
  snapshot: true
  status_interval: "30s"
  lifecycle:
    auto_start: true

La fuente declara el recurso SQL como requisito de ciclo de vida, de modo que el supervisor arranca primero la base de datos y reinicia la fuente cuando se reemplaza la generación de la base de datos.

Límites de Suscripción

Cada fuente admite un número acotado de suscriptores y reserva por adelantado su backlog en el peor caso. Un slot de snapshot permanece reservado hasta que el stream con snapshot habilitado se cierra.

subscriptions:
  max_subscriptions: 1024
  max_snapshot_subscriptions: 4
  max_bytes: 268435456

Un cero selecciona el valor por defecto; los valores negativos se rechazan. Agotar un límite hace fallar la suscripción con un errors.UNAVAILABLE reintentable.

Cómo Funciona

1. Una fuente Postgres se conecta como usuario de replicación y crea (o reanuda) el slot nombrado por slot_name. Una fuente SQLite toma prestado su db_resource y se suscribe al observador de mutaciones confirmadas de ese recurso.
2. Los cambios de fila se decodifican en eventos de cambio neutrales respecto al driver con un op de insert, update, delete o truncate.
3. Un suscriptor cuyo stream tiene snapshot habilitado — desde el campo snapshot de la entrada o desde opts.snapshot en el stream — recibe primero las filas existentes como eventos con op = "snapshot", y después continúa hacia los cambios en vivo sin hueco entre ambos.
4. Una fuente Postgres confirma periódicamente el LSN para que el servidor pueda liberar segmentos de WAL (standby_interval).
5. La fuente se registra bajo su ID de entrada; el código Lua se suscribe con cdc.stream.

Capacidades

Cada fuente publica lo que garantiza, de modo que los consumidores ramifican según las capacidades en lugar de según el kind de la entrada.

Los indicadores de capacidad describen el progreso de la fuente, no la entrega duradera: ningún driver reproduce eventos para un suscriptor individual que se quedó atrás o se desconectó.

Información de la Fuente

Cada fuente se describe mediante un registro de información, retornado por cdc.source y cdc.list_sources.

admission cuenta reservas, no el llenado de la cola: active es el número de suscripciones admitidas, snapshots el subconjunto con snapshot habilitado, reserved_bytes el presupuesto de backlog reservado, y rejected el número acumulado de suscripciones rechazadas por los límites.

Permisos

La autoridad de CDC es independiente del acceso a la base de datos: una fuente puede exponer cada fila capturada, incluidas las imágenes previas. Los filtros de stream solo restringen la entrega; nunca conceden acceso a una fuente.

- name: cdc_reader
  kind: security.policy
  policy:
    effect: allow
    actions: [cdc.source, cdc.subscribe]
    resources: [app:changes]

Vea También

• Módulo CDC - API de streaming en Lua
• Base de Datos - Servicios de bases de datos SQL
• Entorno - Resolución de credenciales mediante ${env:NAME}
• Seguridad - Políticas y acciones