Change Data Capture

Потоковая передача построчных изменений из базы данных. Источник CDC захватывает вставки, обновления и удаления, при необходимости сначала передаёт каждому подписчику согласованный снимок существующих строк и доставляет всё в виде нейтральных к драйверу событий изменений. Источники адресуются по ID своей записи и потребляются из Lua через модуль cdc.

Типы записей

Оба вида предоставляют один и тот же Lua API, одну и ту же запись с информацией об источнике и одну и ту же форму события изменения. Различается набор гарантий, публикуемый для каждого источника в виде возможностей.

Конфигурация Postgres

- name: pg_cdc
  kind: db.cdc.postgres
  host: ${env:DB_HOST}
  port: 5432
  database: app
  username: ${env:DB_USER}
  password: ${env:app.secrets:db_password}
  slot_name: wippy_slot
  publication: wippy_pub
  tables:
    - public.users
    - public.orders
  snapshot: true
  streaming: true
  standby_interval: "10s"
  status_interval: "10s"
  lifecycle:
    auto_start: true

Ноль в любом поле max_* выбирает значение по умолчанию; декодер никогда не работает без ограничений. Отрицательные значения отклоняются.

Учётные данные разрешают плейсхолдеры ${env:NAME} через реестр окружения во время декодирования.

Конфигурация SQLite

Источник SQLite не открывает собственную базу данных. Он заимствует существующий ресурс db.sql.sqlite и подписывается на наблюдателя зафиксированных мутаций этого ресурса, поэтому захватывает ровно те записи, которые сделаны через этот SQL-ресурс Wippy — записи другого процесса, другого соединения или внешнего инструмента не наблюдаются.

- name: cdcdb
  kind: db.sql.sqlite
  file: /var/data/app.db
  lifecycle:
    auto_start: true

- name: changes
  kind: db.cdc.sqlite
  db_resource: app:cdcdb
  tables:
    - users
    - orders
  snapshot: true
  status_interval: "30s"
  lifecycle:
    auto_start: true

Источник объявляет SQL-ресурс требованием жизненного цикла, поэтому супервизор сначала запускает базу данных и перезапускает источник, когда поколение базы данных заменяется.

Лимиты подписок

Каждый источник допускает ограниченное число подписчиков и резервирует их очередь по худшему случаю заранее. Слот снимка остаётся зарезервированным, пока поток со снимком не закроется.

subscriptions:
  max_subscriptions: 1024
  max_snapshot_subscriptions: 4
  max_bytes: 268435456

Ноль выбирает значение по умолчанию; отрицательные значения отклоняются. Исчерпание лимита завершает подписку повторяемой ошибкой errors.UNAVAILABLE.

Как это работает

1. Источник Postgres подключается как пользователь репликации и создаёт (или возобновляет) слот с именем из slot_name. Источник SQLite заимствует свой db_resource и подписывается на наблюдателя зафиксированных мутаций этого ресурса.
2. Изменения строк декодируются в нейтральные к драйверу события изменений с op, равным insert, update, delete или truncate.
3. Подписчик, у которого в потоке включён snapshot — из поля snapshot записи или из opts.snapshot в потоке — сначала получает существующие строки как события с op = "snapshot", затем продолжает живыми изменениями без разрыва между ними.
4. Источник Postgres периодически подтверждает LSN, чтобы сервер мог освобождать сегменты WAL (standby_interval).
5. Источник регистрируется под ID своей записи; код на Lua подписывается через cdc.stream.

Возможности

Каждый источник публикует то, что он гарантирует, поэтому потребители ветвятся по возможностям, а не по виду записи.

Флаги возможностей описывают прогресс источника, а не надёжную доставку: ни один драйвер не воспроизводит события для отдельного подписчика, который отстал или отключился.

Информация об источнике

Каждый источник описывается записью информации, которую возвращают cdc.source и cdc.list_sources.

admission считает резервирования, а не заполнение очереди: active — число допущенных подписок, snapshots — подмножество со снимком, reserved_bytes — зарезервированный бюджет очередей, а rejected — суммарное число подписок, отклонённых лимитами.

Разрешения

Полномочия CDC отделены от доступа к базе данных: источник может раскрыть каждую захваченную строку, включая образы до изменения. Фильтры потока лишь сужают доставку; они никогда не дают доступ к источнику.

- name: cdc_reader
  kind: security.policy
  policy:
    effect: allow
    actions: [cdc.source, cdc.subscribe]
    resources: [app:changes]

См. также

• Модуль CDC - Потоковый Lua API
• Database - Сервисы SQL-баз данных
• Environment - Разрешение учётных данных через ${env:NAME}
• Security - Политики и действия