CDC PostgreSQL
CDC на примере. Часть 3
Разбираем путь заказа через PostgreSQL, Debezium, Kafka и обработчик — от создания до удаления.
2 мин
DATA ENGINEERING · БЛОГ И ПРАКТИКА
От источника
до результата
Разбираемся, как устроены данные.
От первого SQL-запроса до надёжных
пайплайнов и архитектуры больших систем.
SQL & PythonПрактикаСистемный подход
data_pipeline.py
01 from chaos import structure
DATABASE
API
EVENTS
Extract & LoadСобираем данные из источников
01TransformПревращаем данные в структуру
02Data WarehouseГотово к аналитике
✓❯ pipeline.run()
✓ From raw data to real value.
✓ From raw data to real value.
MADE / ENGINEERING MINDSET⌘
БАЗА ЗНАНИЙ
Разбираем по полочкам
Все материалы · 6Авторские разборы и опыт из реальных задач — Максим Костенко.
CDC / ЧАСТЬ 3
CDC
CAPTURE. STREAM. APPLY.CDC / ЧАСТЬ 2
CDC
CAPTURE. STREAM. APPLY.CDC Надёжность
CDC: подводные камни. Часть 2
Снапшоты, повторные события, удаления и лаг: что нужно учесть при построении CDC-пайплайна.
1 мин
CDC / ЧАСТЬ 1
CDC
CAPTURE. STREAM. APPLY.CDC Kafka
CDC: как таскать изменения из базы. Часть 1
Как отслеживать INSERT, UPDATE и DELETE и передавать изменения из рабочей базы в аналитическое хранилище.
1 мин
СЛЕДУЮЩИЙ УРОВЕНЬ
От знаний —
к работающим системам.
Здесь появятся практические курсы по Data Engineering.
Следите за анонсами в канале MADE.
Курсы
в разработке
О ПРОЕКТЕ
Место для тех, кто работает с данными.
MADE — продолжение Telegram-канала @madataengineer. Здесь сложные темы Data Engineering обретают структуру: понятные объяснения, инженерные подходы и практика.
к каналу