Експортувати лише схему (структуру) з SQL-дампу

Постійно виникають три ситуації:

• Підняти схему для стейджингу чи CI — вам потрібна порожня структура таблиць, щоб тести працювали проти справжніх стовпців, індексів і обмежень, але ви абсолютно не хочете відправляти гігабайти продакшн-рядків у одноразове середовище.
• Лише сідові дані — схема вже існує в цільовій базі даних, і вам потрібні лише рядки INSERT, щоб її наповнити, без операторів CREATE, які б конфліктували з наявним.
• Позбутися шуму — дамп роздутий таблицями logs, sessions, audit_trail чи cache з десятками мільйонів рядків, які ви ніколи не хочете імпортувати.

Чому mysqldump --no-data недостатньо

Класична порада — mysqldump --no-data (лише структура) або mysqldump --no-create-info (лише дані). Обидва — це прапорці експорту: вони змінюють те, що містить свіжий дамп з працюючої бази даних. Вони нічого не роблять для дампу, який у вас уже лежить на диску як файл .sql.

На практиці файл часто надходить від когось іншого, з завдання резервного копіювання чи із сервера, до якого у вас більше немає живого доступу. Ви не можете перезапустити mysqldump проти бази даних, яка недосяжна — облікові дані зникли, сервер виведено з експлуатації, або файл — це просто все, що вам передали. У цей момент прапорці марні, і вам залишається редагувати сам файл.

Ручний спосіб

Очевидний хід — прибрати рядки за допомогою grep чи sed. Щоб зберегти структуру й прибрати дані:

# зберегти все, крім рядків INSERT
grep -v '^INSERT INTO' dump.sql > schema.sql

# або зберегти лише рядки INSERT для файлу лише з даними
grep '^INSERT INTO' dump.sql > data.sql

Це виглядає добре на маленькому, охайному дампі — а потім ламається на справжньому:

• Багаторядкові INSERT. Один INSERT INTO … VALUES може простягатися на тисячі рядків. grep збігається з першим рядком і залишає решту значень осиротілими, створюючи зламаний файл.
• Розширені вставки. mysqldump пакує багато рядків в один величезний оператор. Порядкові фільтри не можуть визначити, де такий оператор закінчується.
• Коментарі й блоки. Умовні блоки /*! … */, LOCK TABLES і коментарі -- чергуються з даними, тож наївний фільтр або залишає сміття, або вирізає щось потрібне для імпорту.
• Лише дані ще гірше. Чистий grep '^INSERT' викидає оператори SET і LOCK, від яких залежать рядки, а будь-який INSERT, що не починається точно з нульового стовпця, мовчки зникає.

Ви закінчуєте налагодженням власного фільтра замість того, щоб отримати свою схему.

Лише структура чи лише дані за допомогою DumpCleaner

DumpCleaner розуміє оператори SQL, а не зіставляє рядки, тож надійно розділяє структуру й дані — у файлах будь-якого розміру:

1. Перетягніть свій дамп .sql у DumpCleaner (MySQL, MariaDB чи PostgreSQL). Він парсить файл потоково, тож багатогігабайтний дамп завантажується з постійним споживанням пам'яті.
2. Перемкніть типи операторів, які вам потрібні: CREATE TABLE, CREATE INDEX, INSERT INTO, ALTER, DROP, LOCK, SET. Зніміть позначку з INSERT INTO — і ви отримаєте лише структуру; зніміть позначку з CREATE TABLE / CREATE INDEX — і ви отримаєте лише дані.
3. Або виберіть пресет — Лише структура чи Лише дані — щоб налаштувати всі перемикачі за один крок, а потім уточнити для окремих таблиць за бажанням.
4. Експортуйте. Ви отримаєте компактний файл схеми для стейджингу чи CI або чистий дамп лише з даними для наповнення.

Оскільки фільтр враховує оператори, багаторядковий розширений INSERT зберігається або відкидається цілком — ніколи не розрізається посередині.

Справжня сила в тому, що фільтрація працює для кожного типу оператора й для кожної таблиці, і ці два поєднуються. Ви можете зберегти структуру кожної таблиці, але включити дані INSERT лише для трьох таблиць, які вам справді потрібні — залишивши таблицю logs на 89 мільйонів рядків порожньою оболонкою. Це те, чого не може виразити жоден прапорець --no-data.

Поширені запитання