Извличане на една таблица от MySQL дъмп

Не всяка задача се нуждае от цялата база данни. Когато разработвате функционалност локално, рядко искате пълен продукционен дъмп да пълни диска ви и да отнема час за импорт. Искате шепата таблици, които функционалността действително използва.

Същото важи, когато дебъгвате една таблица — възпроизвеждането на проблем с данните в orders не изисква останалите 126 таблици — или правите частична миграция, при която само няколко таблици се преместват в нова услуга. Във всички тези случаи въпросът е един и същ: как да извадя само тези таблици от гигантски дъмп, чисто и бързо?

Подходът със sed/grep и защо се проваля

Класическият отговор е да нарежете файла със sed между заглавията на секциите, които mysqldump записва за всяка таблица:

# извади таблицата users от mysqldump файл
sed -n '/-- Table structure for table `users`/,/-- Table structure for table/p' dump.sql > users.sql

Изглежда умно и на малък, подреден дъмп може дори да проработи веднъж. На истински файл от 7 GB се разпада по много незабележими начини:

• Многоредови INSERT заявки. Една единствена INSERT INTO ... VALUES може да се простира на хиляди редове. Ориентираните към редове инструменти като sed и grep разрязват тези редове наполовина и произвеждат файл, който няма да се парсне.
• Обратни апострофи и специални символи. Стойностите на колоните съдържат --, точки и запетаи, обратни апострофи, кавички и нови редове вътре в низовете. Вашият шаблон съвпада с текст вътре в данните, който никога не е бил замислен като разделител.
• Имена на таблици като подниз. Извличането на user хваща също user_roles, user_sessions и password_user, защото името се появява като подниз на други.
• Коментари и заглавия се разминават. Точният текст на коментарите варира между версиите на MySQL, MariaDB и PostgreSQL, а pg_dump изобщо не използва същите заглавия — така че същата команда мълчаливо не връща нищо.
• Няма осъзнатост за външни ключове. Дори да нарежете orders перфектно, редовете му реферират users. sed няма представа, така че извлеченото не се импортира заради грешка с външен ключ.

Накрая трупате awk върху grep върху sed, тествате върху подмножества и все още не се доверявате на резултата. Има по-добър начин.

Извличане на таблици с DumpCleaner

DumpCleaner парсва дъмпа правилно — разбира границите на заявките, многоредовите INSERT заявки, обратните апострофи и коментарите — така че винаги реже на правилните редове. Извличането на таблиците, които ви трябват, отнема четири стъпки:

1. Плъзнете вашия .sql дъмп вътре. DumpCleaner преминава файла поточно, така че дъмп от 7 GB се отваря с постоянна памет, вместо да зарежда цялото нещо.
2. Прочетете автоматично засечения списък с таблици. Всяка таблица е парсната и изброена с броя редове и размера си — без превъртане през милиони редове, за да откриете какво има.
3. Изберете таблиците, които искате. Отметнете users, orders и products, или напишете regex / шаблон за изключване като *_logs, за да махнете цели групи наведнъж.
4. Включете родителите с външни ключове и експортирайте. По желание автоматично добавете реферираните родителски таблици, след което експортирайте чист, годен за импорт файл.

Няколко неща правят това доста по-малко досадно от инструментите на обвивката:

• Шаблони за изключване като *_logs или *_sessions премахват шума от одити и сесии, без да махате отметките на десетки таблици на ръка.
• Regex филтри ви позволяват да съвпадате по префикс, суфикс или всякакъв шаблон — запазете всичко съвпадащо с shop_*, например.
• Живо визуализиране показва точно кои таблици ще се озоват в изхода, докато променяте селекцията.
• Прогнозен размер на изхода ви казва колко голямо ще бъде извлеченото, преди да експортирате, така че знаете, че ще се побере локално.
• Зависимости на външните ключове могат да бъдат включени автоматично, така че изборът на orders тихо води и users, а извлеченото се импортира без грешки с ограниченията.

Често задавани въпроси