Izdvojite pojedinačnu tablicu iz MySQL dumpa

Ne treba svaki posao cijelu bazu podataka. Kad razvijate značajku lokalno, rijetko želite puni produkcijski dump koji vam puni disk i treba sat vremena za uvoz. Želite šačicu tablica koje značajka zapravo dodiruje.

Isto vrijedi kad otklanjate grešku u jednoj tablici — reprodukcija problema s podacima u orders ne zahtijeva ostale 126 tablica — ili radite djelomičnu migraciju, gdje se samo nekoliko tablica premješta u novu uslugu. U svim tim slučajevima pitanje je isto: kako da izvučem samo te tablice iz golemog dumpa, čisto i brzo?

Pristup sed/grep i zašto puca

Klasičan odgovor je izrezati datoteku pomoću sed-a između zaglavlja odjeljaka koje mysqldump zapisuje za svaku tablicu:

# izvuci tablicu users iz mysqldump datoteke
sed -n '/-- Table structure for table `users`/,/-- Table structure for table/p' dump.sql > users.sql

Izgleda domišljato, i na malom, urednom dumpu možda čak jednom i proradi. Na stvarnoj datoteci od 7 GB raspada se na mnogo suptilnih načina:

• Višeredni INSERT-ovi. Jedan INSERT INTO ... VALUES može se protezati kroz tisuće redaka. Alati orijentirani na retke poput sed-a i grep-a prepolove te retke i proizvedu datoteku koja se neće parsirati.
• Backtickovi i posebni znakovi. Vrijednosti stupaca sadrže --, točke sa zarezom, backtickove, navodnike i prijelome reda unutar stringova. Vaš uzorak podudara tekst unutar podataka koji nikad nije bio zamišljen kao razdjelnik.
• Nazivi tablica kao podnizovi. Izdvajanje user također hvata user_roles, user_sessions i password_user, jer se naziv pojavljuje kao podniz drugih.
• Komentari i zaglavlja variraju. Točan tekst komentara razlikuje se između verzija MySQL-a, MariaDB-a i PostgreSQL-a, a pg_dump uopće ne koristi ista zaglavlja — pa ista naredba tiho ne vrati ništa.
• Nema svijesti o vanjskim ključevima. Čak i ako savršeno izrežete orders, njegovi reci referenciraju users. sed to ne zna, pa se izdvojak ne uvozi zbog greške vanjskog ključa.

Na kraju gomilate awk na grep na sed, testirate na podskupovima i još uvijek ne vjerujete rezultatu. Postoji bolji način.

Izdvojite tablice s DumpCleanerom

DumpCleaner ispravno parsira dump — razumije granice naredbi, višeredne INSERT-ove, backtickove i komentare — pa uvijek reže na pravim retcima. Izdvajanje tablica koje trebate traje četiri koraka:

1. Povucite svoj .sql dump unutra. DumpCleaner protočno obrađuje datoteku, pa se dump od 7 GB otvara uz konstantnu memoriju umjesto učitavanja cijele stvari.
2. Pročitajte automatski otkriven popis tablica. Svaka je tablica isparsirana i navedena s brojem redaka i veličinom — nema pomicanja kroz milijune redaka da nađete što je unutra.
3. Odaberite tablice koje želite. Označite users, orders i products, ili upišite regex / uzorak isključivanja poput *_logs da odbacite cijele grupe odjednom.
4. Uključite nadređene tablice vanjskih ključeva i izvezite. Po želji automatski povucite referencirane nadređene tablice, zatim izvezite čistu datoteku spremnu za uvoz.

Nekoliko stvari čini ovo puno manje petljanja od alata iz ljuske:

• Uzorci isključivanja poput *_logs ili *_sessions uklanjaju šum revizija i sesija bez ručnog odznačivanja desetaka tablica.
• Regex filtri omogućuju podudaranje po prefiksu, sufiksu ili bilo kojem uzorku — zadržite sve što odgovara shop_*, na primjer.
• Pretpregled uživo pokazuje točno koje će tablice završiti u izlazu dok mijenjate odabir.
• Procijenjena veličina izlaza kaže vam koliko će izdvojak biti velik prije izvoza, pa znate da će stati lokalno.
• Ovisnosti vanjskih ključeva mogu se uključiti automatski, pa odabir orders tiho povlači users sa sobom i izdvojak se uvozi bez grešaka ograničenja.

Često postavljana pitanja