Extrakcia jednej tabuľky z MySQL dumpu

Nie každá úloha potrebuje celú databázu. Keď lokálne staviate funkciu, len zriedka chcete, aby vám plný produkčný dump zapĺňal disk a importoval sa hodinu. Chcete tú hŕstku tabuliek, ktorých sa funkcia naozaj dotýka.

To isté platí, keď ladíte jednu tabuľku — reprodukovanie problému s dátami v orders nevyžaduje ďalších 126 tabuliek — alebo robíte čiastočnú migráciu, kde sa do novej služby presúva len niekoľko tabuliek. Vo všetkých týchto prípadoch je otázka rovnaká: ako dostanem len tieto tabuľky z obrovského dumpu, čisto a rýchlo?

Prístup sed/grep a prečo zlyháva

Klasickou odpoveďou je rozrezať súbor pomocou sed medzi hlavičkami sekcií, ktoré mysqldump zapisuje pre každú tabuľku:

# vytiahnite tabuľku users z mysqldump súboru
sed -n '/-- Table structure for table `users`/,/-- Table structure for table/p' dump.sql > users.sql

Vyzerá to chytro a na malom, upratanom dumpe to raz možno aj zafunguje. Na skutočnom 7 GB súbore sa to rozpadne mnohými zákernými spôsobmi:

• Viacriadkové INSERTy. Jediný INSERT INTO ... VALUES sa môže rozprestierať cez tisíce riadkov. Riadkovo orientované nástroje ako sed a grep tie riadky rozseknú napoly a vytvoria súbor, ktorý sa neparsuje.
• Spätné úvodzovky a špeciálne znaky. Hodnoty stĺpcov obsahujú --, bodkočiarky, spätné úvodzovky, úvodzovky a nové riadky vnútri reťazcov. Váš vzor sa zhoduje s textom vnútri dát, ktorý nikdy nemal byť oddeľovačom.
• Názvy tabuliek ako podreťazce. Extrakcia user zoberie aj user_roles, user_sessions a password_user, pretože názov sa objavuje ako podreťazec iných.
• Komentáre a hlavičky sa menia. Presný text komentára sa líši medzi verziami MySQL, MariaDB a PostgreSQL a pg_dump vôbec nepoužíva rovnaké hlavičky — takže rovnaký príkaz potichu nevráti nič.
• Žiadne povedomie o cudzích kľúčoch. Aj keď orders rozrežete dokonale, jej riadky odkazujú na users. sed o tom nemá tušenie, takže extrakt sa nedá naimportovať kvôli chybe cudzieho kľúča.

Skončíte tak, že navrstvíte awk na grep na sed, testujete na podmnožinách a výsledku aj tak neveríte. Existuje lepší spôsob.

Extrahujte tabuľky s DumpCleaner

DumpCleaner parsuje dump poriadne — rozumie hraniciam príkazov, viacriadkovým INSERTom, spätným úvodzovkám a komentárom — takže vždy reže na správnych riadkoch. Extrakcia tabuliek, ktoré potrebujete, zaberie štyri kroky:

1. Pretiahnite svoj .sql dump dovnútra. DumpCleaner prúduje súbor, takže 7 GB dump sa otvorí s konštantnou pamäťou namiesto načítania celej veci.
2. Prečítajte si automaticky detegovaný zoznam tabuliek. Každá tabuľka je vyparsovaná a vypísaná s počtom riadkov a veľkosťou — žiadne rolovanie cez milióny riadkov pri hľadaní, čo tam je.
3. Vyberte tabuľky, ktoré chcete. Zaškrtnite users, orders a products, alebo napíšte regulárny výraz / vylučovací vzor ako *_logs a zahoďte celé skupiny naraz.
4. Zahrňte nadradené tabuľky cudzích kľúčov a exportujte. Voliteľne automaticky pritiahnite odkazované nadradené tabuľky a potom exportujte čistý, importovateľný súbor.

Niekoľko vecí robí toto oveľa menej otravné ako shellové nástroje:

• Vylučovacie vzory ako *_logs alebo *_sessions odstránia šum z auditných a session tabuliek bez ručného odškrtávania desiatok tabuliek.
• Regex filtre vám umožňujú zhodu podľa predpony, prípony alebo akéhokoľvek vzoru — ponechajte napríklad všetko, čo zodpovedá shop_*.
• Živý náhľad presne ukazuje, ktoré tabuľky skončia vo výstupe, keď meníte výber.
• Odhadovaná veľkosť výstupu vám povie, aký veľký bude extrakt ešte pred exportom, takže viete, že sa lokálne zmestí.
• Závislosti cudzích kľúčov možno zahrnúť automaticky, takže výber orders ticho pritiahne aj users a extrakt sa naimportuje bez chýb obmedzení.

Často kladené otázky