Extrakce jedné tabulky z MySQL dumpu

Ne každá práce potřebuje celou databázi. Když lokálně vyvíjíte funkci, málokdy chcete plný produkční dump, který zaplňuje disk a hodinu se importuje. Chcete tu hrstku tabulek, kterých se funkce skutečně dotýká.

Totéž platí, když ladíte jednu tabulku — reprodukce problému s daty v orders nevyžaduje dalších 126 tabulek — nebo když provádíte částečnou migraci, kdy se do nové služby přesouvá jen několik tabulek. Ve všech těchto případech je otázka stejná: jak dostat jen tyto tabulky z obřího dumpu, čistě a rychle?

Přístup sed/grep a proč selhává

Klasická odpověď je rozříznout soubor pomocí sed mezi hlavičkami sekcí, které mysqldump zapisuje pro každou tabulku:

# vytažení tabulky users z mysqldump souboru
sed -n '/-- Table structure for table `users`/,/-- Table structure for table/p' dump.sql > users.sql

Vypadá to chytře a na malém, úhledném dumpu to možná i jednou zafunguje. Na reálném 7GB souboru se to ale rozpadne mnoha nenápadnými způsoby:

• Víceřádkové INSERTy. Jediný INSERT INTO ... VALUES se může táhnout přes tisíce řádků. Řádkově orientované nástroje jako sed a grep tyto řádky rozseknou vejpůl a vytvoří soubor, který nelze naparsovat.
• Zpětné apostrofy a speciální znaky. Hodnoty sloupců obsahují --, středníky, zpětné apostrofy, uvozovky a nové řádky uvnitř řetězců. Váš vzor se shoduje s textem uvnitř dat, který nikdy neměl být oddělovačem.
• Názvy tabulek jako podřetězce. Extrakce user zachytí i user_roles, user_sessions a password_user, protože se název objevuje jako podřetězec jiných.
• Komentáře a hlavičky se liší. Přesné znění komentářů se mění mezi verzemi MySQL, MariaDB a PostgreSQL a pg_dump stejné hlavičky nepoužívá vůbec — takže tentýž příkaz tiše nevrátí nic.
• Žádné povědomí o cizích klíčích. I když orders rozříznete dokonale, její řádky odkazují na users. sed o tom nemá tušení, takže se extrakt neimportuje kvůli chybě cizího klíče.

Skončíte tak, že vršíte awk na grep na sed, testujete na podmnožinách a stejně výsledku nevěříte. Existuje lepší způsob.

Extrakce tabulek s DumpCleaner

DumpCleaner dump parsuje pořádně — rozumí hranicím příkazů, víceřádkovým INSERTům, zpětným apostrofům i komentářům — takže vždy řeže na správných řádcích. Extrakce potřebných tabulek zabere čtyři kroky:

1. Přetáhněte svůj .sql dump dovnitř. DumpCleaner streamuje soubor, takže se 7GB dump otevře s konstantní pamětí místo načítání celku.
2. Přečtěte si automaticky rozpoznaný seznam tabulek. Každá tabulka je vyparsována a vypsána s počtem řádků a velikostí — žádné scrollování milionem řádků, abyste zjistili, co tam je.
3. Vyberte tabulky, které chcete. Zaškrtněte users, orders a products, nebo zadejte regulární výraz / vylučovací vzor jako *_logs a zahoďte celé skupiny naráz.
4. Zahrňte nadřazené tabulky cizích klíčů a exportujte. Volitelně automaticky přiberte odkazované nadřazené tabulky a poté vyexportujte čistý, importovatelný soubor.

Několik věcí činí tento postup mnohem méně otravným než nástroje shellu:

• Vylučovací vzory jako *_logs nebo *_sessions odstraní šum z auditů a relací, aniž byste ručně odškrtávali desítky tabulek.
• Regex filtry umožňují shodu podle prefixu, sufixu nebo libovolného vzoru — třeba ponechat vše, co odpovídá shop_*.
• Živý náhled ukazuje přesně, které tabulky skončí ve výstupu, jak měníte výběr.
• Odhadovaná velikost výstupu vám před exportem řekne, jak velký extrakt bude, takže víte, že se vám lokálně vejde.
• Závislosti cizích klíčů lze zahrnout automaticky, takže výběr orders potichu přibere i users a extrakt se naimportuje bez chyb omezení.

Časté dotazy