Udtræk en enkelt tabel fra en MySQL-dump

Ikke enhver opgave kræver hele databasen. Når du bygger en funktion lokalt, ønsker du sjældent en fuld produktionsdump, der fylder din disk og tager en time at importere. Du vil have den håndfuld tabeller, funktionen faktisk berører.

Det samme gælder, når du fejlfinder en enkelt tabel — at genskabe et dataproblem i orders kræver ikke de andre 126 tabeller — eller laver en delvis migrering, hvor kun nogle få tabeller flytter til en ny tjeneste. I alle disse tilfælde er spørgsmålet det samme: hvordan får jeg bare disse tabeller ud af en kæmpe dump, rent og hurtigt?

sed/grep-tilgangen og hvorfor den går i stykker

Det klassiske svar er at skære filen op med sed mellem de sektionsoverskrifter, mysqldump skriver for hver tabel:

# træk users-tabellen ud af en mysqldump-fil
sed -n '/-- Table structure for table `users`/,/-- Table structure for table/p' dump.sql > users.sql

Det ser smart ud, og på en lille, ryddelig dump virker det måske endda én gang. På en rigtig fil på 7 GB falder det fra hinanden på mange subtile måder:

• Flerlinjede INSERTs. En enkelt INSERT INTO ... VALUES kan spænde over tusinder af linjer. Linjeorienterede værktøjer som sed og grep skærer disse rækker over på midten og producerer en fil, der ikke kan parses.
• Backticks og specialtegn. Kolonneværdier indeholder --, semikoloner, backticks, anførselstegn og linjeskift inde i strenge. Dit mønster matcher tekst inde i data, der aldrig var ment som en afgrænser.
• Tabelnavne som delstrenge. At udtrække user tager også user_roles, user_sessions og password_user med, fordi navnet optræder som en delstreng af andre.
• Kommentarer og overskrifter driver. Den præcise kommentartekst varierer mellem MySQL-, MariaDB- og PostgreSQL-versioner, og pg_dump bruger slet ikke de samme overskrifter — så den samme kommando returnerer stille intet.
• Ingen foreign key-bevidsthed. Selv hvis du skærer orders perfekt ud, refererer dens rækker til users. sed aner det ikke, så udtrækket fejler ved import med en foreign key-fejl.

Du ender med at stable awk oven på grep oven på sed, teste på undermængder og stadig ikke stole på resultatet. Der findes en bedre måde.

Udtræk tabeller med DumpCleaner

DumpCleaner parser dumpen korrekt — den forstår sætningsgrænser, flerlinjede INSERTs, backticks og kommentarer — så den skærer altid på de rigtige linjer. At udtrække de tabeller, du har brug for, tager fire trin:

1. Træk din .sql-dump ind. DumpCleaner streamer filen, så en dump på 7 GB åbnes med konstant hukommelse i stedet for at indlæse det hele.
2. Læs den automatisk registrerede tabelliste. Hver tabel parses ud og listes med sit rækkeantal og størrelse — ingen scrolling gennem millioner af linjer for at finde, hvad der er der.
3. Vælg de tabeller, du vil have. Sæt flueben ved users, orders og products, eller skriv et regex-/ekskluderingsmønster som *_logs for at droppe hele grupper på én gang.
4. Inkludér foreign key-forældre og eksportér. Træk eventuelt refererede forældretabeller ind automatisk, og eksportér så en ren, importerbar fil.

Et par ting gør dette langt mindre fikset end shell-værktøjer:

• Ekskluderingsmønstre som *_logs eller *_sessions fjerner audit- og session-støj uden at fjerne fluebenet ved dusinvis af tabeller i hånden.
• Regex-filtre lader dig matche efter præfiks, suffiks eller ethvert mønster — behold for eksempel alt, der matcher shop_*.
• En live-forhåndsvisning viser præcis, hvilke tabeller der ender i outputtet, mens du ændrer valget.
• En estimeret outputstørrelse fortæller dig, hvor stort udtrækket bliver, før du eksporterer, så du ved, det passer lokalt.
• Foreign key-afhængigheder kan inkluderes automatisk, så det at vælge orders stille tager users med, og udtrækket importeres uden constraint-fejl.

Ofte stillede spørgsmål