Slik åpner du en stor SQL-dumpfil på Mac (uten krasj)

En produksjonsdatabase-dump kan lett nå titalls gigabyte. I det øyeblikket du prøver å åpne den i en vanlig teksteditor, spinner Mac-viften opp, strandballen dukker opp, og til slutt avslutter appen — noen ganger tar den med seg ulagret arbeid i andre vinduer.

Hvorfor editorer kveles av store dumper

VS Code, TextEdit, Sublime Text og lignende er designet for å laste hele filen inn i minnet slik at de kan rulle, søke og fremheve umiddelbart. Det er greit for en kildefil på 2 MB. For en dump på 40 GB betyr det at editoren prøver å allokere 40 GB (pluss overhead for sine interne datastrukturer) i RAM.

Mac-en din har 16 eller 32 GB. Lenge før filen er fullstendig lastet, går systemet tom for fysisk minne, begynner å veksle til disk, og bremser til stillstand. De fleste editorer nekter også blankt: VS Code setter et tak på filer rundt 50 MB for den fullstendige editoren og går over i en nedstrippet modus, TextEdit henger seg rett og slett opp, og Sublime allokerer helt til den krasjer. Selv om du får åpnet filen, vil syntaksfremheving og søk skanne gigabyte på nytt ved hvert tastetrykk.

Kjerneproblemet: disse verktøyene forutsetter vilkårlig tilgang til hele dokumentet. En dump trenger ikke det — det er en sekvensiell liste med setninger. Du trenger bare å strømme gjennom den.

Kommandolinjemåten

Unix-verktøyene på Mac-en din strømmer allerede, så de laster aldri hele filen. De er den klassiske første utveien:

# Titt på de første og siste linjene uten å åpne hele filen
head -n 50 dump.sql
tail -n 50 dump.sql

# Del dumpen i biter på 100 MB kalt part_aa, part_ab, ...
split -b 100m dump.sql part_

# Trekk ut én tabells blokk mellom to markører
sed -n '/CREATE TABLE `users`/,/UNLOCK TABLES/p' dump.sql > users.sql

Dette fungerer, men det er skjørt og tungvint. split -b kutter på rå byte-grenser, så den vil skjære rett gjennom midten av en INSERT-setning — de resulterende bitene er ikke gyldig SQL på egen hånd. sed-intervalltrikset avhenger av de nøyaktige markørene et bestemt dumpeverktøy tilfeldigvis sender ut; endre MySQL-versjonen eller bytt til PostgreSQL, og mønsteret matcher ikke lenger. Og ingenting av det gir deg et bilde av hva som faktisk er i filen — du gjetter hvilken tabell som er den på 30 GB før du i det hele tatt kan sikte deg inn på den.

Åpne og filtrer den med DumpCleaner

DumpCleaner ble bygget for akkurat denne filstørrelsen. Den strømmer dumpen slik kommandolinjen gjør, men den forstår SQL-struktur, så du får en ekte tabelliste og trygge, setningsbevisste utdata:

1. Dra filen inn. DumpCleaner åpner dumpen ved å strømme den i biter på ~1 MB — en fil på 50 GB åpnes med omtrent 50 MB RAM, så ingenting fryser.
2. Se hver tabell. Den skanner dumpen og lister opp hver tabell med sin størrelse, så du umiddelbart ser hvilken som oppsveller filen.
3. Fjern det du ikke trenger. Fjern haken på de gigantiske logg-, økt- eller analysetabellene. DumpCleaner holder hele setninger intakte — ingen halvkuttede INSERT-er.
4. Eksporter. Skriv en ny, mindre .sql-fil som endelig åpnes og importeres komfortabelt. Originalfilen din blir aldri endret.

Fordi den behandler dumper på 50 GB og større med konstant minnebruk, trenger du ikke å tenke på Mac-ens RAM i det hele tatt. Og siden den leser kilden og skriver en separat utdatafil, forblir dumpen du startet med akkurat som den var.

Ofte stilte spørsmål