Een groot SQL-dumpbestand openen op Mac (zonder crash)

Een dump van een productiedatabase kan makkelijk tientallen gigabytes bereiken. Op het moment dat je die probeert te openen in een normale teksteditor, gaat de ventilator van je Mac aan, verschijnt het draaiende strandbal-icoon, en uiteindelijk sluit de app af — soms met verlies van onopgeslagen werk in andere vensters.

Waarom editors vastlopen op grote dumps

VS Code, TextEdit, Sublime Text en consorten zijn ontworpen om het hele bestand in het geheugen te laden, zodat ze direct kunnen scrollen, zoeken en highlighten. Dat is prima voor een bronbestand van 2 MB. Voor een dump van 40 GB betekent het dat de editor probeert 40 GB (plus overhead voor zijn interne datastructuren) in RAM te reserveren.

Je Mac heeft 16 of 32 GB. Lang voordat het bestand volledig geladen is, raakt het systeem door zijn fysieke geheugen heen, begint het naar schijf te swappen en komt het tot stilstand. De meeste editors weigeren ook botweg: VS Code beperkt bestanden tot ongeveer 50 MB voor de volledige editor en schakelt over naar een uitgeklede modus, TextEdit blijft simpelweg hangen, en Sublime blijft geheugen reserveren tot het crasht. Zelfs als je het bestand openkrijgt, herscannen syntax-highlighting en zoeken gigabytes bij elke toetsaanslag.

Het kernprobleem: deze tools gaan uit van willekeurige toegang tot het hele document. Een dump heeft dat niet nodig — het is een sequentiële lijst van statements. Je hoeft er alleen doorheen te streamen.

De command-line-manier

De Unix-tools op je Mac streamen al, dus ze laden nooit het hele bestand. Ze zijn het klassieke eerste redmiddel:

# Bekijk de eerste en laatste regels zonder het hele bestand te openen
head -n 50 dump.sql
tail -n 50 dump.sql

# Splits de dump in stukken van 100 MB met de naam part_aa, part_ab, ...
split -b 100m dump.sql part_

# Haal het blok van één tabel eruit tussen twee markeringen
sed -n '/CREATE TABLE `users`/,/UNLOCK TABLES/p' dump.sql > users.sql

Dit werkt, maar het is fragiel en omslachtig. split -b knipt op ruwe bytegrenzen, dus het snijdt dwars door het midden van een INSERT-statement — de resulterende stukken zijn op zichzelf geen geldige SQL. De sed-truc met bereiken hangt af van de exacte markeringen die een specifieke dump-tool toevallig produceert; verander de MySQL-versie of stap over op PostgreSQL en het patroon matcht niet meer. En niets ervan geeft je zicht op wat er daadwerkelijk in het bestand zit — je gokt welke tabel die van 30 GB is voordat je die überhaupt kunt aanpakken.

Openen en filteren met DumpCleaner

DumpCleaner is precies voor deze bestandsgrootte gebouwd. Het streamt de dump zoals de command line dat doet, maar het begrijpt SQL-structuur, dus je krijgt een echte tabellenlijst en veilige, statement-bewuste uitvoer:

1. Sleep het bestand erin. DumpCleaner opent de dump door die in stukken van ~1 MB te streamen — een bestand van 50 GB opent met ruwweg 50 MB RAM, dus niets bevriest.
2. Bekijk elke tabel. Het scant de dump en toont elke tabel met zijn grootte, zodat je meteen ziet welke het bestand opblaast.
3. Deselecteer wat je niet nodig hebt. Vink de gigantische log-, sessie- of analytics-tabellen uit. DumpCleaner houdt hele statements intact — geen half doorgesneden INSERTs.
4. Exporteer. Schrijf een nieuw, kleiner .sql-bestand dat eindelijk vlot opent en importeert. Je originele bestand wordt nooit gewijzigd.

Omdat het dumps van 50 GB en groter verwerkt met constant geheugengebruik, hoef je helemaal niet over het RAM van je Mac na te denken. En omdat het de bron leest en een aparte uitvoer schrijft, blijft de dump waarmee je begon precies zoals die was.

Veelgestelde vragen