Com obrir un fitxer d'abocament SQL gran al Mac (sense fallades)

Un abocament d'una base de dades de producció pot arribar fàcilment a desenes de gigabytes. En el moment que intentes obrir-lo en un editor de text normal, el ventilador del Mac s'accelera, apareix la bola de platja i finalment l'aplicació es tanca, de vegades emportant-se feina no desada d'altres finestres.

Per què els editors s'ennueguen amb abocaments grans

VS Code, TextEdit, Sublime Text i companyia estan dissenyats per carregar el fitxer sencer a la memòria per poder desplaçar-se, cercar i ressaltar a l'instant. Això va bé per a un fitxer font de 2 MB. Per a un abocament de 40 GB vol dir que l'editor intenta reservar 40 GB (més la sobrecàrrega de les seves estructures de dades internes) a la RAM.

El teu Mac té 16 o 32 GB. Molt abans que el fitxer estigui completament carregat, el sistema es queda sense memòria física, comença a fer swap al disc i s'atura del tot. La majoria d'editors també s'hi neguen directament: VS Code limita els fitxers a uns 50 MB per a l'editor complet i passa a un mode reduït, TextEdit simplement es penja i Sublime reserva memòria fins que peta. Fins i tot si aconsegueixes obrir el fitxer, el ressaltat de sintaxi i la cerca reescanejaran gigabytes a cada pulsació de tecla.

El problema de fons: aquestes eines assumeixen accés aleatori a tot el document. Un abocament no necessita això: és una llista seqüencial de sentències. Només cal recórrer-lo en flux.

La manera de la línia d'ordres

Les eines Unix del teu Mac ja treballen en flux, així que mai no carreguen el fitxer sencer. Són el primer recurs clàssic:

# Fes una ullada a les primeres i últimes línies sense obrir tot el fitxer
head -n 50 dump.sql
tail -n 50 dump.sql

# Divideix l'abocament en trossos de 100 MB anomenats part_aa, part_ab, ...
split -b 100m dump.sql part_

# Extreu el bloc d'una taula entre dues marques
sed -n '/CREATE TABLE `users`/,/UNLOCK TABLES/p' dump.sql > users.sql

Això funciona, però és fràgil i tediós. split -b talla per límits de bytes en brut, així que tallarà pel bell mig d'una sentència INSERT: els trossos resultants no són SQL vàlid per si sols. El truc de rang amb sed depèn de les marques exactes que una eina d'abocament concreta genera; canvia la versió de MySQL o passa a PostgreSQL i el patró ja no coincideix. I res d'això et dona una visió del que realment hi ha dins del fitxer: estàs endevinant quina taula és la de 30 GB abans de poder-la ni tan sols apuntar.

Obre'l i filtra'l amb DumpCleaner

DumpCleaner es va crear exactament per a aquesta mida de fitxer. Recorre l'abocament en flux com ho fa la línia d'ordres, però entén l'estructura SQL, així que obtens una llista de taules real i una sortida segura i conscient de les sentències:

1. Arrossega-hi el fitxer. DumpCleaner obre l'abocament recorrent-lo en trossos d'aproximadament 1 MB: un fitxer de 50 GB s'obre amb uns 50 MB de RAM, així que res no es penja.
2. Veu totes les taules. Escaneja l'abocament i llista cada taula amb la seva mida, així detectes de seguida quina infla el fitxer.
3. Desmarca el que no necessites. Desmarca les taules gegants de registre, de sessió o d'analítica. DumpCleaner manté les sentències senceres intactes: cap INSERT tallat a mitges.
4. Exporta. Escriu un fitxer .sql nou i més petit que finalment s'obre i s'importa còmodament. El teu fitxer original no es modifica mai.

Com que processa abocaments de 50 GB i més grans amb memòria constant, no has de pensar gens en la RAM del teu Mac. I com que llegeix l'origen i escriu una sortida separada, l'abocament amb què vas començar queda exactament com estava.

Preguntes freqüents