Ekspordi SQL-tõmmisest ainult skeem (struktuur)

Kolm olukorda tulevad pidevalt ette:

• Skeemi püstitamine testkeskkonna või CI jaoks — soovid tühja tabelistruktuuri, et testid saaksid joosta reaalsete veergude, indeksite ja piirangute vastu, kuid sa absoluutselt ei taha saata gigabaite tootmisridu ühekordsesse keskkonda.
• Ainult algandmed — skeem on juba sihtandmebaasis olemas ja sul on vaja lihtsalt INSERT-ridu selle täitmiseks, ilma CREATE-lauseteta, mis põrkuksid sellega, mis seal on.
• Vabane mürast — tõmmist paisutavad logs, sessions, audit_trail või cache tabelid kümnete miljonite ridadega, mida sa ei taha kunagi importida.

Miks mysqldump --no-data ei ole piisav

Klassikaline nõuanne on mysqldump --no-data (ainult struktuur) või mysqldump --no-create-info (ainult andmed). Mõlemad on ekspordilipud: need muudavad, mida värske tõmmis töötavast andmebaasist sisaldab. Need ei tee midagi tõmmise jaoks, mis on sul juba .sql-failina kettal olemas.

Praktikas saabub fail sageli kelleltki teiselt või varundustööst või serverist, millele sul enam otseligipääsu pole. Sa ei saa mysqldump-i uuesti käivitada andmebaasi vastu, mis pole kättesaadav — mandaadid on kadunud, server on kasutuselt kõrvaldatud või fail on lihtsalt kõik, mis sulle anti. Sel hetkel on lipud kasutud ja sa oled jäetud faili ennast redigeerima.

Käsitsi viis

Ilmne samm on ridade eemaldamine grep-i või sed-iga. Struktuuri hoidmiseks ja andmete kõrvaldamiseks:

# hoia kõike peale INSERT-ridade
grep -v '^INSERT INTO' dump.sql > schema.sql

# või hoia ainult INSERT-read ainult-andmete faili jaoks
grep '^INSERT INTO' dump.sql > data.sql

See tundub korras väikese, korraliku tõmmise peal — ja siis katkeb tõelise peal:

• Mitmerealised INSERT-id. Üksainus INSERT INTO … VALUES võib ulatuda tuhandete ridade üle. grep sobitab esimese rea ja jätab ülejäänud väärtused orvuks, tootes katkise faili.
• Laiendatud lisamised. mysqldump pakib palju ridu ühte hiiglaslikku lausesse. Reapõhised filtrid ei suuda öelda, kus selline lause lõpeb.
• Kommentaarid ja plokid. Tinglikud /*! … */ plokid, LOCK TABLES ja -- kommentaarid põimuvad andmetega, seega naiivne filter kas hoiab prügi või lõikab midagi, mida import vajab.
• Ainult-andmed on hullem. Puhas grep '^INSERT' viskab minema SET- ja LOCK-laused, millest read sõltuvad, ja iga INSERT, mis ei alga täpselt veerult null, kaob vaikselt.

Lõpuks silud oma filtrit, selle asemel et saada oma skeem kätte.

Ainult struktuur või ainult andmed DumpCleaneriga

DumpCleaner mõistab SQL-lauseid, selle asemel et sobitada ridu, seega lahutab see struktuuri andmetest usaldusväärselt — mis tahes suurusega failides:

1. Lohista oma .sql-tõmmis DumpCleanerisse (MySQL, MariaDB või PostgreSQL). See parsib faili voogedastades, seega mitmegigabaidine tõmmis laaditakse konstantse mäluga.
2. Lülita sisse/välja lausetüübid, mida soovid: CREATE TABLE, CREATE INDEX, INSERT INTO, ALTER, DROP, LOCK, SET. Võta märge maha INSERT INTO-lt ja saad ainult struktuuri; võta märge maha CREATE TABLE / CREATE INDEX-lt ja saad ainult andmed.
3. Või vali eelseadistus — Ainult struktuur või Ainult andmed — et seada kõik lülitid ühe sammuga, seejärel täpsusta soovi korral tabelite kaupa.
4. Ekspordi. Saad lahja skeemifaili testkeskkonna või CI jaoks või puhta ainult-andmete tõmmise algandmete jaoks.

Kuna filter on lauseteadlik, hoitakse või kõrvaldatakse mitmerealine laiendatud INSERT tervikuna — seda ei lõigata kunagi keskelt läbi.

Tegelik võimsus seisneb selles, et filtreerimine töötab lausetüübi kaupa ja tabeli kaupa, ning need kaks kombineeruvad. Sa saad hoida iga tabeli struktuuri, kuid kaasata INSERT-andmed ainult kolme tabeli jaoks, mida tegelikult vajad — jättes 89 miljoni realise logs-tabeli tühjaks kojaks. See on midagi, mida ükski --no-data lipp ei suuda väljendada.

Korduma kippuvad küsimused