Eralda üksik tabel MySQL-tõmmisest

Mitte iga töö ei vaja kogu andmebaasi. Kui ehitad funktsiooni lokaalselt, ei taha sa harva täielikku tootmistõmmist, mis täidab su ketta ja võtab importimiseks tunni aega. Sa tahad seda peotäit tabeleid, mida funktsioon tegelikult puudutab.

Sama kehtib ka siis, kui silud üksikut tabelit — andmeprobleemi taastootmine orders-is ei nõua ülejäänud 126 tabelit — või teed osalist migreerimist, kus vaid mõned tabelid liiguvad uude teenusesse. Kõigil neil juhtudel on küsimus sama: kuidas saada ainult need tabelid hiiglaslikust tõmmisest välja, puhtalt ja kiiresti?

Sed/grep lähenemine ja miks see katkeb

Klassikaline vastus on lõigata fail sed-iga sektsioonipäiste vahelt, mida mysqldump iga tabeli jaoks kirjutab:

# tõmba tabel users välja mysqldump-failist
sed -n '/-- Table structure for table `users`/,/-- Table structure for table/p' dump.sql > users.sql

See tundub nutikas ja väikese, korraliku tõmmise peal võib see isegi korra toimida. Tõelise 7 GB faili peal laguneb see paljudel peentel viisidel koost:

• Mitmerealised INSERT-id. Üksainus INSERT INTO ... VALUES võib ulatuda tuhandete ridade üle. Reapõhised tööriistad nagu sed ja grep lõikavad need read pooleks ja toodavad faili, mis ei parsi.
• Tagurpidi ülakomad ja erimärgid. Veeruväärtused sisaldavad --, semikooloneid, tagurpidi ülakomasid, jutumärke ja reavahetusi stringide sees. Sinu muster sobitub tekstiga andmete sees, mis polnud kunagi mõeldud eraldajaks.
• Tabelinimed alamstringidena. user eraldamine haarab kaasa ka user_roles, user_sessions ja password_user, sest nimi esineb teiste alamstringina.
• Kommentaaride ja päiste triiv. Kommentaari täpne tekst erineb MySQL-i, MariaDB ja PostgreSQL-i versioonide vahel ning pg_dump ei kasuta üldse samu päiseid — nii et sama käsk tagastab vaikselt mitte midagi.
• Puudub välisvõtme teadlikkus. Isegi kui lõikad orders täiuslikult, viitavad selle read users-ile. sed-il pole aimugi, seega ei õnnestu eraldust importida välisvõtme veaga.

Lõpuks kuhjad awk-i grep-i peale, grep-i sed-i peale, testid alamhulkadel ja ikka ei usalda tulemust. On olemas parem viis.

Eralda tabelid DumpCleaneriga

DumpCleaner parsib tõmmise korralikult — see mõistab lausepiire, mitmerealisi INSERT-e, tagurpidi ülakomasid ja kommentaare — seega lõikab alati õigetel ridadel. Vajalike tabelite eraldamine võtab neli sammu:

1. Lohista oma .sql-tõmmis sisse. DumpCleaner voogedastab faili, seega 7 GB tõmmis avaneb konstantse mäluga, mitte laadides kogu asja.
2. Loe automaatselt tuvastatud tabeliloendit. Iga tabel parsitakse välja ja loetletakse koos ridade arvu ja suurusega — pole vaja kerida läbi miljonite ridade, et leida, mis seal on.
3. Vali tabelid, mida soovid. Märgi users, orders ja products või sisesta regulaaravaldis / välistusmuster nagu *_logs, et viia terved rühmad korraga välja.
4. Kaasa välisvõtme vanemad ja ekspordi. Soovi korral tõmba automaatselt sisse viidatud vanemtabelid, seejärel ekspordi puhas, imporditav fail.

Mõned asjad muudavad selle palju vähem nokitsevaks kui shell-tööriistad:

• Välistusmustrid nagu *_logs või *_sessions eemaldavad auditi ja seansi müra, ilma et peaksid käsitsi kümnetelt tabelitelt märke maha võtma.
• Regulaaravaldiste filtrid lasevad sobitada prefiksi, sufiksi või mis tahes mustri järgi — hoia näiteks kõike, mis sobib shop_*-iga.
• Reaalajas eelvaade näitab täpselt, millised tabelid väljundisse satuvad, kui valikut muudad.
• Hinnanguline väljundi suurus ütleb enne eksportimist, kui suur eraldus tuleb, nii et tead, kas see mahub lokaalselt ära.
• Välisvõtme sõltuvused saab automaatselt kaasata, nii et orders valimine toob vaikselt users-i kaasa ja eraldus imporditakse ilma piirangute vigadeta.

Korduma kippuvad küsimused