Izvlecite eno samo tabelo iz MySQL izvoza

Ne vsako opravilo potrebuje celotno bazo podatkov. Ko lokalno gradite funkcionalnost, redkokdaj želite, da vam poln produkcijski izvoz polni disk in za uvoz porabi celo uro. Želite le peščico tabel, ki se jih funkcionalnost dejansko dotika.

Enako velja, ko razhroščujete eno samo tabelo — za reprodukcijo težave s podatki v orders ne potrebujete drugih 126 tabel — ali izvajate delno migracijo, kjer se v novo storitev preseli le nekaj tabel. V vseh teh primerih je vprašanje enako: kako iz velikanskega izvoza dobim samo te tabele, čisto in hitro?

Pristop s sed/grep in zakaj se pokvari

Klasičen odgovor je, da datoteko razrežete s sed med glavami razdelkov, ki jih mysqldump zapiše za vsako tabelo:

# izvleci tabelo users iz mysqldump datoteke
sed -n '/-- Table structure for table `users`/,/-- Table structure for table/p' dump.sql > users.sql

Izgleda pametno in na majhnem, urejenem izvozu bi morda enkrat celo delovalo. Na pravi 7 GB datoteki pa razpade na veliko subtilnih načinov:

• Večvrstični INSERT stavki. En sam INSERT INTO ... VALUES lahko obsega na tisoče vrstic. Vrstično usmerjena orodja, kot sta sed in grep, te vrstice prepolovijo in ustvarijo datoteko, ki se ne razčleni.
• Nazaj obrnjeni narekovaji in posebni znaki. Vrednosti stolpcev vsebujejo --, podpičja, nazaj obrnjene narekovaje, narekovaje in prelome vrstic znotraj nizov. Vaš vzorec se ujema z besedilom znotraj podatkov, ki nikoli ni bilo mišljeno kot ločilo.
• Imena tabel kot podnizi. Izvlečenje user zajame tudi user_roles, user_sessions in password_user, ker se ime pojavi kot podniz drugih.
• Komentarji in glave se spreminjajo. Natančno besedilo komentarjev se razlikuje med različicami MySQL, MariaDB in PostgreSQL, pg_dump pa sploh ne uporablja enakih glav — zato isti ukaz tiho ne vrne ničesar.
• Brez zavedanja tujih ključev. Tudi če orders razrežete popolno, se njene vrstice sklicujejo na users. sed o tem nima pojma, zato se izvleček ne uspe uvoziti zaradi napake tujega ključa.

Na koncu zlagate awk na grep na sed, preizkušate na podmnožicah in rezultatu še vedno ne zaupate. Obstaja boljši način.

Izvlecite tabele z DumpCleaner

DumpCleaner izvoz pravilno razčleni — razume meje stavkov, večvrstične INSERT stavke, nazaj obrnjene narekovaje in komentarje — zato vedno reže na pravih vrsticah. Izvlečenje potrebnih tabel poteka v štirih korakih:

1. Povlecite svoj .sql izvoz noter. DumpCleaner datoteko pretaka, zato se 7 GB izvoz odpre s konstantnim pomnilnikom, namesto da bi naložil celoto.
2. Preberite samodejno zaznan seznam tabel. Vsaka tabela je razčlenjena in navedena s številom vrstic in velikostjo — nobenega drsenja skozi milijone vrstic, da bi našli, kaj je notri.
3. Izberite želene tabele. Obkljukajte users, orders in products ali vnesite vzorec regularnega izraza / izključitve, kot je *_logs, da naenkrat izpustite cele skupine.
4. Vključite nadrejene tabele tujih ključev in izvozite. Po želji samodejno pritegnite referencirane nadrejene tabele, nato izvozite čisto, uvozljivo datoteko.

Nekaj stvari to naredi precej manj zapleteno kot lupinska orodja:

• Vzorci izključitve, kot sta *_logs ali *_sessions, odstranijo šum revizij in sej, ne da bi ročno odkljukali na desetine tabel.
• Filtri regularnih izrazov vam omogočajo ujemanje po predponi, priponi ali poljubnem vzorcu — na primer, obdržite vse, kar se ujema z shop_*.
• Predogled v živo prikaže natanko, katere tabele bodo pristale v izhodu, ko spreminjate izbor.
• Ocenjena velikost izhoda vam pove, kako velik bo izvleček, še preden izvozite, tako da veste, da se bo lokalno prilegal.
• Odvisnosti tujih ključev je mogoče vključiti samodejno, tako da izbor orders tiho pripelje s seboj users in se izvleček uvozi brez napak omejitev.

Pogosta vprašanja