Poimi yksittäinen taulu MySQL-dumpista

Jokainen työ ei tarvitse koko tietokantaa. Kun rakennat ominaisuutta paikallisesti, haluat harvoin täyttä tuotantodumppia täyttämässä levyäsi ja vievän tunnin tuoda. Haluat sen kourallisen tauluja, joita ominaisuus oikeasti koskettaa.

Sama pätee kun selvität yhden taulun vikaa — orders-taulun dataongelman toistaminen ei vaadi muita 126 taulua — tai teet osittaista migraatiota, jossa vain muutama taulu siirtyy uuteen palveluun. Kaikissa näissä tapauksissa kysymys on sama: kuinka saan juuri nämä taulut ulos jättidumpista, puhtaasti ja nopeasti?

sed/grep-lähestymistapa ja miksi se hajoaa

Klassinen vastaus on viiltää tiedosto sed:llä osioiden otsikoiden välistä, jotka mysqldump kirjoittaa jokaiselle taululle:

# vedä users-taulu ulos mysqldump-tiedostosta
sed -n '/-- Table structure for table `users`/,/-- Table structure for table/p' dump.sql > users.sql

Se näyttää nokkelalta, ja pienessä, siistissä dumpissa se saattaa jopa toimia kerran. Oikeassa 7 Gt:n tiedostossa se hajoaa monilla hienovaraisilla tavoilla:

• Moniriviset INSERTit. Yksi INSERT INTO ... VALUES voi ulottua tuhansien rivien yli. Riviperustaiset työkalut kuten sed ja grep leikkaavat nuo rivit puoliksi ja tuottavat tiedoston, joka ei jäsenny.
• Gravikset ja erikoismerkit. Sarakearvot sisältävät --, puolipisteitä, graviksia, lainausmerkkejä ja rivinvaihtoja merkkijonojen sisällä. Kuviosi täsmää tekstiin datan sisällä, jota ei koskaan tarkoitettu erottimeksi.
• Taulujen nimet osamerkkijonoina. Taulun user poimiminen kaappaa myös user_roles-, user_sessions- ja password_user-taulut, koska nimi esiintyy muiden osamerkkijonona.
• Kommentit ja otsikot ajautuvat. Tarkka kommenttiteksti vaihtelee MySQL:n, MariaDB:n ja PostgreSQL:n versioiden välillä, eikä pg_dump käytä samoja otsikoita lainkaan — joten sama komento palauttaa hiljaa tyhjän.
• Ei viiteavaintietoisuutta. Vaikka viiltäisit orders-taulun täydellisesti, sen rivit viittaavat users-tauluun. sed ei tiedä siitä mitään, joten poiminta ei tuoda viiteavainvirheen takia.

Päädyt kasaamaan awk:ia grep:in päälle sed:in päälle, testaamaan osajoukoilla, etkä silti luota tulokseen. On parempi tapa.

Poimi taulut DumpCleanerilla

DumpCleaner jäsentää dumpin kunnolla — se ymmärtää lauserajat, moniriviset INSERTit, gravikset ja kommentit — joten se leikkaa aina oikeilta riveiltä. Tarvitsemiesi taulujen poiminta vie neljä vaihetta:

1. Vedä .sql-dumppisi sisään. DumpCleaner striimaa tiedoston, joten 7 Gt:n dumppi avautuu vakiomuistilla sen sijaan, että lataisi koko möykyn.
2. Lue automaattisesti tunnistettu taululista. Jokainen taulu jäsennetään ulos ja listataan rivimäärineen ja kokoineen — ei tarvitse vierittää miljoonia rivejä löytääkseen mitä siellä on.
3. Valitse haluamasi taulut. Rastita users, orders ja products, tai kirjoita regex- / poissulkukuvio kuten *_logs pudottaaksesi kokonaisia ryhmiä kerralla.
4. Sisällytä viiteavainten vanhemmat ja vie. Halutessasi vedä viitatut ylätaulut automaattisesti mukaan, ja vie sitten puhdas, tuotava tiedosto.

Muutama asia tekee tästä paljon vähemmän näpertelevää kuin shell-työkaluista:

• Poissulkukuviot kuten *_logs tai *_sessions riisuvat pois audit- ja istuntokohinan poistamatta rastia kymmeniltä tauluilta käsin.
• Regex-suodattimet antavat sinun täsmätä etuliitteen, jälkiliitteen tai minkä tahansa kuvion mukaan — säilytä esimerkiksi kaikki, jotka täsmäävät shop_*-kuvioon.
• Reaaliaikainen esikatselu näyttää täsmälleen, mitkä taulut päätyvät tulosteeseen, kun muutat valintaa.
• Arvioitu tulostekoko kertoo, kuinka suuri poiminta on ennen vientiä, joten tiedät sen mahtuvan paikallisesti.
• Viiteavainriippuvuudet voidaan sisällyttää automaattisesti, joten orders-taulun valinta tuo hiljaa users-taulun mukanaan ja poiminta tuodaan ilman rajoitevirheitä.

Usein kysytyt kysymykset