Vadnica SSIS nudi osnovne in napredne koncepte SQL Server Integration Services. Naša vadnica SSIS je zasnovana za začetnike in profesionalce.
SQL Server Integration Service je hitro in prilagodljivo orodje za shranjevanje podatkov, ki se uporablja za ekstrakcijo, transformacijo in nalaganje podatkov. Omogoča preprosto nalaganje podatkov iz ene baze podatkov v drugo bazo podatkov, kot je SQL Server, Oracle, datoteka Excel itd.
V tej vadnici bomo razpravljali o naslednjih temah:
- Kaj je SSIS
- Kaj je integracija podatkov
- Zakaj SSIS
- Kako deluje SSIS
- Zahteve za SQL Server Integration Service
- Kaj je paket SSIS
- Naloge SSIS
- Primer naloge pretoka podatkov
- Primer izvedbe naloge SQL
Kaj je SSIS?
- SSIS je kratica za SQL Server Integration Services.
- Je komponenta, ki je na voljo v programski opremi baze podatkov Microsoft SQL Server, ki se uporablja za izvajanje številnih integracijskih nalog.
- Je orodje za shranjevanje podatkov, ki se uporablja za ekstrakcijo podatkov, nalaganje podatkov v drugo bazo podatkov, transformacije, kot so čiščenje, združevanje, združevanje podatkov itd.
- Orodje SSIS vsebuje tudi grafična orodja in funkcije poteka dela čarovnikov oken, kot so pošiljanje e-poštnih sporočil, operacije ftp, viri podatkov.
- SSIS se uporablja za izvajanje širokega nabora nalog preoblikovanja in integracije. Kot celota se pri selitvi podatkov uporablja orodje SSIS.
SSIS je orodje, ki se uporablja predvsem za izvajanje dveh funkcij:
SSIS izvaja integracijo podatkov z združevanjem podatkov iz več virov in uporabnikom zagotavlja enotne podatke.
Potek dela se lahko uporablja za izvajanje več stvari. Včasih moramo izvesti določene korake ali določeno pot, ki temelji na časovnem obdobju ali parametru, posredovanem paketu, ali podatkih, poizvedovanih iz baze podatkov. Uporablja se lahko za avtomatizacijo vzdrževanja baz podatkov SQL Server in zagotavlja posodobitev večdimenzionalnih analitičnih podatkov.
Kaj je integracija podatkov?
Integracija podatkov je postopek, ki mu sledite za integracijo podatkov iz več virov. Podatki so lahko heterogeni ali homogeni podatki. Podatki so lahko strukturirani, polstrukturirani ali nestrukturirani. Pri integraciji podatkov se podatki iz različnih različnih podatkovnih virov integrirajo in tvorijo nekaj pomembnih podatkov.
Za integracijo podatkov se uporabljajo nekatere metode:
Prednosti integracije podatkov:
Zmanjšuje kompleksnost podatkov, kar pomeni, da je podatke mogoče dostaviti v kateri koli sistem. Integracija podatkov ohranja kompleksnost, poenostavljene povezave in omogoča preprosto dostavo podatkov v kateri koli sistem.
Celovitost podatkov igra pomembno vlogo pri integraciji podatkov. Ukvarja se s čiščenjem in potrjevanjem podatkov. Vsi želijo visokokakovostne in robustne podatke, zato se za dosego tega koncepta integracije podatkov uporablja koncept integracije podatkov. Integracija podatkov je v pomoč pri odpravljanju napak, nedoslednosti in podvajanja.
Dostopnost je del podatkovnega sodelovanja. Dostopnost pomeni, da je podatke mogoče preprosto preoblikovati, ljudje pa jih lahko enostavno vključijo v projekte, delijo svoje rezultate in poskrbijo, da so podatki posodobljeni.
Omogoča vam tudi sprejemanje pametnejših odločitev. Integrirani podatki se nanašajo na proces prenosa v podjetju, tako da lahko informacije lažje razumemo. Integrirani podatki so veliko lažji in informativni.
Zakaj SSIS?
SSIS se uporablja zaradi naslednjih razlogov:
SSIS se uporablja za združevanje podatkov iz več virov podatkov za ustvarjanje ene same strukture v enotnem pogledu. V bistvu je odgovoren za zbiranje podatkov, pridobivanje podatkov iz več virov podatkov in združevanje v en sam vir podatkov.
SSSIS je platforma, ki ima možnost nalaganja velike količine podatkov iz excela v bazo podatkov SQL Server.
Orodje SSSIS zagotavlja tesno integracijo z drugimi izdelki Microsofta.
Orodje SSSIS je cenejše od večine drugih orodij. Lahko se upre drugim osnovnim produktom, njihovi vodljivosti, poslovni inteligenci itd.
SSSIS vam omogoča obravnavo kompleksne napake v podatkovnem toku. Podatkovni tok lahko začnete in ustavite glede na resnost napake. Lahko celo pošljete e-pošto skrbniku, ko pride do napake. Ko je napaka odpravljena, lahko izberete pot med potekom dela.
Kako deluje SSIS?
Vemo, da je SSIS platforma za dve funkciji, tj. integracijo podatkov in potek dela. Obe nalogi Pretvorbe podatkov in ustvarjanje delovnega toka se izvajajo z uporabo paketa SSIS. Paket SSIS je sestavljen iz treh komponent:
Operativni podatki
Operativni podatki so zbirka podatkov, ki se uporablja za integracijo podatkov iz več podatkovnih virov za izvajanje dodatnih operacij s podatki. To je kraj, kjer se podatki hranijo za trenutno delovanje, preden se pošljejo v podatkovno skladišče za shranjevanje, poročanje ali arhiviranje.
java par
ETL
- ETL je najpomembnejši proces v orodju SSIS. ETL se uporablja za ekstrahiranje, preoblikovanje in nalaganje podatkov v podatkovno skladišče.
- ETL je proces, ki je odgovoren za pridobivanje podatkov iz več podatkovnih virov, preoblikovanje podatkov v uporabne podatke in nato shranjevanje podatkov v podatkovno skladišče. Podatki so lahko v kateri koli obliki datoteke xml, ploščate datoteke ali katere koli datoteke baze podatkov.
- Prav tako zagotavlja, da so podatki, shranjeni v podatkovnem skladišču, relevantni, točni, kakovostni in uporabni za poslovne uporabnike.
- Do njega je mogoče enostavno dostopati, tako da se lahko podatkovno skladišče uporablja učinkovito in uspešno.
- Prav tako pomaga organizaciji sprejemati odločitve na podlagi podatkov s pridobivanjem strukturiranih in nestrukturiranih podatkov iz več virov podatkov.
ETL je koncept iz treh besed, vendar je razdeljen na štiri faze:
Zajem: Faza zajemanja je znana tudi kot faza ekstrakcije. V tej fazi izbere izvorne podatke ali metapodatke, podatki pa so lahko v kateri koli obliki, kot je datoteka xml, ravna datoteka ali katera koli datoteka zbirke podatkov.
Piling: V tej fazi se preverijo izvirni podatki. Podatke preveri, ali vsebujejo napake ali ne. Preverja napake ali nedoslednost podatkov z uporabo nekaterih tehnik umetne inteligence. Skratka, preverja, ali je kakovost izdelka izpolnjena ali ne.
Preoblikovanje: To je tretja faza v ETL. Preoblikovanje je postopek, v katerem se izvirna oblika pretvori v zahtevano obliko, ki jo želite. Transformacija je modeliranje ali spreminjanje podatkov glede na zahteve uporabnika. Spremembe so lahko bodisi sprememba števila stolpcev ali vrstic.
Naloži in indeks: Četrta faza je nalaganje in indeks. Naloži podatke in potrdi število obdelanih vrstic. Ko je nalaganje podatkov končano, se uporabi indeksiranje. Indeksiranje vam pomaga slediti številu vrstic, ki so naložene v podatkovno skladišče. Indeksiranje pomaga tudi pri prepoznavanju podatkov, ne glede na to, ali so v pravilni obliki ali ne.
Podatkovno skladišče
Podatkovno skladišče je enotna, popolna in dosledna shramba podatkov, ki je oblikovana s kombinacijo podatkov iz več podatkovnih virov.
Razlika med podatkovno bazo in podatkovnim skladiščem
Odgovor je lahko tako da kot ne. Tako zbirka podatkov kot skladišče podatkov imata veliko enoto podatkov in podobno fizično predstavitev, vendar je odzivni čas zapletenih poizvedb v skladišču podatkov hitrejši kot v zbirki podatkov.
Zahteve za SQL Server Integration Services
Sledijo zahteve za namestitev SQL Server Integration Services:
- Namestite SQL Server
- Namestite podatkovna orodja SQL Server
Sledite spodnjim korakom za namestitev podatkovnih orodij SQL Server:
Korak 1: Kliknite na povezavo https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 za prenos podatkovnih orodij SQL Server.
2. korak: Ko kliknete zgornjo povezavo, se prikaže spodnji zaslon:
Na zgornjem zaslonu izberite različico SSDT, ki jo želite namestiti.
3. korak: Ko je prenos končan, zaženite preneseno datoteko. Ko zaženete preneseno datoteko, se prikaže zaslon, ki je prikazan spodaj:
4. korak: Kliknite na gumb Naprej.
5. korak: Izberite primerek Visual Studio in orodja, ki jih želite namestiti v Visual Studio 2017.
6. korak: Kliknite na Namestite gumb.
Kaj je paket SSIS?
Paket je temeljni blok, kjer kodirate v SSIS. Tu koda ne pomeni, da kodirate v nekem programskem jeziku; pomeni razvoj, ki ga počnete. Razvoj poteka v paketu SSIS. SSIS se v glavnem uporablja za proces ETL, postopek ETL pa se izvaja znotraj paketa SSIS.
Paket SSIS je sestavljen iz treh delov:
Paket SSIS bo imel nekaj povezav, te povezave pa se uporabljajo za povezovanje z različnimi viri podatkov.
Paket SSIS je sestavljen iz dveh elementov, in sicer elementov nadzornega toka in elementov pretoka podatkov. Elementi nadzornega toka upravljajo delovne tokove. Delovni tok pomeni, da nekatere naloge izvajamo v korakih, tako da zaporedje poteka skozi kontrolni tok.
Elementi toka podatkov izvajajo transformacije.
Naloge SSIS
V paketu SSIS lahko dodamo naloge. Naloga je delovna enota in za opravljanje različnih vrst dela bomo imeli različne vrste nalog. Obstajajo različne vrste nalog, vendar bomo razpravljali o najpogostejših nalogah, ki se uporabljajo v SSIS:
Uporablja se za izvajanje stavkov SQL proti relacijski bazi podatkov.
Uporablja se predvsem za branje podatkov iz enega ali več virov podatkov, preoblikovanje podatkov in lahko tudi nalaganje podatkov na enega ali več ciljev.
Uporablja se za obdelavo objektov kocke SSAS ali tabelarnega modela.
Ta naloga se uporablja za klicanje drugih paketov znotraj istega projekta. Vrednosti spremenljivk lahko celo posredujete klicanemu paketu.
Omogoča vam zagon aplikacije ali paketnih skriptov kot SQL Server Integration Services. Uporablja se lahko za odpiranje standardne aplikacije, kot je Microsoft Excel, Microsoft Word itd. Uporablja se tudi za razpakiranje stisnjene datoteke.
Uporablja se lahko za izvajanje manipulacij v datotečnem sistemu, kot so premikanje datotek, brisanje datotek, preimenovanje datotek, spreminjanje imenika itd.
Naloge IFTP se uporabljajo za izvajanje operacij na datotekah in mapah. Na primer, če želite poslati ali prejeti datoteko s strežnika FTP v lokalni imenik, se uporabi naloga SSIS FTP.
Ta naloga vam omogoča pisanje kode .Net, ki jo želite izvesti.
To opravilo se uporablja za pošiljanje e-pošte. Uporablja se predvsem, ko želite uporabnike obvestiti o stanju opravila, ali je v stanju izvajanja ali pa je prišlo do napake.
Oglejmo si nekaj delujočih primerov storitve integracije podatkov.
Primer naloge pretoka podatkov
Korak 1: Najprej ustvarimo datoteko excel v programu Microsoft Excel. Recimo, da ustvarim bazo podatkov o študentih v Microsoft Excelu in polja v tabeli študentov so student_id, student_name, ocene in spol.
2. korak: Odprite Visual Studio (SQL Server Data Tools).
3. korak: Kliknite možnost Datoteka in se nato premaknite na Novo->Projekt.
4. korak: Ko kliknete projekt, se prikaže zaslon, ki je prikazan spodaj:
razlika med programom in skriptom
Na zgornjem zaslonu kliknite Integration Services, ki se pojavi na skrajni levi strani plošče, in nato kliknite Integration Services Project.
5. korak: Po kliku na projekt integracijskih storitev se pojavi zaslon, kot je prikazano spodaj:
Zgornji zaslon je sestavljen iz petih zavihkov, kot so Nadzorni tok, Pretok podatkov, Parametri, Obravnavalec dogodkov in Raziskovalec paketov. O pretoku nadzora in toku podatkov smo že razpravljali, tako tok nadzora kot tok podatkov obstajata znotraj paketa SSIS.
korak 6: Za uvoz podatkov moramo najprej ustvariti bazo podatkov, v kateri ustvarimo tabelo v bazi podatkov SQL Server. Ker vemo, da so podatki študentov na voljo v datoteki Excel, jih želimo uvoziti v bazo podatkov SQL Server. Da bi to dosegli, moramo najprej ustvariti tabelo v SQL Serverju. Odprite SQL Server Management studio.
7. korak: Ustvarite študent zbirka podatkov. Z desno miškino tipko kliknite zbirko podatkov in nato kliknite na Nova zbirka podatkov možnost.
8. korak: V spodnji posnetek zaslona vnesite ime baze podatkov:
Ime baze podatkov sem dal StudentWarehouse.
9. korak: Kliknite na v redu gumb.
10. korak: Zdaj ustvarimo tabelo v a Študentsko skladišče zbirka podatkov. Z desno miškino tipko kliknite tabele in nato kliknite novo tabelo.
11. korak: Zdaj v tabelo dodamo polja, kot so student_id, student_name, ocene in spol. Student_id nastavimo kot primarni ključ, ki enolično identificira vsako vrstico.
Zgornji zaslon prikazuje, da dodamo štiri polja v tabelo. Ko v tabelo dodamo vsa polja, tabelo shranimo tako, da podamo uporabno ime. Recimo, da sem učenca podal kot ime tabele.
12. korak: Vrnite se v vizualni studio. Kontrolni tok vsebuje nalogo pretoka podatkov, povlecite in spustite nalogo pretoka podatkov v glavno okno.
13. korak: Ko dvokliknemo nalogo Data Flow, se kontrolnik samodejno premakne v Data Flow iz Control Flow, tako da lahko rečemo, da je Control Flow vsebnik Data Flow.
14. korak: Zdaj lahko izvedemo transformacije v Data Flow. Podatke želimo ekstrahirati iz Excelove datoteke, ki smo jo ustvarili prej, zato povlecite in spustite Excelov vir iz drugih virov, ki se prikažejo na skrajni levi strani plošče.
Na zgornjem zaslonu opazimo, da se znotraj vira Excel pojavi rdeči križ, kar pomeni, da je komponenta konfigurirana z izvorom Excel.
15. korak: Če želite konfigurirati komponento, z desno miškino tipko kliknite izvor Excel in kliknite možnost Uredi, kot je prikazano na spodnjem posnetku zaslona:
16. korak: Izpolnite podrobnosti, prikazane na spodnjem posnetku zaslona:
17. korak: Po vnosu vseh podrobnosti se prikaže zaslon, kot je prikazano spodaj:
18. korak: Kliknite na Excelov vir.
Zgornji zaslon prikazuje dve puščici, rdečo in modro puščico. Modra puščica določa dejanske podatke, ki jih prejmemo iz Excelove datoteke, rdeča puščica pa označuje napake, ki jih imamo. Zdaj moramo izvesti transformacije, pred izvedbo transformacij pa moramo naložiti bazo podatkov.
19. korak: Za nalaganje baze podatkov kliknite Druge destinacije in nato kliknite Cilj.
20. korak: Ko dodate cilj, povežite vir s ciljem.
21. korak: V zgornjem koraku smo v ADO NET Destination opazili rdeči križec, kar pomeni, da ni konfiguriran s komponento. Z desno miškino tipko kliknite cilj ADO NET in nato kliknite možnost Uredi, kot je prikazano na spodnjem posnetku zaslona:
22. korak: Določiti morate upravitelja konfiguracije.
23. korak: Kliknite na Novo gumb za dodajanje upravitelja povezav. Ko kliknete na Novo se prikaže spodnji zaslon:
24. korak: Dodajte ime strežnika in izberite ime baze podatkov iz strežnika SQL.
25. korak: Kliknite na gumb OK.
26. korak: Dodajte ime tabele, v katero želite naložiti podatke.
27. korak: Na spodnjem zaslonu preslikajte polje vhodnega vira v polje ciljnega vira.
kaj je regex java
28. korak: Po dodajanju preslikave je vir povezan s ciljem, kot je prikazano na spodnjem posnetku zaslona:
29. korak: Kliknite na Začetek gumb za zagon projekta Integration Services. Ko zaženete projekt, se podatki naložijo na cilj, tj. SQL Server .
Primer izvedbe naloge SQL
- Sledite korakom od 2. do 5. koraka prejšnjega primera.
- Povlecite in spustite Izvedi nalogo SQL ki se pojavi na skrajni levi plošči glavnega okna.
Na zgornjem zaslonu opazimo, da se rdeči križec pojavi v Izvedi opravilo SQL, kar pomeni, da Upravitelj povezav ni konfiguriran z Izvedi nalogo SQL . Če ga želite konfigurirati, moramo dodati upravitelja povezav.
- Če želite dodati upravitelja povezav, z desno miškino tipko kliknite upravitelja povezav in nato kliknite novega upravitelja povezav, kot je prikazano na spodnjem posnetku zaslona:
- Izberite OLEDB kot vrsto Upravitelj povezav in nato kliknite na Dodaj gumb, kot je prikazano na spodnjem posnetku zaslona:
- Po kliku na Dodaj se prikaže zaslon, prikazan na spodnjem posnetku zaslona:
Na zgornjem zaslonu opazimo, da je podatkovna povezava Študentsko skladišče baza podatkov je že na voljo, kot smo jo ustvarili v prejšnjem koraku. Kliknite na v redu gumb.
- Ko kliknete gumb V redu, se prikaže zaslon, kot je prikazan spodaj:
Na zgornjem zaslonu morate vnesti podrobnosti, kot so ime vaše naloge, opis, stavek SQL (naloga SQL, ki jo morate izvesti na tabeli).
- Na zgornji posnetek zaslona sem vnesel naslednje podrobnosti:
V zgornjem primeru sem zagotovil ukaz za vstavljanje v SQLStatement.
- Kliknite na v redu gumb.
- Ko konfigurirate komponento z nalogo Execute SQL, rdeči križ izgine, kot je prikazano na spodnjem posnetku zaslona:
- Zaženite projekt s klikom na Začetek .
- Ko kliknete na Začetek , se pojavi zaslon, kot je prikazano spodaj:
Na zgornjem zaslonu kljukica kaže, da je bila vaša naloga SQL uspešno zaključena. Stavek vstavi, ki smo ga dodali v prejšnjih korakih, je bil izveden in podatki so dodani v tabelo. tj. študent1.
- Rezultat te naloge je prikazan spodaj
Predpogoj
Preden se naučite SSIS, morate imeti osnovno znanje o SQL Serverju.
Občinstvo
Naša vadnica SSIS je zasnovana tako, da pomaga začetnikom in profesionalcem.
Težava
Zagotavljamo vam, da v tej vadnici SSIS ne boste našli nobene težave. Če pa pride do napake ali napake, jo prosim objavite v kontaktnem obrazcu.