Zaprogramuj sobie przyszłość...
Ms SQL Server - Integration Services - Poziom Podstawowy
Miejsce: Szkolenie zdalne / Stacjonarne
Czas trwania: 3 dni
Liczba godzin: 24
Start: 9:00
Czas trwania: 3 dni
Liczba godzin: 24
Start: 9:00
CEL SZKOLENIA
Szkolenie jest przeznaczone dla osób, które chcą uzyskać wiedzę dotyczącą projektowania procesów ekstrakcji, transformacji i ładowania danych, czyli procesów ETL z wykorzystaniem SQL Server Integration Services.
Wiedza ta będzie mogła być wykorzystana do praktycznej realizacji zarówno rozwiązań dotyczących integracji danych jak również rozwiązań analitycznych czy raportowych na platformie Microsoft.
Oprócz typowych procesów ETL Integration Services może być również zastosowane do automatyzacji wielu różnych czynności bazodanowych jak i administracyjnych wykonywanych na SQL Server.
W trakcie szkolenia uczestnicy uzyskają wiedzę dotyczącą:
▪ podstawowych pojęć, architektury oraz komponentów, czyli zadań (tzw. klocków)
▪ wymaganych narzędzi bazodanowych
▪ uruchamiania środowiska i tworzenia odpowiednich projektów
▪ sposobu łączenia się do bazy danych Ms SQL Server
▪ łączenia się z plikami heterogenicznego pochodzenia
▪ zaczytywania danych do bazy z plików TXT, CSV i XLSX
▪ zapisywania danych z bazy danych do plików
▪ uruchamiania i debugowania projektów
▪ analizowania ewentualnych problemów w projektach
▪ zarządzania zmiennymi w różnych sytuacjach
▪ korzystania z komponentów "Control Flow", "Data Flow" oraz komponentów SQL'owych
▪ wysyłania odpowiednich powiadomień mailowych
▪ odpowiedniego reagowania i kontrolowania ścieżek przepływu zadań
▪ zarządzania folderami i plikami z poziomu SSIS
▪ procedur przenoszenia danych z uwzględnieniem ich prawidłowości oraz błędów
▪ wygenerowania raportu wraz z powiadomieniem
▪ umieszczania projektu na Ms SQL Server'rze
▪ automatycznego uruchamiania mechanizmu
▪ testowania mechanizmu, analizowania jego wykonania oraz wprowadzania zmian.
Wiedza ta będzie mogła być wykorzystana do praktycznej realizacji zarówno rozwiązań dotyczących integracji danych jak również rozwiązań analitycznych czy raportowych na platformie Microsoft.
Oprócz typowych procesów ETL Integration Services może być również zastosowane do automatyzacji wielu różnych czynności bazodanowych jak i administracyjnych wykonywanych na SQL Server.
W trakcie szkolenia uczestnicy uzyskają wiedzę dotyczącą:
▪ podstawowych pojęć, architektury oraz komponentów, czyli zadań (tzw. klocków)
▪ wymaganych narzędzi bazodanowych
▪ uruchamiania środowiska i tworzenia odpowiednich projektów
▪ sposobu łączenia się do bazy danych Ms SQL Server
▪ łączenia się z plikami heterogenicznego pochodzenia
▪ zaczytywania danych do bazy z plików TXT, CSV i XLSX
▪ zapisywania danych z bazy danych do plików
▪ uruchamiania i debugowania projektów
▪ analizowania ewentualnych problemów w projektach
▪ zarządzania zmiennymi w różnych sytuacjach
▪ korzystania z komponentów "Control Flow", "Data Flow" oraz komponentów SQL'owych
▪ wysyłania odpowiednich powiadomień mailowych
▪ odpowiedniego reagowania i kontrolowania ścieżek przepływu zadań
▪ zarządzania folderami i plikami z poziomu SSIS
▪ procedur przenoszenia danych z uwzględnieniem ich prawidłowości oraz błędów
▪ wygenerowania raportu wraz z powiadomieniem
▪ umieszczania projektu na Ms SQL Server'rze
▪ automatycznego uruchamiania mechanizmu
▪ testowania mechanizmu, analizowania jego wykonania oraz wprowadzania zmian.
PROFIL UCZESTNIKA
Szkolenie przeznaczone jest dla osób, które chcą zapoznać się z techniką wykorzystania usługi Integration Services do tworzenia zautomatyzowanych procesów przetwarzania danych, transferu, importowania, eksportowania oraz wysyłania odpowiednich powiadomień.
Umiejętności nabyte w trakcie tego szkolenia mogą być przydatne zarówno dla programisty zajmującego się tworzeniem rozwiązań dla platformy przetwarzania danych Microsoft oraz dla osób pełniących rolę administratorów serwerów, na których pracują usługi Ms SQL Server.
Umiejętności nabyte w trakcie tego szkolenia mogą być przydatne zarówno dla programisty zajmującego się tworzeniem rozwiązań dla platformy przetwarzania danych Microsoft oraz dla osób pełniących rolę administratorów serwerów, na których pracują usługi Ms SQL Server.
WYMAGANIA WSTĘPNE
Od uczestników szkolenia wymagana jest podstawowa znajomość systemu operacyjnego Windows oraz umiejętność posługiwania się relacyjnymi bazami danych na poziomie podstawowym obejmującym podstawową implementację zapytań z użyciem języka SQL.
CZAS TRWANIA
▪ 3 dni po 8 godzin szkoleniowych
▪ Start: godzina 9:00
▪ Zakończenie: około godziny 16:00
▪ W tym około dwie krótkie przerwy (po 10-15 minut) i jedna długa, obiadowa około 30-45 minut.
▪ Start: godzina 9:00
▪ Zakończenie: około godziny 16:00
▪ W tym około dwie krótkie przerwy (po 10-15 minut) i jedna długa, obiadowa około 30-45 minut.
RODZAJ SZKOLENIA
▪ Zdalne
▪ Stacjonarne w siedzibie firmy
▪ Stacjonarne u Klienta
▪ Stacjonarne w siedzibie firmy
▪ Stacjonarne u Klienta
SPOSÓB REALIZACJI SZKOLENIA
Szkolenie realizowane jest w formie naprzemiennie następujących po sobie wykładów i ćwiczeń praktycznych oraz case’ów i zadań.
NABYTE UMIEJĘTNOŚCI PO UKOŃCZENIU SZKOLENIA
Po ukończeniu tego szkolenia uczestnik/uczestniczka będzie potrafił/potrafiła:
▪ Zaimplementować projekt bedący procesem ETL mającym na celu transfer danych z systemów źródłowych do systemu docelowego.
▪ Zrealizować proces ETL z wykorzystaniem dostępnych w Integration Services komponentów.
▪ Prawidłowo konfigurować podstawowe elementy "Control Flow", "Data Flow" oraz komponenty SQL'owe.
▪ Automatyzować wykonywanie procesu z użyciem narzędzi SQL Server.
▪ Zaimplementować projekt bedący procesem ETL mającym na celu transfer danych z systemów źródłowych do systemu docelowego.
▪ Zrealizować proces ETL z wykorzystaniem dostępnych w Integration Services komponentów.
▪ Prawidłowo konfigurować podstawowe elementy "Control Flow", "Data Flow" oraz komponenty SQL'owe.
▪ Automatyzować wykonywanie procesu z użyciem narzędzi SQL Server.
DODATKOWE MATERIAŁY
Każdy uczestnik szkolenia otrzyma wszystkie wymagane pliki i skrypty oraz dostanie dodatkowe materiały w formie e-Book’a wraz z dodatkowymi plikami, skryptami, ćwiczeniami i zadaniami.
PLAN SZKOLENIA
01. INTEGRATION SERVICES: PODSTAWOWE POJĘCIA, ARCHITEKTURA, KOMPONENTY I NARZĘDZIA
➡ Dowiesz się co to jest SSIS.
➡ Poznasz architekturę rozwiązania.
02. INSTALACJA Microsoft Visual Studio
➡ Ściągniesz wymagane środowisko programistyczne Microsoft Visual Studio.
➡ Zainstalujesz wymagane środowisko programistyczne Microsoft Visual Studio.
03. INSTALACJA SSIS
➡ Ściągniesz wymagane składniki SSIS.
➡ Zainstalujesz wymagane składniki SSIS dla Visual Studio.
04. URUCHOMIENIE ŚRODOWISKA ORAZ UTWORZENIE PROJEKTU
➡ Dowiesz się jakie trzeba uruchomić serwisy.
➡ Poznasz środowisko programistyczne Ms Visual Studio.
➡ Utworzysz pierwszy projekt BI (Business Intelligence).
05. OPIS PLIKÓW IMPORTOWYCH I PROJEKTOWYCH
➡ Zapoznasz się z plikami importowymi oraz projektowymi.
➡ Zapoznasz się ze strukturą i danymi dotyczącymi plików importowych.
➡ Zapoznasz się ze strukturą najważniejszych plików projektowych.
06. OPIS MECHANIZMU I ZAŁOŻENIA AUTOMATU
➡ Poznasz funkcje mechanizmu, sposób jego działania i sposób komunikacji z użytkownikiem.
➡ Dowiesz się o założeniach mechanizmu.
07. UTWORZENIE BAZY DANYCH I JEJ PODŁĄCZENIE
➡ Utworzysz bazę danych.
➡ Podłączysz bazę danych w projekcie.
08. PRZYGOTOWANIE TABELI DLA PLIKÓW
➡ Dowiesz się jak włączyć wymagane narzędzia dla projektu w Visual Studio.
➡ Utworzysz tabelę dla plików wymaganych przez mechanizm.
➡ Utworzysz w projekcie zadanie, tzw. „klocek” odpowiedzialny za tworzenie tabeli dla plików.
09. ZACZYTANIE NAZW PLIKÓW DO BAZY
➡ Utworzysz klocek zaczytujący nazwy plików do tabeli w bazie danych.
10. WYKONANIE MECHANIZMU
➡ Utworzysz zmienną, która będzie zmieniała wartość na podstawie istniejących plików.
➡ Zaimplementujesz klocek, na podstawie którego mechanizm będzie uruchomiony dalej lub zatrzymany.
11. SPRAWDZENIE WYMAGANYCH PLIKÓW I ICH NAZW
➡ Utworzysz zmienną, która będzie zmieniała wartość w zależności od ilości i nazw plików.
➡ Napiszesz procedurę składowaną SQL, która będzie zwracała określoną wartość dla zmiennej na podstawie ilości i nazw plików.
➡ Zaimplementujesz klocek zwracający wartość zmiennej w zależności od ilości i nazw plików.
12. WYSŁANIE MAILA
➡ Skonfigurujesz konto w SSMS do wysyłania maili.
➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku błędnej ilości lub nazwy plików.
➡ Przygotujesz ładną treść maila HTML z dynamicznie budowaną tabelą zawierającą nazwy plików.
➡ Zbudujesz klocek wysyłający maila.
13. PRZYGOTOWANIE TABEL DLA DANYCH
➡ Utworzysz procedurę przechowywaną przygotowującą tabele dla danych z wszystkich plików.
➡ Zaimplementujesz krok w projekcie uruchamiający procedurę przechowywaną, który będzie uruchamiany tylko w przypadku prawidłowych plików.
14. USTAWIENIE WYMAGANYCH ZMIENNYCH
➡ Przygotujesz w projekcie zmienne dla plików oraz ścieżek.
➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.
15. UTWORZENIE FOLDERU DOCELOWEGO
➡ Zaimplementujesz krok tworzący folder na podstawie zmiennej.
16. PRZENIESIENIE PLIKÓW PRZEZ AUTOMAT
➡ Zaimplementujesz kroki przenoszące pliki z folderu do lokalizacji roboczej na podstawie zmiennych.
17. USTAWIENIE ZMIENNYCH DLA PLIKÓW ROBOCZYCH
➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.
18. POŁĄCZENIA DO PLIKÓW
➡ Utworzysz połączenia do plików z danymi.
19. ZACZYTANIE DANYCH Z PLIKÓW
➡ Zainstalujesz wymagane sterowniki bazodanowe.
➡ Utworzysz bloki importujące dane z plików do bazy danych.
➡ Nauczysz się w jaki sposób sprawdzać bieżące wartości zmiennych.
20. PROCEDURA PRZENOSZENIA DANYCH
➡ Utworzysz procedurę przechowywaną do sprawdzenia danych wraz z parametrem wyjściowym.
➡ Utworzysz klocek uruchamiający procedurę oraz zwracający informację o błędach.
21. PRZYPADEK PRAWIDŁOWYCH DANYCH
➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku prawidłowych danych.
➡ Przygotujesz ładną treść maila HTML z informacją o zaimportowanych danych i ich ilości.
➡ Zbudujesz klocek wysyłający maila.
22. PRZYPADEK BŁĘDNYCH DANYCH – UTWORZENIE RAPORTU
➡ Zaimplementujesz krok przenoszący szablon raportu z folderu roboczego do lokalizacji finalnej na podstawie zmiennych.
23. WYGENEROWANIE RAPORTU
➡ Utworzysz nowe połączenie do pliku raportowego.
➡ Utworzysz krok generujący dane do raportu.
➡ Wyciągniesz dane z bazy, skonwertujesz je i zapiszesz w pliku raportowym dane z bazy.
24. WYSŁANIE MAILA + RAPORT BŁĘDÓW
➡ Utworzysz procedurę składowaną z parametrem wejściowym wysyłającą maila w przypadku błędnych danych.
➡ Przygotujesz ładną treść maila HTML z informacją o błędzie.
➡ Zbudujesz klocek z parametrem wejściowym wysyłający maila.
25. PODSUMOWANIE PROJEKTU
➡ Dowiesz się jakie korzyści niesie za sobą wdrażanie tego typu rozwiązań w codziennej pracy na stanowisku programisty baz danych.
26. UMIESZCZENIE PROJEKTU NA SERWERZE (DEPLOY)
➡ Utworzysz w SSMS katalog dla „Integration Services”.
➡ Udostępnisz projekt (DTSX) na serwerze baz danych.
27. UTWORZENIE AUTOMATU – ASID
➡ Dowiesz się co to są „JOB’y” w SQL Server.
➡ Dowiesz się o usłudze (agencie) odpowiadającej za pracę JOB’ów.
➡ Utworzysz JOB’a w SSMS uruchamiającego nasz mechanizm DTSX.
28. TESTOWANIE MECHANIZMU
➡ Przetestujemy działanie mechanizmu automatycznego wg wszystkich możliwych scenariuszy.
29. ZMIANY W MECHANIZMIE
➡ Poznasz dodatkowe, przydatne funkcjonalności w SSIS.
➡ Wykorzystanie bazy danych jako źródła
➡ Przykładowa transformacja (CHARACTER MAP)
➡ Kolumna wyliczeniowa (DERIVED COLUMN)
➡ Agregacja danych (AGGREGATE)
➡ Sortowanie danych (SORT)
➡ Łączenie danych z różnych źródeł (LOOKUP)
➡ Łączenie przebiegów danych (UNION ALL)
➡ Rozdzielanie przebiegów danych (CONDITIONAL SPLIT)
➡ Użycie kontenera sekwencyjnego (SEQUENCE CONTAINER)
➡ Użycie taska do wysyłania maili (SEND MAIL TASK)
➡ Dowiesz się co to jest SSIS.
➡ Poznasz architekturę rozwiązania.
02. INSTALACJA Microsoft Visual Studio
➡ Ściągniesz wymagane środowisko programistyczne Microsoft Visual Studio.
➡ Zainstalujesz wymagane środowisko programistyczne Microsoft Visual Studio.
03. INSTALACJA SSIS
➡ Ściągniesz wymagane składniki SSIS.
➡ Zainstalujesz wymagane składniki SSIS dla Visual Studio.
04. URUCHOMIENIE ŚRODOWISKA ORAZ UTWORZENIE PROJEKTU
➡ Dowiesz się jakie trzeba uruchomić serwisy.
➡ Poznasz środowisko programistyczne Ms Visual Studio.
➡ Utworzysz pierwszy projekt BI (Business Intelligence).
05. OPIS PLIKÓW IMPORTOWYCH I PROJEKTOWYCH
➡ Zapoznasz się z plikami importowymi oraz projektowymi.
➡ Zapoznasz się ze strukturą i danymi dotyczącymi plików importowych.
➡ Zapoznasz się ze strukturą najważniejszych plików projektowych.
06. OPIS MECHANIZMU I ZAŁOŻENIA AUTOMATU
➡ Poznasz funkcje mechanizmu, sposób jego działania i sposób komunikacji z użytkownikiem.
➡ Dowiesz się o założeniach mechanizmu.
07. UTWORZENIE BAZY DANYCH I JEJ PODŁĄCZENIE
➡ Utworzysz bazę danych.
➡ Podłączysz bazę danych w projekcie.
08. PRZYGOTOWANIE TABELI DLA PLIKÓW
➡ Dowiesz się jak włączyć wymagane narzędzia dla projektu w Visual Studio.
➡ Utworzysz tabelę dla plików wymaganych przez mechanizm.
➡ Utworzysz w projekcie zadanie, tzw. „klocek” odpowiedzialny za tworzenie tabeli dla plików.
09. ZACZYTANIE NAZW PLIKÓW DO BAZY
➡ Utworzysz klocek zaczytujący nazwy plików do tabeli w bazie danych.
10. WYKONANIE MECHANIZMU
➡ Utworzysz zmienną, która będzie zmieniała wartość na podstawie istniejących plików.
➡ Zaimplementujesz klocek, na podstawie którego mechanizm będzie uruchomiony dalej lub zatrzymany.
11. SPRAWDZENIE WYMAGANYCH PLIKÓW I ICH NAZW
➡ Utworzysz zmienną, która będzie zmieniała wartość w zależności od ilości i nazw plików.
➡ Napiszesz procedurę składowaną SQL, która będzie zwracała określoną wartość dla zmiennej na podstawie ilości i nazw plików.
➡ Zaimplementujesz klocek zwracający wartość zmiennej w zależności od ilości i nazw plików.
12. WYSŁANIE MAILA
➡ Skonfigurujesz konto w SSMS do wysyłania maili.
➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku błędnej ilości lub nazwy plików.
➡ Przygotujesz ładną treść maila HTML z dynamicznie budowaną tabelą zawierającą nazwy plików.
➡ Zbudujesz klocek wysyłający maila.
13. PRZYGOTOWANIE TABEL DLA DANYCH
➡ Utworzysz procedurę przechowywaną przygotowującą tabele dla danych z wszystkich plików.
➡ Zaimplementujesz krok w projekcie uruchamiający procedurę przechowywaną, który będzie uruchamiany tylko w przypadku prawidłowych plików.
14. USTAWIENIE WYMAGANYCH ZMIENNYCH
➡ Przygotujesz w projekcie zmienne dla plików oraz ścieżek.
➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.
15. UTWORZENIE FOLDERU DOCELOWEGO
➡ Zaimplementujesz krok tworzący folder na podstawie zmiennej.
16. PRZENIESIENIE PLIKÓW PRZEZ AUTOMAT
➡ Zaimplementujesz kroki przenoszące pliki z folderu do lokalizacji roboczej na podstawie zmiennych.
17. USTAWIENIE ZMIENNYCH DLA PLIKÓW ROBOCZYCH
➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.
18. POŁĄCZENIA DO PLIKÓW
➡ Utworzysz połączenia do plików z danymi.
19. ZACZYTANIE DANYCH Z PLIKÓW
➡ Zainstalujesz wymagane sterowniki bazodanowe.
➡ Utworzysz bloki importujące dane z plików do bazy danych.
➡ Nauczysz się w jaki sposób sprawdzać bieżące wartości zmiennych.
20. PROCEDURA PRZENOSZENIA DANYCH
➡ Utworzysz procedurę przechowywaną do sprawdzenia danych wraz z parametrem wyjściowym.
➡ Utworzysz klocek uruchamiający procedurę oraz zwracający informację o błędach.
21. PRZYPADEK PRAWIDŁOWYCH DANYCH
➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku prawidłowych danych.
➡ Przygotujesz ładną treść maila HTML z informacją o zaimportowanych danych i ich ilości.
➡ Zbudujesz klocek wysyłający maila.
22. PRZYPADEK BŁĘDNYCH DANYCH – UTWORZENIE RAPORTU
➡ Zaimplementujesz krok przenoszący szablon raportu z folderu roboczego do lokalizacji finalnej na podstawie zmiennych.
23. WYGENEROWANIE RAPORTU
➡ Utworzysz nowe połączenie do pliku raportowego.
➡ Utworzysz krok generujący dane do raportu.
➡ Wyciągniesz dane z bazy, skonwertujesz je i zapiszesz w pliku raportowym dane z bazy.
24. WYSŁANIE MAILA + RAPORT BŁĘDÓW
➡ Utworzysz procedurę składowaną z parametrem wejściowym wysyłającą maila w przypadku błędnych danych.
➡ Przygotujesz ładną treść maila HTML z informacją o błędzie.
➡ Zbudujesz klocek z parametrem wejściowym wysyłający maila.
25. PODSUMOWANIE PROJEKTU
➡ Dowiesz się jakie korzyści niesie za sobą wdrażanie tego typu rozwiązań w codziennej pracy na stanowisku programisty baz danych.
26. UMIESZCZENIE PROJEKTU NA SERWERZE (DEPLOY)
➡ Utworzysz w SSMS katalog dla „Integration Services”.
➡ Udostępnisz projekt (DTSX) na serwerze baz danych.
27. UTWORZENIE AUTOMATU – ASID
➡ Dowiesz się co to są „JOB’y” w SQL Server.
➡ Dowiesz się o usłudze (agencie) odpowiadającej za pracę JOB’ów.
➡ Utworzysz JOB’a w SSMS uruchamiającego nasz mechanizm DTSX.
28. TESTOWANIE MECHANIZMU
➡ Przetestujemy działanie mechanizmu automatycznego wg wszystkich możliwych scenariuszy.
29. ZMIANY W MECHANIZMIE
➡ Poznasz dodatkowe, przydatne funkcjonalności w SSIS.
➡ Wykorzystanie bazy danych jako źródła
➡ Przykładowa transformacja (CHARACTER MAP)
➡ Kolumna wyliczeniowa (DERIVED COLUMN)
➡ Agregacja danych (AGGREGATE)
➡ Sortowanie danych (SORT)
➡ Łączenie danych z różnych źródeł (LOOKUP)
➡ Łączenie przebiegów danych (UNION ALL)
➡ Rozdzielanie przebiegów danych (CONDITIONAL SPLIT)
➡ Użycie kontenera sekwencyjnego (SEQUENCE CONTAINER)
➡ Użycie taska do wysyłania maili (SEND MAIL TASK)