Curs „Inginer de date” - curs 95.000 rub. de la Yandex Workshop, instruire 6,5 luni, Data: 11 decembrie 2023.

Actualizarea modelului de date

1 modul 2 săptămâni

Compania continuă să vă cufunde în procesele sale. Datele cu care lucrați au fost actualizate, așa că trebuie să schimbați modelul de date.

În acest curs:
- înțelegerea modului în care compania construiește o bază de date;
- actualizarea structurii bazei de date actuale în conformitate cu noile cerințe ale afacerii;

- pregătiți noi prezentari și valori pentru analiști și manageri.

Tehnologii și instrumente:

• PostgreSQL

+1 proiect în portofoliu
Construiți un data mart cu încărcare incrementală pentru analiza publicului magazinului online.

DWH: revizuirea modelului de date

Modulul 2 3 săptămâni

Compania este în creștere, arhitectura datelor devine din ce în ce mai complexă. Vi se dă o sarcină - să optimizați procesele cu date.

În acest curs:
- gândiți-vă la procesul de tranziție de la vechea schemă de baze de date la cea nouă minimizând în același timp pierderile de afaceri (dezvoltare zero-downtime);
- pregatirea migrarii datelor;
- luați în considerare posibilele probleme și proiectați o opțiune pentru a anula modificările;
- implementarea unei noi structuri de bază de date și adaptarea acesteia la procesele existente în jurul datelor.

Tehnologii și instrumente:

• PosgreSQL
• Piton

+1 proiect în portofoliu
Veți pune în ordine modelul de date și veți migra datele în stocarea curentă a magazinului online.

ETL: automatizarea pregătirii datelor

Modulul 3 3 săptămâni

Acum știți aproape totul despre depozitul de date al companiei. Este timpul să regândim procesele ETL.

În acest curs:
- automatizarea conductei de date;
- configurați descărcarea automată a datelor din surse;
- învățați să încărcați în mod regulat și incremental date în baza de date.

Tehnologii și instrumente:

• Piton
• Flux de aer
• PostgreSQL

+1 proiect în portofoliu
Construiți o conductă pentru primirea, procesarea și încărcarea automată a datelor din surse către vitrina pentru un proiect de comerț electronic.

Verificarea calității datelor

Modulul 4 1 săptămână

Vrei să fii sigur că primele tale conducte funcționează bine. Calitatea datelor trebuie verificată, iar defecțiunile trebuie urmărite în timp util.

În acest curs:
- înțelegerea modului de utilizare a metainformațiilor și a documentației;
- evaluarea calitatii datelor.

DWH pentru mai multe surse

Modulul 5 2 săptămâni

Continuați să cercetați DWH pentru că dezvoltarea companiei și, prin urmare, creșterea volumului de date nu poate fi oprită.

În acest curs:
- construiți DWH de la zero pe un SGBD relațional;
- faceți cunoștință cu MongoDB ca sursă de date.

Tehnologii și instrumente:

• PostgreSQL
• MongoDB

+1 proiect în portofoliu
Veți proiecta și implementa DWH pentru un startup intern.

Baze de date analitice

Modulul 6 2 săptămâni

Există din ce în ce mai multe date specifice nestructurate care trebuie, de asemenea, stocate și procesate. Prin urmare, vă vom prezenta conceptul de baze de date analitice folosind ca exemplu SGBD-ul Vertica.

În acest curs:
- organizare depozitare studii in Vertica;
- învață cum să faci operațiuni de bază cu date în Vertica;
- construiți un depozit de date simplu în Vertica.

Tehnologii și instrumente:

• Vertica
• PostgreSQL
• Flux de aer
• S3

+1 proiect în portofoliu
Construiți un DWH pentru un sistem de date de mesagerie cu încărcare mare și structurat scăzut folosind Vertica.

Organizația Data Lake

Modulul 7 4 săptămâni

Soluțiile clasice nu ajută la gestionarea volumului de date. Pentru a face față noilor provocări de afaceri, veți construi și veți popula un Data Lake.

În acest curs:
- luați în considerare arhitectura Data Lake (trad. „lacul de date”);
- invata sa prelucreze datele in sistemul MPP;
- umple lacul de date cu date din surse;
- exersați procesarea datelor folosind PySpark și Airflow.

Tehnologii și instrumente:

• Hadoop
• MapReduce
• HDFS
• Apache Spark (PySpark)

+1 proiect în portofoliu
Construiți un lac de date și automatizați încărcarea și procesarea datelor din acesta.

Procesarea fluxului

Modulul 8 3 săptămâni

Ați depășit dificultățile cu o cantitate mare de date, dar a apărut o nouă sarcină - trebuie să ajutați afacerea să ia decizii mai rapid. Aici veți avea nevoie de cunoștințe despre procesarea datelor în flux. streaming).

În acest curs:
- ia în considerare caracteristicile procesării datelor în flux;
- construiește-ți propriul sistem de streaming;
- construiți o vitrină folosind date în timp real.

Tehnologii și instrumente:

• Kafka
• Spark Streaming

+1 proiect în portofoliu
Veți dezvolta un sistem de procesare a datelor în timp real.

Tehnologii cloud

Modulul 9 3 săptămâni

Acum puteți lucra atât cu volume mari de date, cât și cu fluxuri. Tot ce rămâne este să automatizezi scalarea sistemelor care utilizează servicii cloud.

În acest curs veți învăța cum să implementați soluții deja studiate, dar în cloud (folosind Yandex Cloud ca exemplu).

Tehnologii și instrumente:

• Yandex. Nor
• Kubernetes
• kubectl
• Redis
• PostgreSQL

+1 proiect în portofoliu
Veți dezvolta infrastructura pentru stocarea și procesarea datelor în cloud.

Proiect de absolvire

Modulul 10 3 săptămâni

Confirmați că ați învățat noi abilități.

Aici va trebui să selectați și să implementați în mod independent soluții pentru o problemă de afaceri. Acest lucru vă va ajuta să vă consolidați încă o dată utilizarea instrumentelor pe care le-ați învățat, precum și independența.