Data Engineer de la zero la Junior - curs gratuit de la Skillbox, training, Data: 29 noiembrie 2023.

instagram viewer

Primul nivel: pregătire de bază

Familiarizați-vă cu principalele domenii ale științei datelor, antrenați și implementați primul dvs. model ML. Obține cunoștințe de bază despre matematică, statistică și teoria probabilităților. Toate acestea vă vor ajuta să înțelegeți principiile de bază ale lucrului cu date. Durata medie de finalizare este de 6 luni.

Introducere în știința datelor
Veți parcurge toate etapele de lucru cu date. Învață să identifici problemele, să colectezi cerințele de afaceri. Veți descărca date din diverse surse, veți efectua analize exploratorii și veți pregăti setul de date pentru utilizare ulterioară. Antrenați și implementați un model ML gata făcut, încercați-vă ca analist de produs și marketing. Aflați cum să formulați și să testați ipoteze. Stăpânește instrumentele de bază pentru lucru: Python, SQL, Excel, Power Bi, Airflow.

Matematică de bază pentru știința datelor
Obțineți cunoștințe de bază de matematică pentru a lucra cu învățarea automată. Veți înțelege ce sunt aproximarea, interpolarea, funcțiile, regresiile, matricele și vectorii. Învață să lucrezi cu entități matematice din biblioteca SymPy Python.

Fundamentele statisticii și teoria probabilității
Veți înțelege principiile lucrului cu variabile și evenimente aleatoare. Familiarizați-vă cu unele tipuri de distribuții și teste statistice care sunt utile în construirea modelelor și testarea ipotezelor.

Oportunitate de stagiu
Cunoștințele și abilitățile de bază sunt suficiente pentru a obține un stagiu - poți continua să studiezi la curs și în companie în același timp.

Nivelul doi: Data Engineer Junior

Învățați să colectați seturi complexe de date, să pregătiți vitrine și să construiți conducte pentru lucru, să implementați proiecte DS de la zero și să testați codul. Veți fi gata să lucrați ca inginer junior de date. Durata medie de finalizare este de 6 luni.

Bloc introductiv
Aflați ce face un inginer de date, ce rol joacă într-un proiect de știință a datelor și care sunt traseele sale de carieră. Veți înțelege cum este structurat cursul și ce subiecte veți studia.

SQL
Învățați să manipulați datele din tabelele existente, să efectuați operațiuni de inserare, ștergere și actualizare. Puteți salva datele din baza de date în diferite formate. Aflați despre funcțiile ferestrei și despre elementele de bază ale pregătirii data mart-urilor folosind SQL. Aflați să asigurați inserarea corectă a informațiilor în modul tranzacție. Veți putea citi și înțelege jurnalul de tranzacții. Aflați ce sunt indexurile și arhitectura indexului și unde sunt utilizați. Învățați tehnici pentru a accelera interogările.

Piton. LVL 2
Luați în considerare tipurile de date, modul în care acestea pot fi convertite și modul în care Python și SQL lucrează împreună - obținerea datelor dintr-o bază de date, lucrul cu datele și rularea interogărilor. Aflați conceptele de bază ale schemelor de date JSON și XML. Veți putea configura depanarea aplicației, scrieți teste, anonimizați și criptați datele.

Biblioteci pentru Python
Veți afla ce sunt bibliotecile pentru lucrul cu grafice, învățarea supravegheată, vizualizarea valorilor și sursele de seturi de date. Învață să folosești Python și bibliotecile pentru a lucra cu date. Puteți continua să învățați Panda.

Flux de aer
Examinați conceptele și practicile cheie pentru lucrul cu Airflow. Aflați elementele fundamentale ale arhitecturii și interoperabilității de la UI la CLI. Construiește-ți primul canal de date.

Bazele Spark
Master Spark: aflați pe ce resurse de calcul operează, cum stochează date și cum funcționează cu memoria și discul. Instalează primul tău stand local. Învață elementele de bază ale RDD: concepte de bază, lucru cu surse, acțiuni. Învață să lucrezi cu API-ul Dataframe. Aflați probleme de performanță și optimizare atunci când utilizați Dataframe, sursele și tipurile de date, lucrul cu date valide/invalide, gestionarea erorilor, UDF, interacțiunea cu Python și SQL.

Bazele algoritmilor de învățare automată
Veți înțelege principalele tipuri de modele de învățare automată, termenii cheie și definițiile. Aflați algoritmi de regresie și algoritmi de grupare.

Implementare
Aflați principalele etape ale pregătirii unui model pentru implementare, abordări ale construirii unui API și modalități de a gestiona erorile și de a depana aplicațiile. Veți putea depana problemele de implementare și veți putea să stăpâniți instrumentele de bază pentru stăpânire. Familiarizați-vă cu procesele cheie ale bash: scrierea de scripturi, lucrul cu variabile și editorii de text sed și awk.

Proiecte finale

După trecerea primului nivel, pregătiți un proiect introductiv. La sfârșitul cursului vă veți prezenta lucrarea finală.

Introducere în știința datelor
Consolidează-ți noile cunoștințe pe un proiect individual - vei trece de la încărcarea datelor la implementarea unui model. Rezolvați problemele unui inginer de date, inginer ML și analist de date pentru a vă decide specializarea.

Inginer de date
Proiect final la nivel Junior. Efectuați o analiză de cohortă și descărcați referințe API. Construiți tablouri de bord pe baza datelor primite.

Cursuri bonus

Cariera de dezvoltator: angajare și dezvoltare
Veți învăța cum să alegeți un post potrivit, să vă pregătiți pentru un interviu și să negociați cu un angajator. Veți putea obține rapid o poziție care să corespundă așteptărilor și aptitudinilor dumneavoastră.

Sistemul de control al versiunilor Git
Aflați să versați modificările codului, să creați și să gestionați depozite, ramuri și să rezolvați conflictele de versiuni. Aflați reguli utile pentru a lucra cu Git.

Engleză pentru specialiști IT
Obțineți abilități lingvistice care vă vor ajuta să treceți la un interviu cu o companie străină și să comunicați confortabil în echipe mixte.