Data Engineer - curs 89.000 rub. din Otus, antrenament 4 luni, data 30 noiembrie 2023.
Miscelaneu / / December 03, 2023
Ce vă va oferi acest curs?
- Înțelegerea modalităților cheie de integrare, procesare și stocare a datelor mari
- Abilitatea de a lucra cu componentele ecosistemului Hadoop, stocarea distribuită și soluțiile cloud
- Abilități practice în dezvoltarea serviciilor de date, vitrinelor și aplicațiilor
- Cunoașterea principiilor de organizare a monitorizării, orchestrarii, testării
Cursul este abordat dezvoltatori, administratorii DBMS și toți cei care doresc să-și îmbunătățească nivelul profesional, să stăpânească noi instrumente și să se angajeze în sarcini interesante în domeniul lucrului cu date.
După ce ați studiat Ingineria datelor, veți deveni un specialist căutat care:
- implementează, ajustează și optimizează instrumentele de procesare a datelor
- adaptează seturile de date pentru lucrări și analize ulterioare
- creează servicii care utilizează rezultatele prelucrării unor cantități mari de date
- responsabil pentru arhitectura datelor din companie
Studii de caz reale: exemple de implementări, utilizarea instrumentelor, optimizarea performanței, probleme, erori și rezultate aplicate
Orientare extrem de practică:
Pe parcursul cursului vom crea progresiv un produs de lucru, rezolvând probleme aplicate
O imagine holistică a provocărilor și sarcinilor afacerilor moderne și rolul inginerului de date în rezolvarea acestora
Cererea în rândul angajatorilor
40 de angajatori sunt deja pregătiți să cheme absolvenții de curs pentru un interviu
6
cursuriInginer de date la Wildberries, DE, vorbitor de curs junior. Mai mult de 7 ani în IT
Absolvent al Universității de Stat Voronezh cu onoruri. În prezent student la programul de master HSE „System and Software Engineering”. Experienta profesionala - 2 ani de munca ca Data Analyst si Data Engineer. Acum lucrează cu 5 baze de date populare, se dezvoltă în Python și își dezvoltă rapid abilitățile. Sunt gata să împărtășesc experiența mea.
1
bineEl dezvoltă analize în companie de mai bine de 10 ani. Printre realizări: - Construirea propriului sistem de analiză web end-to-end; - Construirea unui depozit analitic bazat pe MPP Vertica; - Organizarea procesării datelor pe baza Spark, Kafka, HDFS; -...
El dezvoltă analize în companie de mai bine de 10 ani. Printre realizări: - Construirea propriului sistem de analiză web end-to-end; - Construirea unui depozit analitic bazat pe MPP Vertica; - Organizarea procesării datelor pe baza Spark, Kafka, HDFS;- Crearea proceselor de lucru cu date, inclusiv calitatea datelor;- Crearea mai multor instrumente interne pentru lucrul și structurarea metadatelor (Data Catalog);- Construirea unui sistem de raportare corporativă, inclusiv în timp real; - De mai bine de 5 ani, crește Data Literacy în cadrul companiei, desfășurând diverse training-uri privind lucrul cu date, instrumente, SQL; De asemenea, a dezvoltat câțiva lideri de analiză care lucrează acum în companii mari. Accentul principal este pe înțelegerea problemelor de afaceri atunci când lucrați cu date și rezolvarea acestora.
1
bineSef departament, Sberbank 8 ani de experienta in dezvoltare industriala, inclusiv in crearea si intretinerea de aplicatii web atat in companii mari cat si in startup-uri. 3 ani de dezvoltare a sistemelor distribuite pentru guvernele mari...
Sef departament, Sberbank 8 ani de experienta in dezvoltare industriala, inclusiv in crearea si intretinerea de aplicatii web atat in companii mari cat si in startup-uri. 3 ani de dezvoltare a sistemelor distribuite pentru marii clienți guvernamentali. Am implementat trei proiecte de la zero, de la prototip la gata pentru utilizare industrială. Momentan implicat în dezvoltarea full-stack pentru clienții interni ai băncii, rezolvând probleme legate de analiza și inginerie de date. Experienta in programare in Java, Scala, Python, Javascript. O gamă largă de interese profesionale, de la construirea de sisteme distribuite până la analiza predictivă și analiza intențiilor. Educație: diplomă de licență de la UrFU numită după. B.N. Eltsin „Tehnologii informaționale”.
Arhitectura datelor
-Tema 1.Inginer de date. Sarcini, abilități, instrumente, nevoi ale pieței
-Tema 2.Arhitectura aplicaţiilor analitice: componente şi principii de bază
-Tema 3.On premises / Soluții cloud
-Tema 4. Automatizarea și orchestrarea conductelor – 1
-Tema 5. Automatizarea și orchestrarea conductelor – 2
Data Lake
-Tema 6. Sisteme de fișiere distribuite. HDFS/S3
-Subiect 7.Acces SQL la Hadoop. Apache Hive/Presto
-Tema 8. Formate de stocare a datelor și caracteristicile acestora
-Tema 9. Analiza telecomenzii pentru 1 caz
-Tema 10.Cozi de mesaje. Privire de ansamblu Kafka.
-Tema 11.Descărcarea datelor din sisteme externe
-Tema 12. Apache Spark – 1
-Tema 13. Apache Spark – 2
DWH
-Tema 14. SGBD analitic. baze de date MPP
-Tema 15.Modelare DWH – 1. noțiuni de bază dbt
-Tema 16.Modelare DWH – 2. Data Vault 2.0
-Tema 17. Practici DevOps în aplicații analitice. CI+CD
-Tema 18. Analiza telecomenzii pentru cazul 2
-Tema 19.Calitatea datelor. Managementul calității datelor
-Tema 20. Implementarea unei soluții BI
-Tema 21.Monitorizare / Metadate
NoSQL/NewSQL
-Tema 22.Stocare NoSQL. Coloană largă și valoare-cheie
-Tema 23.Stocare NoSQL. Orientat pe documente
-Tema 24.ELK
-Tema 25.ClickHouse
-Tema 26. Analiza telecomenzii pentru cazul 3
MLOps
-Tema 27.Organizarea si Ambalarea codului
-Tema 28.Arhitectura Docker si REST
-Tema 29.MLFlow + DVC
-Tema 30. Implementarea modelelor
-Tema 31. Analiza telecomenzii pentru cazul 4
-Tema 32. Analiza telecomenzii pentru cazul 5
Proiect de absolvire
-Tema 33. Selectarea temei și organizarea lucrărilor la proiect
-Tema 34.Consultatie
-Tema 35.Protecție