Data Science - curs gratuit de la Scoala de Analiza Datelor, pregatire 4 semestre, data de 2 decembrie 2023.
Miscelaneu / / December 05, 2023
Pentru cei care doresc să pună probleme folosind analiza datelor, propun soluții și evaluează eficacitatea acestora nu doar într-un experiment sintetic, ci și în condiții reale.
Statistici, învățarea automată și lucrul cu diferite tipuri de date.
Datele stau la baza celor mai moderne servicii și produse, de la aplicații de prognoză meteo la mașini cu conducere autonomă. Un Data Scientist efectuează experimente, construiește valori, știe cum să optimizeze funcționarea serviciilor și înțelege unde sunt punctele lor de creștere.
Fiecare student trebuie să parcurgă cu succes cel puțin trei cursuri pe parcursul semestrului. De exemplu, dacă există două dintre ele în programul principal, atunci trebuie să alegeți unul dintre cursurile speciale.
Cunoștințele sunt testate în primul rând prin teme - examenele și testele se desfășoară doar la unele materii.
Primul semestru
Obligatoriu
Algoritmi și structuri de date, partea 1
01.Complexitate și modele de calcul. Analiza valorilor contabile (început)
02.Analiza valorilor contabile (sfârșit)
03.Algoritmi Merge-Sort și Quick-Sort
04. Statistici ordinale. grămezi (început)
05. Mormane (capăt)
06.Hashing
07. Căutare arbori (început)
08.Căutare arbori (continuare)
09.Căutați arbori (sfârșit). Sistem de mulțimi disjunse
10. Sarcini RMQ și LCA
11. Structuri de date pentru căutare geometrică
12. Problema conectivității dinamice într-un graf nedirecționat
Limbajul Python
01. Bazele limbii (Partea 1)
02. Bazele limbii (Partea 2)
03.Programare orientată pe obiect
04.Manevrarea erorilor
05. Proiectarea codului și testarea
06. Lucrul cu șiruri
07.Model de memorie
08 Programare funcțională
09.Recenzia bibliotecii (partea 1)
10.Recenzia bibliotecii (partea 2)
11.Calcul paralel în Python
12. Lucru avansat cu obiecte
Învățare automată, partea 1
01. Concepte de bază și exemple de probleme aplicate
02.Metode de clasificare metrică
03.Metode de clasificare logica si arbori de decizie
04.Metode de clasificare liniară gradient
05.Suport Vector Machine
06.Regresia liniară multivariată
07. Regresie neliniară și neparametrică, funcții de pierdere non-standard
08.Prognoza serii temporale
09.Metode bayesiene de clasificare
10.Regresia logistică
11.Căutare reguli de asociere
Al doilea mandat
Obligatoriu
Fundamentele statisticii în învățarea automată
01.Introducere
02. Principalele sarcini și metode ale teoriei inferenței statistice
03. Estimarea distribuţiei şi funcţionale statistice
04.Simulare Monte Carlo, bootstrap
05. Estimarea parametrică
06. Testarea ipotezelor
07. Reducerea dimensionalității datelor multidimensionale
08.Evaluarea sensibilității modelului
09.Regresia liniară și logistică
10.Metode de proiectare a experimentelor
11.Diverse tipuri de regularizare în regresie liniară
12. Metode neliniare pentru construirea dependențelor de regresie
13. Estimarea neparametrică
14. Abordarea bayesiană a estimării
15.Abordarea bayesiană a regresiei
16. Abordarea bayesiană a regresiei și optimizării
17.Utilizarea modelului de câmp aleator gaussian în probleme de analiză a datelor
18.Utilizarea modelelor și metodelor statistice în probleme de modelare și optimizare surogat
Învățare automată, partea a 2-a
01.Metode de clasificare si regresie a retelelor neuronale
02.Metode compoziționale de clasificare și regresie
03.Criterii de selectare a modelelor și metode de selectare a caracteristicilor
04.Clasament
05.Învățare prin întărire
06.Învățarea fără profesor
07.Probleme cu antrenamentul parțial
08.Filtrare colaborativă
09. Modelare tematică
Al treilea semestru
A alege din
Procesare automată a textului
01 Material de curs
sau
Viziune computerizată
Cursul este dedicat metodelor și algoritmilor de viziune computerizată, i.e. extrageți informații din imagini și videoclipuri. Să ne uităm la elementele de bază ale procesării imaginilor, clasificării imaginilor, căutării imaginilor după conținut, recunoașterii feței, segmentării imaginilor. Apoi vom vorbi despre procesarea video și algoritmii de analiză. Ultima parte a cursului este dedicată reconstrucției 3D. Pentru majoritatea problemelor vom discuta modelele de rețele neuronale existente. În cadrul cursului încercăm să acordăm atenție doar celor mai moderne metode care sunt utilizate în prezent în rezolvarea problemelor practice și de cercetare. Cursul este mai degrabă practic decât teoretic. Prin urmare, toate cursurile sunt dotate cu laborator și teme, care vă permit să încercați majoritatea metodelor discutate în practică. Lucrarea este efectuată în Python folosind diferite biblioteci.
01.Imagine digitală și corecție tonală.
02. Bazele procesării imaginii.
03.Combinarea imaginilor.
04. Clasificarea imaginilor și căutarea unora similare.
05. Rețele neuronale convoluționale pentru clasificare și căutare de imagini similare.
06.Detecția obiectelor.
07. Segmentarea semantică.
08.Transfer stil și sinteza imaginii.
09.Recunoaștere video.
10. Reconstrucție 3D rară.
11. Reconstrucție tridimensională densă.
12. Reconstrucție dintr-un cadru și nori de puncte, modele parametrice.
Al patrulea semestru
Cursuri speciale recomandate
Invatare profunda
01.Material de curs
Consolidarea învățării
01.Material de curs
Mașini cu conducere autonomă
Cursul acoperă componentele de bază ale tehnologiei auto-conducerii: localizarea, percepția, predicția, nivelul comportamental și planificarea mișcării. Pentru fiecare componentă, vor fi descrise principalele abordări. În plus, studenții se vor familiariza cu condițiile actuale ale pieței și cu provocările tehnologice.
01.Prezentare generală asupra principalelor componente și senzori ai unui vehicul fără pilot. Niveluri de autonomie. Conduceți prin cablu. Mașinile cu conducere autonomă ca produs de afaceri. Modalități de evaluare a progresului în crearea de drone. Elemente de bază ale localizării: gnss, odometria roții, filtre bayesiene.
02.Metode de localizare lidar: ICP, NDT, LOAM. Introducere în SLAM vizual folosind ORB-SLAM ca exemplu. Declarația problemei GraphSLAM. Reducerea problemei GraphSLAM la o metodă neliniară a celor mai mici pătrate. Selectarea parametrizării corecte. Sisteme cu o structură specială în GraphSLAM. Abordare arhitecturală: frontend și backend.
03. Sarcina de recunoaștere într-o mașină care se conduce singur. Obstacole statice și dinamice. Senzori pentru sistemul de recunoaștere. Reprezentarea obstacolelor statice. Detectarea obstacolelor statice folosind lidar (VSCAN, metode de rețea neuronală). Utilizarea lidar împreună cu imaginile pentru a detecta statica (segmentarea semantică a imaginii, completarea adâncimii). Cameră stereo și obținerea profunzimii dintr-o fotografie. Lumea Stixel.
04.Imaginarea obstacolelor dinamice într-o mașină care se conduce singur. Metode de rețea neuronală pentru detectarea obiectelor în 2D. Detectarea bazată pe vizualizarea de tip Bird-eye a reprezentării norului lidar. Utilizarea lidar cu imagini pentru a detecta obstacole dinamice. Detectarea mașinii în 3D pe baza imaginilor (montarea cutiilor 3D, modele CAD). Detectarea dinamică a obstacolelor bazată pe radar. Urmărirea obiectelor.
05.Modele de conducere auto: roată din spate, roată din față. Planificarea traseului. Conceptul de spațiu de configurare. Metode grafice pentru construirea traiectoriilor. Traiectorii care minimizează smucitura. Metode de optimizare pentru construirea traiectoriilor.
06.Planificarea vitezei într-un mediu dinamic. planificarea ST. Prezicerea comportamentului altor utilizatori ai drumului.