Analiza datelor in Python si baze de date (SQL) - curs gratuit de la RANEPA, training, Data: 6 martie 2023.
Miscelaneu / / December 04, 2023
Programul Python Data Analysis and Database (SQL) va oferi studenților o înțelegere a elementelor fundamentale ale programării algoritmilor ML (Machine Learning) folosind limbajul Python. De asemenea, vă va ajuta să stăpâniți o serie de competențe în domeniul administrării bazelor de date relaționale moderne și dobândiți abilități practice în utilizarea instrumentelor lingvistice DBMS (Database Management Systems date).
În afaceri și guvern, cantități uriașe de date trebuie analizate în mod constant să obțină informații pentru a controla calitatea muncii, să prezinte idei noi și să le justifice pe cele acceptate deciziilor. Experții care înțeleg cantități masive de date se pot aștepta la o carieră rapidă, cu salarii impresionante.
De regulă, SQL și Python sunt cel mai des menționate în anunțurile de angajare legate de analiza datelor.
Numai studenții care nu studiază în următoarele domenii pot aplica la curs:
Pe parcursul stăpânirii programului, studenții vor avea ocazia să vină cu noi produse digitale (independent sau în echipă). Autorii celor mai bune soluții vor primi sprijinul Academiei și oportunitatea de a colabora cu Laboratorul de Inteligență Artificială și Laboratorul de Dezvoltare a Platformei al RANEPA.
Piton
Cum funcționează totul? Caracteristici Python.
De ce toată lumea folosește Python? Comparație cu alte limbaje de programare. Cum se scriu programe? Avantajele lui Python. Cum să utilizați Python în sarcini: procesare de text, lucru cu imagini, scriere de roboți de stoc, lansare de roboti de chat. Intrare și ieșire în Python. Nume în Python. Operații de bază. Controlul progresului execuției programului (construcții condiționate). Exemple de programe simple.
Cicluri. Linii. Metode cu șiruri.
Buclă cu precondiție. Declarații Break and Continue. Pentru buclă Structura liniei și lungimea liniei. Elementul de linie și modul de tăiere a liniilor. Obținerea unui subșir dintr-un șir. Traversarea liniilor. Secțiuni.
Tupluri. Liste. harta funcțiilor. Generator de liste de valori aleatorii.
De ce sunt necesare tupluri? Lucrul cu o listă. Lista elementelor. Tipăriți lista. Copierea corectă a listelor. Caracteristici de utilizare a funcției de hartă. Ce sunt generatorii de valori aleatorii? O multime de. Operații cu seturi. Frozenset. Dicționare. obține metoda Dicţionar traversal.
Funcții. Aplicarea funcţiilor matematice. Domeniul de aplicare și excluderea.
Cum să scrieți corect funcțiile. Algoritmi simpli. Scrierea primelor funcții. Cum se adaugă matematică. Recomandări pentru scrierea propriilor funcții. Cum funcționează lunetele. Variabile globale. Returnarea mai multor valori dintr-o funcție. Excepții.
Lucrul cu fișiere. Matrici. Tipuri de sortare
Ce poți face cu fișierele? Deschiderea și închiderea fișierelor. Citirea și scrierea fișierelor text. Matrici. Completarea matricelor. Introducerea matricelor rând cu rând. Matrice de citire și scriere. Sortare cu bule. Analiza algoritmului. Mai multe versiuni ale soluției.
Prezentare generală a bibliotecii NumPy. Lucrul cu funcțiile NumPy. biblioteca SciPY.
Bibliotecile Python și instalarea acestora. Tipuri de date NumPy de bază. Funcții numerice. Lucrul cu matrice. Operații cu matrice. Matrice bidimensionale. Matrici. Caracteristicile de bază ale bibliotecii SciPy.
Prezentare generală a bibliotecii Pandas. Analiza de bază.
Instalarea bibliotecii. Crearea unui obiect Series. Indexarea DataFrame. Mese. Citirea și scrierea fișierelor. Indexarea. Eșantionarea datelor. Operații cu rânduri și coloane. Lucrul cu NaN. Triere.
Vizualizări de date. Exemple practice
Studierea datelor noi, preprocesarea, vizualizarea datelor, căutarea conexiunilor între caracteristici, pregătirea datelor de instruire și crearea modelelor de prognoză a riscului de credit. Obținerea unui model care să răspundă la întrebarea: a emite sau nu un împrumut.
Automatizarea sarcinilor de rutină. Exemple practice
Analiza exemplelor practice de automatizare a sarcinilor legate de obținerea de informații agregate din mai multe surse (fișiere Excel) sau de pe Internet.
Revizuirea metodelor de învățare automată utilizate pentru analiza datelor. Exemple practice
Un exemplu practic de identificare a caracteristicilor de bază și interpretarea lor într-o problemă de învățare supravegheată.
Evaluare interimară a modulului
Certificarea intermediară are loc sub forma unui test (testare pe computer). Exemplu de clădire de testare tipică:
Ce funcție Python puteți folosi pentru a afla tipul unei variabile?
- hwoami
- tip
- tip de
- este
Ce interval de numere va fi creat în următorul cod: interval (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Ce vă permite să executați fragmentul de cod din listă?
- Fragment de cod: print(math.sqrt(2))
- afisarea numarului 2 din biblioteca de matematica
- conectarea bibliotecii de matematică
- punerea la pătrat a unui număr matematic
- afișând rădăcina pătrată a lui doi
SQL
Stocarea și integritatea datelor.
Stocarea datelor: fișiere de date, jurnale, niveluri RAID, Tempdb. Relații în baze de date, unu la unu, unu la mulți, mulți la mulți. Integritatea datelor: CHEIE PRIMARĂ, VERIFICARE, CHEIE UNICĂ și STRĂINĂ. Normalizarea tabelelor.
Crearea unei baze de date și a tabelelor.
Arhitectura DBMS: niveluri logice (tabele și tip de date, chei, indexuri, vederi, ansambluri, constrângeri, reguli, valori implicite) și fizice (fișiere și grupuri de fișiere, pagini). Crearea bazei de date. Tipuri de date din câmpul tabelului: numere exacte, șiruri de caractere Unicode, numere aproximative, date binare, dată și oră, alte tipuri de date, șiruri de caractere. Crearea de tabele. Unde să scriu cereri?
Indici. Diagrame.
Indexuri: clustered, non-clustered, identificare unică, filtrat, columnstore, hash, non-clustered, index optimizat pentru memorie. Diagrame ER: Diagrame baze de date, Nod bază de date. DML și cei mai comuni operatori SQL: SELECT, INSERT, UPDATE, DELETE. Importanța factorilor unici.
Cereri. Conexiuni externe.
Interogări pe un singur tabel. Prelevare de probe fără repetări. Interogări pe mai multe tabele. Imbinari exterioare: STÂNGA, DREAPTA sau COMPLET.
Funcții agregate. Subinterogări.
Subinterogări: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Date de conectare: SELECTAȚI JOIN. Funcții agregate: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Condiții pentru funcțiile agregate.
Caracteristici utile.
Mai multe despre operatori. Cerere industrială. Funcții utile: SQRT, RAND, CONCAT, funcții numerice și șir. Prioritatea operației și conversia tipului: CAST, CONVERT.
Tranzacții. Reprezentare.
O cerere în patru moduri. Tranzacții: conceptul de tranzacții - atomicitate, consistență, izolare, durabilitate, managementul tranzacțiilor - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Accesul la date în paralel: probleme de citire murdară, nerepetabilă, fantome. Vizualizări: indexate, partiționate, sistem.
Variabile și bucle.
Începutul programării. Variabile: DECLARE, SET, SELECT. Structura codului. Operatori de descriere a datelor: CREATE, DROP, ALTER etc. Operatori de manipulare a datelor: INSERT, DELETE, SELECT, UPDATE etc. Operatori pentru setarea drepturilor de acces in baza de date: GRANT/REVOKE, LOCK/UNLOCK, SET LOCK MODE Operatori pentru protectie, recuperare date si alti operatori. Cicluri: WHILE.
Proceduri și funcții stocate.
Tabele temporare. Cursore Transact-SQL, server, client. Tipuri de cursor: unidirecțional, static, Keyset, dinamic. Proceduri și funcții stocate: CREATE PROCEDURE, CREATE PROC.
Declanșatoare. Excepții.
Transportor HF. Declanșatoare: DUPĂ, ÎN LOC. Excepții: EXCEPTĂ. SQL dinamic folosind cuvântul cheie și folosind procedura stocată: EXECUTE IMMEDIATE.
SGBD. baze de date NoSQL.
Tranzacții în programare/DBMS/SQL. Cum sunt executate cererile. Cum să îmbunătățiți performanța interogărilor. Baza de date NoSQL și avantajele acesteia.
Evaluare interimară a modulului
Certificarea intermediară are loc sub forma unui test (testare pe computer). Exemplu de clădire de testare tipică:
Ce tip de date de câmp este tipul NUMBER?
- şir
- numeric
- binar
Ce comandă SQL interogă datele?
- MODIFICA
- SELECTAȚI
- DIN
Ce este o tranzacție?
- acesta este un grup de operațiuni efectuate de SGBD
- este un grup de operații care are proprietăți ACID
- aceasta este operația de executare a unei comenzi SQL