Data-analyse in Python en databases (SQL) - gratis cursus van RANEPA, training, Datum: 6 maart 2023.
Gemengde Berichten / / December 04, 2023
Het Python Data Analysis and Database (SQL) -programma geeft studenten inzicht in de basisprincipes van het programmeren van ML-algoritmen (Machine Learning) met behulp van de Python-taal. Het helpt je ook een aantal competenties onder de knie te krijgen op het gebied van het beheren van moderne relationele databases en praktische vaardigheden verwerven in het gebruik van DBMS-taalhulpmiddelen (Database Management Systems gegevens).
In het bedrijfsleven en de overheid moeten voortdurend enorme hoeveelheden gegevens worden geanalyseerd informatie verkrijgen om de kwaliteit van het werk te controleren, nieuwe ideeën naar voren te brengen en geaccepteerde ideeën te rechtvaardigen beslissingen. Experts die enorme hoeveelheden data begrijpen, kunnen een snelle carrière met indrukwekkende salarissen verwachten.
In de regel worden SQL en Python het vaakst genoemd in vacatures met betrekking tot data-analyse.
Alleen studenten die niet in de volgende gebieden studeren, kunnen zich voor de cursus aanmelden:
Tijdens het beheersen van het programma krijgen studenten de mogelijkheid om (zelfstandig of in teamverband) nieuwe digitale producten te bedenken. De auteurs van de beste oplossingen krijgen de steun van de Academie en de kans om samen te werken met het Artificial Intelligence Laboratory en het Platform Development Laboratory van RANEPA.
Python
Hoe werkt het allemaal? Python-functies.
Waarom gebruikt iedereen Python? Vergelijking met andere programmeertalen. Hoe programma's schrijven? Voordelen van Python. Hoe Python te gebruiken bij taken: tekstverwerking, werken met afbeeldingen, voorraadrobots schrijven, chatbots lanceren. Invoer en uitvoer in Python. Namen in Python. Basisbewerkingen. Controle van de voortgang van de programma-uitvoering (voorwaardelijke constructies). Voorbeelden van eenvoudige programma's.
Cycli. Lijnen. String-methoden.
Lus met voorwaarde. Break- en Continue-instructies. For loop Lijnstructuur en lijnlengte. Het lijnelement en hoe u lijnen knipt. Een subtekenreeks uit een tekenreeks halen. Lijndoorgang. Secties.
Tupels. Lijsten. functie kaart. Willekeurige waardenlijstgenerator.
Waarom zijn tupels nodig? Werken met een lijst. Lijstelementen. Druk de lijst af. Correct kopiëren van lijsten. Kenmerken van het gebruik van de kaartfunctie. Wat zijn willekeurige waardegeneratoren? Een stelletje. Operaties met sets. Bevrorenset. Woordenboeken. methode verkrijgen Woordenboek doorkruisen.
Functies. Toepassing van wiskundige functies. Reikwijdte en uitsluiting.
Hoe u functies correct schrijft. Eenvoudige algoritmen. Het schrijven van de eerste functies. Hoe wiskunde toe te voegen. Aanbevelingen voor het schrijven van uw eigen functies. Hoe scopes werken. Globale variabelen. Meerdere waarden retourneren uit een functie. Uitzonderingen.
Werken met bestanden. Matrices. Soorten sorteren
Wat kunt u met de bestanden doen? Bestanden openen en sluiten. Tekstbestanden lezen en schrijven. Matrices. Matrices invullen. Matrices rij voor rij invoeren. Matrices lezen en schrijven. Bellensoort. Analyse van het algoritme. Verschillende versies van de oplossing.
Overzicht van de NumPy-bibliotheek. Werken met NumPy-functies. SciPY-bibliotheek.
Python-bibliotheken en hun installatie. Basis NumPy-gegevenstypen. Numerieke functies. Werken met arrays. Bewerkingen met arrays. Tweedimensionale arrays. Matrices. Basisfuncties van de SciPy-bibliotheek.
Panda's bibliotheekoverzicht. Basisanalyses.
Het installeren van de bibliotheek. Een Series-object maken. DataFrame-indexering. Tafels. Bestanden lezen en schrijven. Indexeren. Gegevensbemonstering. Bewerkingen met rijen en kolommen. Werken met NaN. Sorteren.
Datavisualisaties. Praktische voorbeelden
Het bestuderen van nieuwe data, voorbewerken, datavisualisatie, zoeken naar verbindingen tussen features, voorbereiden van trainingsdata en creëren van kredietrisicovoorspellingsmodellen. Het verkrijgen van een model dat antwoord geeft op de vraag: wel of niet een lening verstrekken.
Automatisering van routinetaken. Praktische voorbeelden
Analyse van praktische voorbeelden van automatisering van taken met betrekking tot het verkrijgen van geaggregeerde informatie uit verschillende bronnen (Excel-bestanden) of internet.
Overzicht van machine learning-methoden die worden gebruikt voor data-analyse. Praktische voorbeelden
Een praktisch voorbeeld van het identificeren van basiskenmerken en hun interpretatie in een begeleid leerprobleem.
Tussentijdse modulebeoordeling
Tussentijdse certificering vindt plaats in de vorm van een test (computertesten). Voorbeeld van een typisch testgebouw:
Welke Python-functie kun je gebruiken om het type van een variabele te achterhalen?
- hwoami
- type
- soort van
- is
Welk bereik aan getallen wordt gemaakt in de volgende code: bereik (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Wat kunt u uitvoeren met het codefragment in de lijst?
- Codefragment: print(math.sqrt(2))
- het getal 2 uit de wiskundebibliotheek weergeven
- het aansluiten van de wiskundebibliotheek
- het kwadrateren van een wiskundig getal
- waarbij de wortel van twee wordt weergegeven
SQL
Gegevensopslag en integriteit.
Gegevensopslag: gegevensbestanden, logs, RAID-niveaus, Tempdb. Relaties in databases, één op één, één op veel, veel op veel. Gegevensintegriteit: PRIMAIRE SLEUTEL, CHECK, UNIEKE en BUITENLANDSE SLEUTEL. Normalisatie van tabellen.
Een database en tabellen maken.
DBMS-architectuur: logische (tabellen en gegevenstype, sleutels, indexen, views, assemblies, beperkingen, regels, standaardwaarden) en fysieke niveaus (bestanden en bestandsgroepen, pagina's). Database creatie. Gegevenstypen voor tabelvelden: exacte getallen, Unicode-tekenreeksen, geschatte getallen, binaire gegevens, datum en tijd, andere gegevenstypen, tekenreeksen. Tabellen maken. Waar verzoeken schrijven?
Indexen. Diagrammen.
Indexen: geclusterd, niet-geclusterd, unieke identificatie, gefilterd, columnstore, hash, niet-geclusterd, geheugengeoptimaliseerde index. ER-diagrammen: databasediagrammen, databaseknooppunt. DML en de meest voorkomende SQL-operatoren: SELECT, INSERT, UPDATE, DELETE. Het belang van unieke factoren.
Verzoeken. Externe aansluitingen.
Query's op één tafel. Bemonstering zonder herhalingen. Query's op meerdere tabellen. Buitenste verbindingen: LINKS, RECHTS of VOL.
Geaggregeerde functies. Subquery's.
Subquery's: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Gegevens samenvoegen: SELECT JOIN. Verzamelfuncties: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Voorwaarden voor aggregatiefuncties.
Handige functies.
Nog iets over exploitanten. Industrieel verzoek. Handige functies: SQRT, RAND, CONCAT, numerieke en stringfuncties. Operatieprioriteit en typeconversie: CAST, CONVERT.
Transacties. Vertegenwoordiging.
Eén verzoek op vier manieren. Transacties: concept van transacties - atomiciteit, consistentie, isolatie, duurzaamheid, transactiebeheer - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Parallelle gegevenstoegang: problemen met vuil, niet-herhaalbaar lezen, fantomen. Weergaven: geïndexeerd, gepartitioneerd, systeem.
Variabelen en lussen.
Begin van de programmering. Variabelen: DECLARE, SET, SELECT. Codestructuur. Operatoren voor gegevensbeschrijving: CREATE, DROP, ALTER, enz. Operators voor gegevensmanipulatie: INSERT, DELETE, SELECT, UPDATE, enz. Operators voor het instellen van toegangsrechten in de database: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operators voor bescherming, gegevensherstel en andere operators. Cycli: TERWIJL.
Opgeslagen procedures en functies.
Tijdelijke tafels. Transact-SQL-cursors, server, client. Cursortypen: unidirectioneel, statisch, Keyset, dynamisch. Opgeslagen procedures en functies: CREATE PROCEDURE, CREATE PROC.
Triggers. Uitzonderingen.
Transportband HF. Triggers: NA, IN PLAATS VAN. Uitzonderingen: BEHALVE. Dynamische SQL met behulp van trefwoord en met behulp van opgeslagen procedure: EXECUTE IMMEDIATE.
DBMS. NoSQL-databases.
Transacties in programmeren/DBMS/SQL. Hoe verzoeken worden uitgevoerd. Hoe u de queryprestaties kunt verbeteren. NoSQL-database en zijn voordelen.
Tussentijdse modulebeoordeling
Tussentijdse certificering vindt plaats in de vorm van een test (computertesten). Voorbeeld van een typisch testgebouw:
Welk type veldgegevens is van het type NUMBER?
- snaar
- numeriek
- binair
Welke SQL-opdracht vraagt gegevens op?
- WIJZIGEN
- SELECTEER
- VAN
Wat is een transactie?
- dit is een groep bewerkingen die worden uitgevoerd door het DBMS
- is een groep bewerkingen met ACID-eigenschappen
- dit is de bewerking van het uitvoeren van een SQL-opdracht