Cursus "Data Engineer" - cursus 95.000 wrijven. van Yandex Workshop, training 6,5 maanden, Datum: 11 december 2023.

Het gegevensmodel bijwerken

1 module 2 weken

Het bedrijf blijft je onderdompelen in haar processen. De gegevens waarmee u werkte, zijn bijgewerkt, dus u moet het gegevensmodel wijzigen.

In deze cursus:
- begrijpen hoe het bedrijf een database bouwt;
- update de structuur van de huidige database in overeenstemming met nieuwe zakelijke vereisten;

- nieuwe showcases en statistieken voorbereiden voor analisten en managers.

Technologieën en hulpmiddelen:

• PostgreSQL

+1 project in portefeuille
Bouw een datamart met incrementeel laden voor analyse van het online winkelpubliek.

DWH: herziening van het datamodel

Module 2 3 weken

Het bedrijf groeit, de data-architectuur wordt complexer. Je krijgt een taak: processen optimaliseren met data.

In deze cursus:
- denk na over het proces van de overgang van het oude databaseschema naar het nieuwe, terwijl de bedrijfsverliezen tot een minimum worden beperkt (implementatie zonder downtime);
- voorbereiden datamigratie;
- houd rekening met mogelijke problemen en ontwerp een optie om wijzigingen ongedaan te maken;
- een nieuwe databasestructuur implementeren en aanpassen aan bestaande processen rondom data.

Technologieën en hulpmiddelen:

• PosgreSQL
• Python

+1 project in portefeuille
Je brengt het datamodel op orde en migreert data binnen de huidige opslag van de webwinkel.

ETL: automatisering van gegevensvoorbereiding

Module 3 3 weken

U weet nu bijna alles over het datawarehouse van het bedrijf. Het is tijd om ETL-processen te heroverwegen.

In deze cursus:
- automatiseer de datapijplijn;
- configureer het automatisch downloaden van gegevens uit bronnen;
- leer regelmatig en stapsgewijs gegevens in de database te laden.

Technologieën en hulpmiddelen:

• Python
• Luchtstroom
• PostgreSQL

+1 project in portefeuille
Bouw een pijplijn voor het automatisch ontvangen, verwerken en laden van gegevens van bronnen naar de winkel voor een e-commerceproject.

Controle van de gegevenskwaliteit

Module 4 1 week

U wilt er zeker van zijn dat uw eerste pijpleidingen goed werken. De gegevenskwaliteit moet worden gecontroleerd en storingen moeten tijdig worden opgespoord.

In deze cursus:
- begrijpen hoe u meta-informatie en documentatie kunt gebruiken;
- de kwaliteit van de gegevens evalueren.

DWH voor meerdere bronnen

Module 5 2 weken

Je blijft onderzoek doen naar DWH omdat de ontwikkeling van het bedrijf en daarmee de toename van het datavolume niet te stoppen is.

In deze cursus:
- DWH helemaal opnieuw bouwen op een relationeel DBMS;
- maak kennis met MongoDB als databron.

Technologieën en hulpmiddelen:

• PostgreSQL
• MongoDB

+1 project in portefeuille
Je ontwerpt en implementeert DWH voor een in-house startup.

Analytische databases

Module 6 2 weken

Er zijn steeds meer specifieke ongestructureerde gegevens die ook moeten worden opgeslagen en verwerkt. Daarom laten we u kennismaken met het concept van analytische databases, waarbij we het Vertica DBMS als voorbeeld gebruiken.

In deze cursus:
- studie opslagorganisatie in Vertica;
- leer hoe u basisbewerkingen met gegevens kunt uitvoeren in Vertica;
- bouw een eenvoudig datawarehouse in Vertica.

Technologieën en hulpmiddelen:

• Verticaal
• PostgreSQL
• Luchtstroom
• S3

+1 project in portefeuille
Bouw een DWH voor een laaggestructureerd messenger-datasysteem met hoge belasting met behulp van Vertica.

Data Lake-organisatie

Module 7 4 weken

Klassieke oplossingen helpen niet om met de hoeveelheid data om te gaan. Om nieuwe zakelijke uitdagingen het hoofd te bieden, bouw en vul je een Data Lake.

In deze cursus:
- overweeg de Data Lake-architectuur (trans. "datameer");
- gegevens leren verwerken in het MPP-systeem;
- het Data Lake vullen met data uit bronnen;
- oefen gegevensverwerking met PySpark en Airflow.

Technologieën en hulpmiddelen:

• Hadoep
• KaartVerminderen
• HDFS
• Apache Spark (PySpark)

+1 project in portefeuille
Bouw een Data Lake en automatiseer het laden en verwerken van gegevens daarin.

Stroomverwerking

Module 8 3 weken

U hebt de moeilijkheden met een grote hoeveelheid gegevens overwonnen, maar er is een nieuwe taak verschenen: u moet het bedrijf helpen sneller beslissingen te nemen. Hier heeft u kennis nodig van de verwerking van streamgegevens. streamen).

In deze cursus:
- overweeg de kenmerken van de verwerking van stroomgegevens;
- bouw je eigen streamingsysteem;
- bouw een winkelpui met behulp van realtime gegevens.

Technologieën en hulpmiddelen:

• Kafka
• Spark-streaming

+1 project in portefeuille
Je ontwikkelt een realtime gegevensverwerkingssysteem.

Cloud-technologieën

Module 9 3 weken

Nu kunt u werken met zowel grote hoeveelheden gegevens als stromen. Het enige dat overblijft is het automatiseren van de schaalvergroting van systemen met behulp van clouddiensten.

In deze cursus leert u hoe u reeds bestudeerde oplossingen kunt implementeren, maar dan in de cloud (met Yandex Cloud als voorbeeld).

Technologieën en hulpmiddelen:

• Yandex. Wolk
• Kubernetes
• kubectl
• Opnieuw
• PostgreSQL

+1 project in portefeuille
Je ontwikkelt infrastructuur voor het opslaan en verwerken van gegevens in de cloud.

Afstudeerproject

Module 10 3 weken

Bevestig dat je nieuwe vaardigheden hebt geleerd.

Hier moet u zelfstandig oplossingen voor een bedrijfsprobleem selecteren en implementeren. Dit zal je helpen het gebruik van de tools die je hebt geleerd opnieuw te versterken, evenals je onafhankelijkheid.