Data Engineer - cursus 89.000 wrijven. van Otus, training 4 maanden, datum 30 november 2023.
Gemengde Berichten / / December 03, 2023
Wat gaat deze cursus jou opleveren?
- Inzicht in de belangrijkste manieren om big data te integreren, verwerken en opslaan
- Mogelijkheid om te werken met Hadoop-ecosysteemcomponenten, gedistribueerde opslag en cloudoplossingen
- Praktische vaardigheden bij het ontwikkelen van datadiensten, storefronts en applicaties
- Kennis van de principes van het organiseren van monitoring, orkestratie en testen
De cursus komt aan bod ontwikkelaars, DBMS-beheerders en iedereen die zijn professionele niveau wil verbeteren, nieuwe tools onder de knie wil krijgen en interessante taken wil uitvoeren op het gebied van het werken met data.
Na je studie Data Engineering word jij een veelgevraagde specialist die:
- implementeert, past en optimaliseert dataverwerkingstools
- past datasets aan voor verder werk en analyse
- creëert diensten die gebruik maken van de resultaten van de verwerking van grote hoeveelheden gegevens
- verantwoordelijk voor de data-architectuur binnen het bedrijf
Real Case Studies: voorbeelden van implementaties, toolgebruik, prestatie-optimalisatie, problemen, fouten en toegepaste resultaten
Zeer praktische oriëntatie:
Tijdens de cursus creëren we stapsgewijs een werkend product, waarmee we toegepaste problemen oplossen
Een holistisch beeld van de uitdagingen en taken van het moderne bedrijfsleven, en de rol van de Data Engineer bij het oplossen ervan
Vraag onder werkgevers
Veertig werkgevers staan al klaar om afgestudeerden van de opleiding te bellen voor een gesprek
6
cursussenData engineer bij Wildberries, DE Junior cursusspreker. Ruim 7 jaar in de IT
Afgestudeerd met onderscheiding aan de Voronezh State University. Momenteel student aan de HSE masteropleiding "System and Software Engineering". Professionele ervaring - 2 jaar werk als data-analist en data-ingenieur. Nu werkt hij met 5 populaire databases, ontwikkelt hij in Python en ontwikkelt hij zijn vaardigheden snel. Klaar om mijn ervaring te delen.
1
GoedHij ontwikkelt al meer dan tien jaar analytics binnen het bedrijf. Enkele realisaties: - Bouw van ons eigen end-to-end webanalysesysteem; - Bouw van een analytisch magazijn op basis van MPP Vertica; - Organisatie van gegevensverwerking op basis van Spark, Kafka, HDFS; -...
Hij ontwikkelt al meer dan tien jaar analytics binnen het bedrijf. Enkele prestaties: - Bouw van ons eigen end-to-end webanalysesysteem; - Bouw van een analytisch magazijn op basis van MPP Vertica; - Organisatie van gegevensverwerking op basis van Spark, Kafka, HDFS;- Bouwen van processen voor het werken met data, inclusief datakwaliteit;- Creëren van diverse interne tools voor het werken en structureren van metadata (Data Catalog);- Bouw van een bedrijfsrapportagesysteem, inclusief realtime; - Al meer dan 5 jaar vergroot hij de datageletterdheid binnen het bedrijf door verschillende trainingen te geven over het werken met data, hulpmiddelen, SQL; Hij ontwikkelde ook verschillende analytische leiders die nu in grote bedrijven werken. De nadruk ligt vooral op het begrijpen van bedrijfsproblemen bij het werken met data en het oplossen ervan.
1
GoedAfdelingshoofd, Sberbank 8 jaar ervaring in industriële ontwikkeling, inclusief het maken en onderhouden van webapplicaties, zowel bij grote bedrijven als bij startups. 3 jaar ontwikkeling van gedistribueerde systemen voor grote overheden...
Afdelingshoofd, Sberbank 8 jaar ervaring in industriële ontwikkeling, inclusief het maken en onderhouden van webapplicaties, zowel bij grote bedrijven als bij startups. 3 jaar ontwikkeling van gedistribueerde systemen voor grote overheidsklanten. Drie projecten vanaf nul geïmplementeerd, van prototype tot klaar voor industrieel gebruik. Momenteel bezig met full-stack ontwikkeling voor interne klanten bij de bank, waarbij problemen met betrekking tot data-analyse en engineering worden opgelost. Ervaring met programmeren in Java, Scala, Python, Javascript. Een breed scala aan professionele interesses, variërend van het bouwen van gedistribueerde systemen tot voorspellende analyses en intentieanalyse. Opleiding: Bachelordiploma van UrFU vernoemd naar. B.N. Jeltsin “Informatietechnologieën”.
Data-architectuur
-Onderwerp 1.Data-ingenieur. Taken, vaardigheden, hulpmiddelen, marktbehoeften
-Topic 2. Architectuur van analytische toepassingen: basiscomponenten en principes
-Onderwerp 3.On-premise / Cloud-oplossingen
-Onderwerp 4. Automatisering en orkestratie van pijpleidingen – 1
-Onderwerp 5. Pijplijnautomatisering en -orkestratie – 2
Datameer
-Onderwerp 6. Gedistribueerde bestandssystemen. HDFS/S3
-Onderwerp 7.SQL-toegang tot Hadoop. Apache Hive/Presto
-Onderwerp 8. Formaten voor gegevensopslag en hun kenmerken
-Onderwerp 9. Analyse van afstandsbediening voor 1 geval
-Onderwerp 10.Berichtenwachtrijen. Kafka-overzicht.
-Onderwerp 11.Gegevens downloaden van externe systemen
-Onderwerp 12.Apache Spark – 1
-Onderwerp 13.Apache Spark – 2
DWH
-Onderwerp 14.Analytische DBMS. MPP-databases
-Onderwerp 15.DWH-modellering – 1. dbt-basisprincipes
-Onderwerp 16.DWH-modellering – 2. Datakluis 2.0
-Onderwerp 17.DevOps-praktijken in analytische toepassingen. CI+CD
-Onderwerp 18. Analyse van afstandsbediening voor geval 2
-Onderwerp 19.Gegevenskwaliteit. Beheer van gegevenskwaliteit
-Onderwerp 20. Implementatie van een BI-oplossing
-Onderwerp 21.Monitoring / Metagegevens
NoSQL/NewSQL
-Onderwerp 22.NoSQL-opslag. Brede kolom en sleutelwaarde
-Onderwerp 23.NoSQL-opslag. Documentgericht
-Thema 24.ELK
-Thema 25.ClickHouse
-Onderwerp 26. Analyse van afstandsbediening voor geval 3
MLOps
-Onderwerp 27.Organisatie en verpakking van code
-Onderwerp 28.Docker en REST-architectuur
-Thema 29.MLFlow + DVC
-Onderwerp 30. Inzet van modellen
-Onderwerp 31. Analyse van afstandsbediening voor geval 4
-Onderwerp 32. Analyse van afstandsbediening voor geval 5
Afstudeerproject
-Onderwerp 33. Keuze van het onderwerp en organisatie van projectwerk
-Onderwerp 34.Overleg
-Onderwerp 35. Bescherming