Apache Spark-framework voor ontwikkelaars: gevorderd niveau - cursus 41.500 wrijven. van IBS Training Center, training 24 uur, Datum 26 november 2023.
Gemengde Berichten / / December 05, 2023
De training geeft een gedetailleerd inzicht in de interne structuur en werking van het Apache Spark-framework - zowel Spark Core (RDD), Spark SQL, Spark Streaming als Spark Structured Streaming. Er wordt rekening gehouden met de mechanismen voor het lanceren van Spark-clustercomponenten onder controle van verschillende clustermanagers, het beheren van de toewijzing van bronnen (voornamelijk geheugen) en de werkmechanismen van planners. De voordelen van het interne representatieformaat van Tungsten en de werking van de Catalyst optimizer worden in detail onderzocht.
Behandelde onderwerpen:
Spark interne architectuur, Spark Runtime-omgeving
Spark Context, SparkConf instellen
RDD-interne onderdelen, logische lay-out
Beste praktijken voor programmeren met RDD
Fysiek plan: werk, fasen, taken
Planners en uitvoering van fysieke plannen
Geheugenafstemming, serialisatie, caching, garbagecollection
Datasource API, interne gegevensweergave van Tungsten, bestandsformaten
Katalysator-optimalisatie
Microbatch Spark Streaming: gegevens ontvangen en uitvoeren
Structured Streaming: gegevens ontvangen en distribueren