PySpark – analýza velkých dat v Databricks

kurz

Základní info

Popis kurzu

Pracujete s daty v Excelu, Power Query, SQL nebo Pandas a potřebujete zpracovat gigabajty až terabajty dat? PySpark je Python rozhraní pro Apache Spark – nástroj, který zpracovává Big Data, a zvládne i to, co se nevejde do paměti jednoho počítače.

Workshop probíhá kompletně v prostředí Databricks Community Edition – žádná instalace, vše v prohlížeči. Naučíte se pracovat s PySpark DataFrame API a Spark SQL. Využijete své znalosti z SQL, syntaxe Vám bude povědomá.

Obsah kurzu

Začínáme s Databricks
DataFrame – základní operace
Spark SQL
Zdroje dat
Zpracování dat
Agregace dat
Řešení chyb
Výstupy a export dat

Předpoklady

Základy Pythonu (proměnné, cykly, funkce). Zkušenost s SQL, Excel, Power Query nebo Pandas výhodou.