Apache Spark вопросы и ответы для интервью
Question: How does Spark handle data skewness in transformations like groupByKey?Answer: Data skewness occurs when certain keys have significantly more data than others. Spark handles it by using techniques like data pre-partitioning or using advanced algorithms like map-side aggregation.Example:
|
Сохранить для повторения
Добавьте этот элемент в закладки, отметьте как сложный или поместите в набор для повторения.
Войдите, чтобы сохранять закладки, сложные вопросы и наборы для повторения.
Это полезно? Да Нет
Самое полезное по оценкам пользователей:
- What is the purpose of the Spark SQL module?
- Explain the difference between narrow and wide transformations in Spark.