Interview Questions and Answers

Example:

data = [1, 2, 3, 4, 5]
rdd = spark.sparkContext.parallelize(data)

Example:

df = spark.createDataFrame([(1, 'John'), (2, 'Jane')], ['ID', 'Name'])

Example:

df.cache()

Example:

df.na.drop()

Example:

from pyspark.sql.functions import explode

exploded_df = df.select('ID', explode('items').alias('item'))

Example:

df.persist()

Example:

from pyspark.sql.functions import explode

exploded_df = df.select('ID', explode('items').alias('item'))

Example:

df.na.drop()

Example:

df.cache()

Example:

result = df.agg({'Sales': 'sum', 'Quantity': 'avg'})

Example:

df_coalesced = df.coalesce(5)