在Apache Spark中缓存RDD的目的是什么？(What is the purpose of cache an RDD in Apache Spark?)

 我是Apache Spark的新手，我在火花中有几个基本问​​题，在阅读火花材料时我无法理解。 每种材料都有自己的解释风格。 我在Ubuntu上使用PySpark Jupyter笔记本来练习。 
 
 根据我的理解，当我运行下面的命令时，testfile.csv中的数据被分区并存储在各个节点的内存中。（实际上我知道它是一个懒惰的评估，它只有在看到动作命令才会处理），但仍然是这个概念 
 
rdd1 = sc.textFile("testfile.csv")
 
 我的问题是当我运行下面的转换和动作命令时，rdd2数据将存储在何处。 
 
 它存储在内存中吗？ 
 
rdd2 = rdd1.map( lambda x: x.split(",") )

rdd2.count()
 
 我知道rdd2中的数据可用，直到我关闭jupyter笔记本。然后需要cache（），无论如何rdd2可以进行所有转换。 我听说在完成所有转换后，内存中的数据被清除了，那是什么意思？ 
 
 
 
 将RDD保留在内存和缓存（）之间是否有任何区别 
 rdd2.cache（） 
 

I am new for Apache Spark and I have couple of basic questions in spark which I could not understand while reading the spark material. Every materials have their own style of explanation. I am using PySpark Jupyter notebook on Ubuntu to practice. 
 
As per my understanding, When I run the below command, the data in the testfile.csv is partitioned and stored in memory of the respective nodes.( actually I know its a lazy evaluation and it will not process until it sees action command ), but still the concept is
 
rdd1 = sc.textFile("testfile.csv")
 
My question is when I run the below transformation and action command, where does the rdd2 data will store. 
 
1.Does it stores in memory?
 
rdd2 = rdd1.map( lambda x: x.split(",") )

rdd2.count()
 
I know the data in rdd2 will available till I close the jupyter notebook.Then what is the need of cache(), anyhow rdd2 is available to do all transformation. I heard after all the transformation the data in memory is cleared, what is that about?
 
 
 
Is there any difference between keeping RDD in memory and cache()
 
rdd2.cache()
 

原文：https://stackoverflow.com/questions/38581809