打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
RDD和DataFrame和DataSet三者间的区别

在SparkSQL中Spark为我们提供了两个新的抽象,分别是DataFrame和DataSet。他们和RDD有什么区别呢?首先从版本的产生上来看:
RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)

如果同样的数据都给到这三个数据结构,他们分别计算之后,都会给出相同的结果。不同是的他们的执行效率和执行方式。

在后期的Spark版本中,DataSet会逐步取代RDD和DataFrame成为唯一的API接口。

网址:https://www.cnblogs.com/swordfall/p/9006088.html#auto_id_0

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
大数据盘点之Spark篇
sparksql 概述
【Spark 2.0系列】: Spark Session API和Dataset API
Apache 两个开源项目比较:Flink vs Spark
谈谈RDD、DataFrame、Dataset的区别和各自的优势
Spark 2.0 时代全面到来
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服