太平洋网络
新车
车型库
经销商
论坛

全国北京上海广州深圳成都武汉济南 >>

登录

注册
进入论坛

最近访问

加载中

去论坛首页>>

论坛收藏

加载中
移动应用

斯帕可Spark论坛 >

spark总结

回复

收藏

分享

太平洋汽车 > 论坛 > 雪佛兰论坛 > 斯帕可Spark论坛 [ 其他论坛 ] > 正文

返回列表

发帖

发普通帖
发游记

回复

查看：回复：2

spark总结

$\"收藏此主题\"$

0粉丝
0精华
758帖子

用户：麒麟山
等级：Lv1
地区：

发表于 2019-09-24 15:52

| 只看楼主 | 申请车主认证 | 申请精华

您好，精华帖至少要有9张图片，文字不少100个字！并且是原创内容，布局合理。
查看精华帖标准>>

楼主电梯直达楼

1.rdd和dataFrame的联系。

    dataFrame是一个分布式的数据集合，其中数据被组织为命名的列，他概念上等价于关系型数据库中的表。dataFrame可以直接从很多数据源进行构建，比如已经存在的rdd，结构化未见，外部数据库hive表等等。

   与dataFrame差异的是RDD可以看成是分布式对象的集合。

   从spark2.0开始，spark将dataFrame整合成为DataSet的子集。

2.sparkSql

     要使用sparksql，首先，必须得创建一个sparkContext，然后再创建一个sqlContext，sparksql对象作为参数传入sqlContext中，对于sqlContext，目前只有一个sql语法解析器sql，而对于hivesql，只有两个hivesql和sql解析器。默认是hivesql，我们可以使用以下的方式进行设置。

     sqlContext.setConf(

回复本楼

加入车友会创建车友会

太平洋汽车全新推出“太平洋车友会”；来太平洋车友会，结识志同道合的车友了解详情>>

帖子推荐斯帕可Spark

0粉丝
0精华
3317帖子

用户：东北梁子
等级：Lv1
地区：

发表于 2019-09-24 16:48

| 只看该作者

沙发

看了楼主的帖子，先顶顶再说

回复本楼

0粉丝
0精华
31228帖子

用户： raymond0119
等级：Lv4
地区：辽宁大连

爱车:

车友会签到333天以上

发表于 2022-11-27 23:27

| 只看该作者

板凳

来自太平洋汽车 Android客户端

写的真不错，感谢辛苦付出

回复本楼

返回列表

未登录用户

只可添加一张图片，多张图片请选高级模式

高级模式

温馨提示：回复超10字可获1金币，有独特见解超30字可获3金币，灌水用户将扣除金币并锁号处理。希望广大车友共同维护论坛的友好回复氛围。

下载官方APP 实时查看消息回复

常用表情

精选推荐更多精选 >

雪佛兰斯帕可Spark经销商微型车优惠车主点评(0) 车问答广州车展北京车展成都车展奕歌科赛1° 汽车大全

您可能感兴趣

微型车雪佛兰斯帕可Spark报价斯帕可Spark图片斯帕可Spark参配