博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark 修改分区(存储结果需要)
阅读量:6608 次
发布时间:2019-06-24

本文共 151 字,大约阅读时间需要 1 分钟。

修改分区就行了

val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))
#  查看分区数
rdd1.partitions.length
# 改成1个分区
val rdd2 = rdd1.repartition(1)
rdd2.partitions.length

转载地址:http://bhiso.baihongyu.com/

你可能感兴趣的文章
用迁云工具自建遗留系统镜像
查看>>
python爬虫js加密解密系列文章合集
查看>>
河南申请高新技术企业需要多少个专利?智为知识产权为您解答! ...
查看>>
怎样让GPS定位系统应用开发变得简单,选择底子很关键
查看>>
dubbo2.5-spring4-mybastis3.2-springmvc4-mongodb3.4-redis3.2整合(五)Spring中spring-data-redis的使用...
查看>>
局部区块多个报表 TAB 页切换及局部区块的参数查询
查看>>
「镁客早报」FDA试点项目将测试区块链,以遏制假药;努比亚折叠屏新品将亮相MWC2019...
查看>>
IDEA 插件开发入门教程
查看>>
纪念Galaxy系列10周年,三星推出了价值13310元的折叠屏手机
查看>>
体验云上快速搭建WordPress网站小记
查看>>
设计模式——代理模式
查看>>
加强市场拓展技术研发,企鹅科技获蚂蚁金服战略投资
查看>>
Java实现Redis发布订阅
查看>>
为云下IDC赋能-组建多可用区多地域的混合云(专线)最佳实践
查看>>
基于hi-nginx的web开发(python篇)——起步
查看>>
html5知识点补充—GeoLocation API位置感知
查看>>
kubernetes+docker监控之简介
查看>>
What is base..ctor(); in C#?
查看>>
互联网之父:互联网有两个与生俱来的问题
查看>>
Linux yum提示Another app is currently holding the yum lock; waiting for it to exit...
查看>>