博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Chapter 4. Working with Key/Value Pairs
阅读量:6274 次
发布时间:2019-06-22

本文共 349 字,大约阅读时间需要 1 分钟。

Chapter4 working with key/value pairs

key/values pairs键值对是Spark中非常常见的一种数据类型(type),RDD有时经常操作键值对数据类型。第四章的第一部分内容就是介绍有关键值对的ETL操作:extract,transform,load。第二部分内容介绍的是Spark中的一种高级特征,分布在多个节点nodespairs RDD布局layout:partioning,即分区。使用可控制的分区,可以降低节点间的通信成本,可以是spark的计算速度,这里使用的实例算法就是PageRank。

一、Creating Pair RDDs

 

转载于:https://www.cnblogs.com/OliverZhang/p/6119320.html

你可能感兴趣的文章
IP地址的划分实例解答
查看>>
如何查看Linux命令源码
查看>>
运维基础命令
查看>>
Linux下的lds链接脚本简介(二)
查看>>
入门到进阶React
查看>>
C++每日练笔之日期类(基类)
查看>>
SVN 命令笔记
查看>>
修复Postfix 的Relay access denied问题
查看>>
检验手机号码
查看>>
重叠(Overlapped)IO模型
查看>>
ffmpeg study 1
查看>>
Git使用教程
查看>>
使用shell脚本自动监控后台进程,并能自动重启
查看>>
Flex&Bison手册
查看>>
MySQL 5.6 for Windows 解压缩版配置安装
查看>>
solrCloud+tomcat+zookeeper集群配置
查看>>
/etc/fstab,/etc/mtab,和 /proc/mounts
查看>>
Apache kafka 简介
查看>>
socket通信Demo
查看>>
技术人员的焦虑
查看>>