如何解决遍历<Iterable>并以自定义数据类型填充Vector
这是我的第一篇文章,在scala编程任务中,我需要一点帮助,但这并不是那么琐碎的(至少对我来说如此)。
在Spark 3.0.0-preview2版本下,我在2.10版中使用scala。
从mysql DB导入的数据是这种类型的
95,118.37,118.47,111.725,114.3,1049181,AMP,2020-04-14
96,116.88,117.84,113.11,114.92,827085,2020-04-13
97,113.64,124.61,120.47,1608575,2020-04-09
98,104.48,112.48,102.28,111.69,996230,2020-04-08
99,109.17,112.23,102.41,103.48,1302910,2020-04-07
100,42.25,41.73,41.82,639964,G,2020-08-26
101,41.98,42.15,41.76,42.12,501219,2020-08-25
102,41.52,42.015,41.45,41.9,479076,2020-08-24
103,41.27,41.46,40.99,41.16,752730,2020-08-21
104,41.74,41.965,41.25,41.3,596435,2020-08-20
105,42.14,42.21,41.87,41.94,422493,2020-08-19
然后,通过映射过程,将这些数据重新格式化为以下类型的Tuple2
(AMP,(1,156.77,156.915,155.03,155.74,527938,2020-08-26))
(AMP,(2,159.48,159.88,156.86,156.99,535905,2020-08-25))
(AMP,(3,155.38,157.75,155.33,157.72,758272,2020-08-24))
(AMP,(4,155.24,156.79,153.92,154.51,653496,2020-08-21))
(AMP,(5,157.39,154.27,155.14,516138,2020-08-20))
(AMP,(6,156.65,160.06,156.57,156.85,577637,2020-08-19))
(AMP,(7,158.05,158.35,156.34,156.5,544429,2020-08-18))
(AMP,(8,159.69,159.82,157.76,157.83,437624,2020-08-17))
每个记录的类型为:
org.apache.spark.rdd.RDD[(String,(Int,Double,Int,String,String))]
然后,我需要对所有键进行分组,并编写了一个“ groupByKey”过程:
val SA = Simboli.groupByKey
产生变量:
org.apache.spark.rdd.RDD[(String,Iterable[(Int,String)])]
现在的问题是:我可以创建一个类型为“向量”或“序列”的新变量,并将这种奇怪类型的每个记录插入向量列表中吗?
例如,一个向量,其中每一项都是新的:
RDD[(String,.....
我发现的唯一方法是以这种方式转换这种变量:
- 只参加第一个“小组”
val SAG : Array[(String,String)])] = SA.take(1);
提取“可迭代”部分:
val SAGITB : Array[Iterable[(Int,String)]] = SAG.map(item => item._2);
在“迭代器”中转换“可迭代”:
val SAGITT : Array[Iterator[(Int,String)]] = SAGITB.map(item => item.iterator);
提取值:
val SARDD : Array[(Int,String)] = SAGITT.map(item => item.next);
最后,我试图用每个项目填充一个Vector或Sequence,插入一个for循环,但是我不能。这是我的最后尝试:
val SV3 : Vector[Array[(Int,String)]] = Vector.empty;
for (it <- 0 to 20){
println("Riga numero: " + it);
SV3 :+ SAGITT.map(item => item.next);
}
最后,我的问题是:如何用“可迭代”或“迭代器”类型的数据填充向量或序列,或者如何从可迭代的RDD中提取所有数据,进行转换并填充这些数据是一个简单的Vector?
非常感谢您!
解决方法
这相当简单。
首先,您需要将嵌套的Iterable
转换回Array
:
val SV3A : Array[Array[(Int,Double,Int,String,String)]] = SAGITB.map(_.toArray)
然后,您可以像这样转换为Vector
,使用:_*
将Array
扩展为构造函数的单独参数:
val SV3 : Vector[Array[(Int,String)]] = Vector(SV3A:_*)
或者您可以像这样一步将两者结合起来:
val SV3 = Vector(SAGITB.map(_.toArray):_*)
或更简单地说
val SV3 = SAGITB.map(_.toArray).toVector
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。