如何解决使用SparklyR中的datetime列的星期几
我正在对一个大型数据集进行一些分析，因此使用闪亮的R来保存数据。我的spark数据框中的一列是datetime列，例如2015-05-01 13:40:47
我希望在该日期对应的星期几的火花数据框中添加新列。我已经尝试了很多事情，但是没有运气，因为我是SparkR的新手。
任何帮助将不胜感激。
谢谢
解决方法
这就是在Pyspark中要做的事情。它与SparkR应该非常相似。
from pyspark.sql import functions as F
df = spark.createDataFrame(
[
(1,'2020-07-01 12:01:19.000'),(2,'2020-06-24 12:01:19.000'),(3,'2020-08-16 16:44:55.406')
],['id','date_timestamp']
)
df.show()
/*
+---+-----------------------+
|id |date_timestamp |
+---+-----------------------+
|1 |2020-07-01 12:01:19.000|
|2 |2020-06-24 12:01:19.000|
|3 |2020-08-16 16:44:55.406|
+---+-----------------------+
*/
df.withColumn("date_timestamp",F.col("date_timestamp").cast('timestamp')
).withColumn("week_day_number",F.date_format(F.col("date_timestamp"),"u")
).withColumn("week_day_full","EEEE")
).show()
/*
+---+-----------------------+---------------+-------------+
|id |date_timestamp |week_day_number|week_day_full|
+---+-----------------------+---------------+-------------+
|1 |2020-07-01 12:01:19 |3 |Wednesday |
|2 |2020-06-24 12:01:19 |3 |Wednesday |
|3 |2020-08-16 16:44:55.406|7 |Sunday |
+---+-----------------------+---------------+-------------+
*/
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。