如何解决优化嵌套列表的子集操作
是否可以提高此代码中最后一个子集操作的速度? 此代码获取一小部分Open Streetmap数据,搜索所有具有名称的道路,并创建一个仅包含道路的新 osm 对象。 我在优化代码的最后一点时心烦意乱:
{
"name": "ex-website","version": "1.0.0","scripts": {
"start": "node server.js"
},"dependencies": {
"express": "^4.17.1"
},"main": "server.js","devDependencies": {},"author": "","license": "ISC","description": ""
}
class(muc)
[1]“ osmar”“列表”
muc是一个列表列表,该列表的每个元素都有一个用于创建子集的ID。
这是完整的示例:
highway_subset <- subset(muc,ids = highway_subset_ids)
非常感谢您。
更新
如果您在使用ssl时遇到问题,请尝试复制并粘贴以下代码示例。这是我所能做到的最低要求。
我要优化的一行是这一行:
最终子集
library("osmar")
src <- osmsource_api(url = "https://api.openstreetmap.org/api/0.6/")
muc_bbox <- center_bbox(11.575278,48.137222,1000,1000)
muc <- get_osm(muc_bbox,src)
highway_subset_ids <- subset(muc,way_ids = find(muc,way(tags(k == "highway"))))
highway_subset_ids <- find(highway_subset_ids,way(tags(k == "name")))
highway_subset_ids <- find_down(muc,way(highway_subset_ids))
highway_subset <- subset(muc,ids = highway_subset_ids)
谢谢!
解决方法
我分析了您的代码
library("osmar")
src <- osmsource_api(url = "https://api.openstreetmap.org/api/0.6/")
muc_bbox <- center_bbox(11.575278,48.137222,1000,1000)
muc <- get_osm(muc_bbox,src)
system.time(
highway_subset_ids <- subset(muc,way_ids = find(muc,way(tags(k == "highway"))))
)
# 0.157
system.time(
highway_subset_ids <- find(highway_subset_ids,way(tags(k == "name")))
)
# 0.001
system.time(
highway_subset_ids <- find_down(muc,way(highway_subset_ids))
)
# 0.008
system.time(
highway_subset <- subset(muc,ids = highway_subset_ids)
)
# 0.025
如您所见,对我而言,最后一个subset
不是瓶颈,而第一个是(贵6倍)。
内部数据不是很大
-
nodes
15157行 -
ways
2938行 -
tags
11966行 -
relations
350行 - 另外
tags
3270行
您提到您需要多次执行子集。要解决的问题可能是尝试“向量化”您的代码。我并不是说明显的lapply
,而是提取内部data.frames,重新绑定它们,然后仅执行一次子集,并在需要时再次对其进行拆分。 data.table
可以在此处使用以提高速度。这将比仅在15000行的循环中使用data.table子集带来的好处要多得多,在这种情况下,好处会小得多。
要了解如何“向量化”该代码,您需要了解osmar subset
的工作方式。如果您查看源代码https://github.com/cran/osmar/blob/master/R/osmar-subsetting.R
- 尝试从所有对象中提取数据帧到子集
-
rbindlist
他们 -
subset
使用[.data.table
- 根据需要拆分
- 必要时变成原始对象
还请注意,osmar
软件包相当老,于2013年发布,它与sp
之类的软件包有着间接的依赖关系,该软件包非常活跃。您可能会想到与过去7年osmar
依赖项中引入的重大更改相关的一些问题。
是的,可能是可能的。您可以通过在控制台中输入str(muc)
来查看osmar对象的结构,还可以通过运行由osmar:::subset.osmar
之类的组件函数组成的osmar:::subset_ways
来查看用于进行子设置的代码。所有这些似乎都写在基数R中,例如可以用data.table
加速。
该策略可能是想出一种更有效的方法来一次性完成这整套操作:
highway_subset_ids <- subset(muc,way(tags(k == "highway"))))
highway_subset_ids <- find(highway_subset_ids,way(tags(k == "name")))
highway_subset_ids <- find_down(muc,way(highway_subset_ids))
highway_subset <- subset(muc,ids = highway_subset_ids)
您确切地关注的重点和操作方式取决于项目其余部分的详细信息以及您实际尝试做的事情。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。