代码之家 › 专栏 › 技术社区 › csgillespie Carl Witthoft

在R中创建大型XML树

performance r xml

csgillespie Carl Witthoft · 技术社区 · 14 年前

我试图在R中创建一个大型XML树。下面是代码的简化版本:

library(XML)
N = 100000#In practice is larger  10^8/ 10^9
seq = newXMLNode("sequence")
pars = as.character(1:N)
for(i in 1:N)
    newXMLNode("Parameter", parent=seq, attrs=c(id=pars[i]))

当n约为n^6时,这大约需要一分钟,n^7大约需要四十分钟。有没有办法加快速度?

使用“粘贴”命令:

par_tmp = paste('<Parameter id="', pars, '"/>', sep="")

不到一秒钟。

1 回复 | 直到 14 年前

Shane 14 年前

我建议使用 Rprof 或 profr 包裹。这将向您展示您的瓶颈所在,然后您可以考虑如何优化函数或更改您使用它的方式。

你的 paste 例子会更快,部分原因是它是矢量化的。为了进行更公平的比较,您可以通过循环查看其中的差异。 粘贴 就像你现在做的那样 newXMLNode 看看时间的不同。

编辑:

下面是分析循环的输出 普罗尔 .

library(profr)
xml.prof <- profr(for(i in 1:N) 
    newXMLNode("Parameter", parent=seq, attrs=c(id=pars[i])))
plot(xml.prof)

在这里,没有什么特别明显的地方可以改善这一点。我看到它在 %in% 函数,因此改进会稍微减少总时间(尽管您仍然需要重复此过程,因此不会产生很大的差异)。最好的解决办法是重写 新节点 作为一个矢量化函数,您可以跳过 for 完全循环。 alt text http://i42.tinypic.com/5x26gw.jpg

推荐文章

S. Jacson · 任意两台发电机的速度差(内置功能)

2 年前

Luna · (编辑)我用Swift和C lang(查找素数)编写了相同的代码,但C lang比Swift快得多

2 年前

Sadeq Dousti · 相当于“嵌套删除”的执行性能SQL查询

2 年前

Prince · 复制大型文件需要更多时间

2 年前

DCoder · 试图理解为什么我的C++程序在运行了很长时间后速度变慢

2 年前

Sagar · 为什么在循环之外声明变量会更快?

2 年前

mpx · 在Python中查找整数可以与Numpy或Pandas一起驻留的最近边界值对

2 年前

seco · 如何在不挂起页面的情况下加载JS

2 年前

Dimidrie · AsyncProfiler-无法在JMH benchmark runner中加载探查器

2 年前

Mangi · 试着用while循环按字母顺序比较两个单词,看看猜测是在单词之前还是之后

2 年前