代码之家 › 专栏 › 技术社区 › Henricus V.

haskell中多重foldl'的融合

fold lazy-evaluation haskell loops

Henricus V. · 技术社区 · 7 年前

我正试图阅读和分析一个巨大的csv文件。我用过 Data.Csv.Streaming 从木薯中提取,并按以下顺序应用功能:

Data.ByteString.Lazy.readFile -- Gives lazy stream
Data.Csv.Streaming.decodeByname -- Gives Either String (Header Records t)
\(Right (_, v)) -> v -- Gives right side of either (Records t)
Data.Foldable.toList -- Gives [t]

之后,程序进入分析阶段,并执行四 (这一点非常重要)以下各项的不同实例(即使用不同的过滤器)

filter -- Result of toList is applied through a filter
map
Data.Foldable.foldl' -- Does bin counting using a map. The map has at most 60 keys.

但是,在尝试加载整个csv文件时,程序似乎占用了大量内存。

如果我只有一个foldl'executing的实例,那么这个程序就可以很好地单次传递csv数据,而且不会消耗那么多内存。有没有办法把这些东西融合在一起?也就是说,

x = foldl' f Map.empty $ filter cx li
y = foldl' f Map.empty $ filter cy li
...

并强制它在一次传递中执行。

编辑:以下函数用于 foldl 具有 Data.Map.Strict 作为 Map :

bincollect :: Ord a => Num b => Map.Map a b -> a -> Map.Map a b
bincollect !m !key = Map.insertWith (+) key 1 m

foldl以一个空映射开始。

内存使用量随着元素数量的增加而增加 take d是否启用优化。

1 回复 | 直到 7 年前

oisdk 7 年前

是的,你确实可以把四个折叠部分熔合在一起,但你得用手来做。你可以试着自己写出逻辑,或者你可以使用一个库(比如 foldl 来帮忙。例如,您可以将bincollect变成一个折叠:

bincollect :: (Ord a, Num b) => Fold a (Map.Map a b)
bincollect = Fold (\m key -> Map.insertWith (+) key 1 m) Map.empty id

然后,可以使用 prefilter :

x = prefilter cx bincollect

最后,您可以使用 Applicative 实例:

(w,x,y,z) = fold ((,,,) <$> prefilter cw bincollect
                        <*> prefilter cx bincollect
                        <*> prefilter cy bincollect
                        <*> prefilter cz bincollect)
                 input

推荐文章

Javran · 在IO内使用读取器“-->r”的意外行为?

7 年前

Andrzej Gis · getLine懒惰吗?

7 年前

Curcuma_ · 在对数组进行操作时,函数(如mean)是否会返回近似值

7 年前

toadly · 在新的YouTube设计中看到的延迟加载样式的文本?

7 年前

Varun Risbud · Scala lazy val解释

7 年前

Shersh · 解码和来自aeson软件包的解码功能之间有什么区别?

7 年前

Konrad · 在自定义dplyr函数中更改结果变量的名称

7 年前

Aadit M Shah · 函数珍珠:在JavaScript中实现跟踪

8 年前

Michael Jones · 在这个评论中,懒惰评估的含义是什么?

8 年前

widgetycrank · Haskell foldr导致类型错误,而foldl没有

9 年前