一尘不染

计算大文件中的行数

linux

我通常使用大约20 Gb大小的文本文件,并且发现自己经常对给定文件中的行数进行计数。

我现在做的只是cat fname | wc -l,而且需要很长时间。有什么解决方案会更快吗?

我在安装了Hadoop的高性能集群中工作。我想知道地图缩小方法是否可以提供帮助。

我希望解决方案像解决方案一样简单,只需一条生产线wc -l,但不确定其可行性。

有任何想法吗?


阅读 250

收藏
2020-06-02

共1个答案

一尘不染

尝试: sed -n '$=' filename

猫也是不必要的:wc -l filename用您现在的方式就足够了。

2020-06-02