Golang：如何有效确定文件中的行数？

一尘不染

Golang：如何有效确定文件中的行数？

在Golang中，我正在寻找一种有效的方法来确定文件的行数。

当然，我总是可以遍历整个文件，但效率似乎并不高。

file, _ := os.Open("/path/to/filename")
fileScanner := bufio.NewScanner(file)
lineCount := 0
for fileScanner.Scan() {
    lineCount++
}
fmt.Println("number of lines:", lineCount)

有没有一种更好的方法（更快，更便宜）来找出文件有多少行？

阅读 1548

2020-07-02

共1个答案

一尘不染

这是bytes.Count用于查找换行符的更快的行计数器。

它之所以更快，是因为它消除了返回整行所需的所有额外逻辑和缓冲，并利用了字节包提供的某些程序集优化功能来搜索字节片中的字符。

较大的缓冲区在这里也有帮助，尤其是对于较大的文件。在我的系统上，使用我用于测试的文件，32k缓冲区是最快的。

func lineCounter(r io.Reader) (int, error) {
    buf := make([]byte, 32*1024)
    count := 0
    lineSep := []byte{'\n'}

    for {
        c, err := r.Read(buf)
        count += bytes.Count(buf[:c], lineSep)

        switch {
        case err == io.EOF:
            return count, nil

        case err != nil:
            return count, err
        }
    }
}

和基准输出：

BenchmarkBuffioScan   500      6408963 ns/op     4208 B/op    2 allocs/op
BenchmarkBytesCount   500      4323397 ns/op     8200 B/op    1 allocs/op
BenchmarkBytes32k     500      3650818 ns/op     65545 B/op   1 allocs/op

2020-07-02