流命令输出进度

一尘不染

流命令输出进度

我正在编写一项服务，该服务必须将已执行命令的输出流式传输到父级和日志中。当过程很长时，问题是cmd.StdoutPipe给我最终的（字符串）结果。

是否可以给出正在发生的事情的部分输出，例如在shell中

func main() {
    cmd := exec.Command("sh", "-c", "some long runnig task")

    stdout, _ := cmd.StdoutPipe()
    cmd.Start()

    scanner := bufio.NewScanner(stdout)
    for scanner.Scan() {
        m := scanner.Text()
        fmt.Println(m)
        log.Printf(m)
    }

    cmd.Wait()
}

PS仅输出将是：

cmd.Stdout = os.Stdout

但就我而言，这还不够。

阅读 273

2020-07-02

共1个答案

一尘不染

您发布的代码有效（执行了合理的命令）。

这是用Go语言编写的一个简单的 “长时间运行的任务” ，供您调用和测试您的代码：

func main() {
    fmt.Println("Child started.")
    time.Sleep(time.Second*2)
    fmt.Println("Tick...")
    time.Sleep(time.Second*2)
    fmt.Println("Child ended.")
}

编译它并作为命令来调用它。您将看到子进程“流化”立即显示不同的行。

它可能对您不起作用的原因

在Scanner通过返回bufio.NewScanner()读取整行且仅当遇到一个换行符返回的东西（如由定义的bufio.ScanLines()函数）。

如果您执行的命令没有打印换行符，则不会立即返回其输出（仅当打印换行符，内部缓冲区已满或过程结束时）。

可能的解决方法

如果不能保证子进程打印换行符，但仍要流输出，则无法读取整行。一种解决方案是按单词阅读，甚至按字符（符文）阅读。您可以通过使用方法设置其他拆分功能来实现此目的Scanner.Split()：

scanner := bufio.NewScanner(stdout)
scanner.Split(bufio.ScanRunes)

该bufio.ScanRunes函数通过runes
读取输入，因此Scanner.Scan()只要有新rune的可用，它将返回。

或手动读取而不使用Scanner（在此示例中为逐字节）：

oneByte := make([]byte, 1)
for {
    _, err := stdout.Read(oneByte)
    if err != nil {
        break
    }
    fmt.Printf("%c", oneByte[0])
}

请注意，以上代码将错误地读取runeUTF-8编码中的多个字节。要读取多个UTF-8字节的符文，我们需要更大的缓冲区：

oneRune := make([]byte, utf8.UTFMax)
for {
    count, err := stdout.Read(oneRune)
    if err != nil {
        break
    }
    fmt.Printf("%s", oneRune[:count])
}

注意事项

进程具有用于标准输出和标准错误（通常为几KB大小）的默认缓冲区。如果某个进程写入标准输出或标准错误，它将进入相应的缓冲区。如果此缓冲区已满，
则将阻止 进一步的写入（在子进程中）。如果您没有阅读子进程的标准输出和标准错误，则如果缓冲区已满，则子进程可能会挂起。

因此，建议始终读取标准输出和子进程的错误。即使你知道该命令不正常写入其标准错误，如果出现一些错误，它可能会开始抛售错误信息到其标准错误。

编辑： 正如Dave
C所提到的，默认情况下，子进程的标准输出和错误流将被丢弃，如果不读取，将不会导致阻塞/挂起。但是，如果不读取错误流，您可能会在过程中错过一两件事。

2020-07-02