一尘不染

hadoop流:如何查看应用程序日志?

python

我可以在/usr/local/hadoop/logs路径 上看到所有hadoop日志

但是我在哪里可以看到应用程序级别的日志?例如 :

映射器

import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement

reducer.py

import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer - " + line)  
        // -- do some task -- //
        print statement

我在哪里可以看到logging.info我的应用程序或相关的日志语句?
我正在Python使用hadoop-streaming

谢谢


阅读 161

收藏
2021-01-20

共1个答案

一尘不染

Hadoop流使用STDIN /
STDOUT
在映射器和化简器之间传递键/值对,因此必须将日志消息写入特定的日志文件-
有关更多详细信息,请查看示例代码python日志记录文档。该查询也可能有帮助。

2021-01-20