我没有尝试过，但是应该可以通过从Request对象获得RequestDispatcher来实现：

public int doStartTag() throws JspException {
    try {
        pageContext.setAttribute("title", "My Title");
        pageContext.getRequest().getRequestDispatcher("/WEB-INF/includes/header.jspf").include(pageContext.getRequest(), pageContext.getResponse());
    }
    catch (IOException e) {

    }
    return EVAL_BODY_INCLUDE;
}

PageContext也有一个include方法，但它似乎仅适用于静态文件，不适用于jsps。