一尘不染

如何为某些帖子创建有效的内容过滤器?

ajax

我已将此帖子标记为WordPress,但我不能完全确定它是特定于WordPress的,因此我将其发布在StackOverflow而不是WPSE上。
该解决方案不必特定于WordPress,只需使用PHP即可

方案
I我经营一个养鱼网站,上面有许多热带鱼Species Profiles和鱼类Glossary

我们的网站围绕我们的个人资料。就像您可能会说的那样,它们是网站的基础。

我希望实现的是,在每个提到另一个物种或词汇表条目的物种简介中,我都可以用链接替换这些单词-
如您在此处看到的。理想情况下,我也希望这种情况也出现在新闻,文章和博客文章中。

我们有将近1400 species profiles1700 glossary entries。我们的物种概况通常很冗长,最后仅凭numbered more than 1.7 million words信息就可以算出我们的物种概况。

我目前正在尝试的功能
目前,我有一个filter.php具有-我相信-
可以完成我需要做的功能的函数。该代码很长,可以在此处找到完整的代码。

此外,在WordPress主题中functions.php,我具有以下内容:

# ==============================================================================================
# [Filter]
#
# Every hour, using WP_Cron, `my_updated_posts` is checked. If there are new Post IDs in there,
# it will run a filter on all of the post's content. The filter will search for Glossary terms
# and scientific species names. If found, it will replace those names with links including a 
# pop-up.

    include "filter.php";

# ==============================================================================================
# When saving a post (new or edited), check to make sure it isn't a revision then add its ID
# to `my_updated_posts`.

    add_action( 'save_post', 'my_set_content_filter' );
    function my_set_content_filter( $post_id ) {
        if ( !wp_is_post_revision( $post_id ) ) {

            $post_type = get_post_type( $post_id );

            if ( $post_type == "species" || ( $post_type == "post" && in_category( "articles", $post_id ) ) || ( $post_type == "post" && in_category( "blogs", $post_id ) ) ) {
                //get the previous value
                $ids = get_option( 'my_updated_posts' );

                //add new value if necessary
                if( !in_array( $post_id, $ids ) ) {
                    $ids[] = $post_id;
                    update_option( 'my_updated_posts', $ids );
                }
            }
        }
    }

# ==============================================================================================
# Add the filter to WP_Cron.

    add_action( 'my_filter_posts_content', 'my_filter_content' );
    if( !wp_next_scheduled( 'my_filter_posts_content' ) ) {
        wp_schedule_event( time(), 'hourly', 'my_filter_posts_content' );
    }

# ==============================================================================================
# Run the filter.

    function my_filter_content() {
        //check to see if posts need to be parsed
        if ( !get_option( 'my_updated_posts' ) )
            return false;

        //parse posts
        $ids = get_option( 'my_updated_posts' );

        update_option( 'error_check', $ids );

        foreach( $ids as $v ) {
            if ( get_post_status( $v ) == 'publish' )
                run_filter( $v );

            update_option( 'error_check', "filter has run at least once" );
        }

        //make sure no values have been added while loop was running
        $id_recheck = get_option( 'my_updated_posts' );
        my_close_out_filter( $ids, $id_recheck );

        //once all options, including any added during the running of what could be a long cronjob are done, remove the value and close out
        delete_option( 'my_updated_posts' );
        update_option( 'error_check', 'working m8' );
        return true;
    }

# ==============================================================================================
# A "difference" function to make sure no new posts have been added to `my_updated_posts` whilst
# the potentially time-consuming filter was running.

    function my_close_out_filter( $beginning_array, $end_array ) {
        $diff = array_diff( $beginning_array, $end_array );
        if( !empty ( $diff ) ) {
            foreach( $diff as $v ) {
                run_filter( $v );
            }
        }
        my_close_out_filter( $end_array, get_option( 'my_updated_posts' ) );
    }

正如代码的注释(希望)所描述的那样,此工作方式是WordPress每小时执行一次cron作业(这就像一个虚假的cron-
根据用户的点击次数进行工作,但这并不重要,因为时机不是重要)运行上面找到的过滤器。

每小时运行一次的理由是,如果我们在保存每个帖子时尝试运行它,那将对作者不利。一旦我们邀请来宾作者参与,这显然不是接受的方法。

问题…
几个月以来,我一直在使此过滤器可靠运行方面遇到问题。我不认为问题出在过滤器本身,而在于启用过滤器的功能之一-
即cron作业,或者选择要过滤哪些帖子的功能,或者为单词表等准备功能。过滤器。

不幸的是,由于该问题在后台运行并且仅按小时运行,因此诊断问题非常困难(我可以看到)。我一直在尝试使用WordPress的update_option功能(基本上是写一个简单的数据库值)来进行错误检查,但是我运气并不好-
坦白地说,我对问题所在很困惑。

我们最终使网站无法正常运行,但该过滤器无法正常运行。有时它似乎起作用,有时则不起作用。结果,我们现在有很多物种配置文件没有被正确过滤。

我想要的…
我基本上是在寻求有关运行此过滤器的最佳方法的建议。

Cron Job是答案吗?我可以设置.php一个每天运行的文件,这不是问题。如何确定哪些帖子需要过滤?它在运行时会对服务器产生什么影响?

或者,WordPress管理页面是否是答案?如果我知道该怎么做,那么使用AJAX在页面上进行一些操作(允许我选择要运行过滤器的帖子)将是完美的。有一个名为的插件AJAX Regenerate Thumbnails,其工作原理如下,也许这是最有效的?

注意事项

  • 受影响/读取/写入的数据库/信息的大小
  • 哪些帖子被过滤
  • 筛选器对服务器的影响;特别是考虑到我似乎无法将WordPress内存限制增加到超过32Mb。
  • 实际的过滤器本身是否有效,有效且可靠?

这是一个非常复杂的问题,我不可避免地(因为我在此过程中被同事分心了18次)遗漏了一些细节。请随时调查我以获取更多信息。

提前致谢,


阅读 223

收藏
2020-07-26

共1个答案

一尘不染

创建配置文件时执行此操作。

尝试逆转整个过程。而不是检查单词的内容,而是检查单词中内容的单词。

  1. 将内容发布在单词上打断(在空间上)
  2. 消除重复项,数据库中单词最小大小的重复项,最大单词中的重复项以及保留的“常用单词”列表中的重复项。
  3. 检查每个表,如果您的某些表中是否包含带空格的短语,请执行%text%搜索,否则进行直接匹配(快得多),如果确实存在很大问题,则甚至构建一个哈希表。(我将其作为一个PHP数组来执行,并以某种方式缓存结果,这根本没有意义。)
  4. 使用现在很小的列表创建链接。

即使移出要检查的100,000个单词,您也应该能够轻松地将其保持在1秒以内。对于贝叶斯过滤器,我已经做到了这一点,并且没有缓存单词列表。

对于较小的列表,即使它是贪婪的并且收集了与“小丑”不匹配的单词,也会捕获“小丑泥the”,因此,较小的列表应该只有几到几十个带有链接的单词。查找和替换大量文本完全不需要时间。

以上内容并未真正解决您对较早配置文件的担心。您并没有确切地说有多少,只是说文本很多,而且是在1400至3100(两项)上。如果您有此信息,可以根据受欢迎程度来做这些较旧的内容。或输入的日期为最新的日期。无论如何,最好的方法是编写一个脚本来挂起PHP上的时间限制,而只对所有帖子批量运行加载/处理/保存。如果每个人花费大约1秒(可能要少得多,但最坏的情况),则您正在说的是3100秒,不到一个小时。

2020-07-26