一尘不染

在Windows中如何获取光标下的单词?

c#

我想创建一个将单词放在光标下的应用程序(不仅适用于文本字段),但我找不到执行该操作的方法。使用OCR非常困难。我看到的唯一起作用的是Deskperience组件。他们支持“本机”方式,但是我花了很多钱。现在,我试图弄清楚这种“本机”方式是什么(也许以某种方式挂钩)。任何帮助将不胜感激。

编辑: 我找到了一种方法,但它只获取控件的整个文本。知道如何从整个文本中仅获取光标下的单词吗?


阅读 502

收藏
2020-05-19

共1个答案

一尘不染

在Windows的最新版本上,建议将信息从一个应用程序收集到另一个应用程序的方法(如果您当然不是目标应用程序的话)是使用 UI自动化
技术。Wikipedia非常适合以下方面的更多信息:Microsoft UI
Automation

基本上,UI自动化将使用所有必要的手段来收集可以收集的内容

这是一个小的控制台应用程序代码,它将监视其他应用程序的UI。运行它并将鼠标移到其他应用程序上。每个应用程序对各种“
UI自动化模式”都有不同的支持。例如,这里显示了“值”模式和“文本”模式。

static void Main(string[] args)
{
    do
    {
        System.Drawing.Point mouse = System.Windows.Forms.Cursor.Position; // use Windows forms mouse code instead of WPF
        AutomationElement element = AutomationElement.FromPoint(new System.Windows.Point(mouse.X, mouse.Y));
        if (element == null)
        {
            // no element under mouse
            return;
        }

        Console.WriteLine("Element at position " + mouse + " is '" + element.Current.Name + "'");

        object pattern;
        // the "Value" pattern is supported by many application (including IE & FF)
        if (element.TryGetCurrentPattern(ValuePattern.Pattern, out pattern))
        {
            ValuePattern valuePattern = (ValuePattern)pattern;
            Console.WriteLine(" Value=" + valuePattern.Current.Value);
        }

        // the "Text" pattern is supported by some applications (including Notepad)and returns the current selection for example
        if (element.TryGetCurrentPattern(TextPattern.Pattern, out pattern))
        {
            TextPattern textPattern = (TextPattern)pattern;
            foreach(TextPatternRange range in textPattern.GetSelection())
            {
                Console.WriteLine(" SelectionRange=" + range.GetText(-1));
            }
        }
        Thread.Sleep(1000);
        Console.WriteLine(); Console.WriteLine();
    }
    while (true);
}

实际上,Internet Explorer和Firefox支持UI自动化,但据我所知,Chrome不支持。请参阅此链接:什么时候可以访问Google
Chrome?

现在,这只是您工作的开始:-),因为:

  • 大多数情况下,所有这些都具有很大的安全隐患。使用此技术(或直接Windows技术,例如WindowFromPoint)将需要足够的权限(例如,成为管理员)。而且,除非他们在计算机上安装内核驱动程序,否则我认为DExperience无法克服这些限制。

  • 某些应用程序即使拥有适当的权限也不会向任何人公开任何内容。例如,如果我正在编写银行应用程序,则不希望您窥探我的应用程序将显示的内容:-)。出于相同原因,其他应用程序(例如带DRM的Outlook)将不会公开任何内容。

  • 仅UI自动化文本模式支持可以提供比整个文本更多的信息(如单词)。las,即使IE和FF全局支持UI自动化,也不支持此特定模式。

因此,如果这一切都不适合您,则您将不得不更深入地研究并使用OCR或形状识别技术。即使这样,在某些情况下您也根本无法做到(由于担保权)。

2020-05-19