-
-
[原创]Python调用微信OCR识别文字和坐标
-
2023-11-24 18:24
-
原理
在看雪看到一篇文章：[原创]逆向调用QQ截图NT与WeChatOCR-软件逆向-看雪-安全社区|安全招聘|kanxue.com。里面说了怎么调用微信和QQ本地的OCR模型，还有很详细的分析过程。
我稍微看了下文章，多的也看不懂。大概流程是使用mmmojo.dll这个dll来与WeChatOCR.exe做通信的，也是用它来启动和关闭WeChatOCR.exe进程的。所以关键只需要知道这个dll里的导出函数怎么使用，就能自己实现调用OCR。并且可以脱离微信，不需要启动微信就能调用。既然这样，那完全可以使用Python加载mmmojo.dll启动WeChatOCR.exe并和它通信进行OCR识别。
代码怎么实现的就不多说的，感兴趣的可以看github的源码。我就说下有意思的一个技巧和一个踩坑的地方
回调指针技巧
OCR识别成功完成后会调用你给定的回调函数，并将结果作为参数传给回调函数。而其中一个回调函数的原型是static void OCRRemoteOnConnect(bool is_connected, void* user_data);。第一个参数是当前连接状态，比较有意思的是第二个参数
第二个参数是你给定的一个指针，它可以通过SetMMMojoEnvironmentCallbacks这个导出函数来设置，然后你就可以在回调函数里访问到这个指针。这个有什么用呢？就以上面github里的C++代码为例，代码里是将它设置为类的this指针，然后在建立连接后调用OCRRemoteOnConnect回调函数时，通过这个this指针改变类变量m_connect_con_var，然后你才能调用DoOCRTask，如果m_connect_con_var变量没有被设置，说明没有连接成功，就一直等待。
搜了一下，在Python里也可以实现这样一个操作，把这个值设置成Python类对象，然后就可以在回调函数访问这个类对象。原理大概像这篇文章：python - Back-casting a ctypes.py_object in a callback - Stack Overflow。先使用ctypes.py_object将对象转化为一个PyObject指针传给c层，然后在回调函数里再通过ctypes.cast(context, py_object).value得到这个对象，在这个项目里的代码如下：
1 2 3 4 5 6 7 8 | # 将self转为c指针设置成user_dataSetMMMojoEnvironmentCallbacks(m_mmmojo_env_ptr, 0, py_object(self))# 在回调函数里使用它def OCRRemoteOnConnect(is_connected:c_bool, user_data:py_object): print(f"OCRRemoteOnConnect 回调函数被调用, 参数, is_connected: {is_connected}") if user_data: manager_obj:OcrManager = cast(user_data, py_object).value manager_obj.SetConnectState(True) |
踩坑
调用dll时的参数不能直接用c_wchar_p，需要先赋值给一个变量，不然会被垃圾回收机制给回收了。而且错误很难定位，不会报错，程序直接终止
1 2 3 4 5 | # 错误代码SetMMMojoEnvironmentInitParams(m_mmmojo_env_ptr, 2, c_wchar_p(m_exe_path))# 正确代码c_m_exe_path = c_wchar_p(m_exe_path)SetMMMojoEnvironmentInitParams(m_mmmojo_env_ptr, 2, c_m_exe_path) |
另外还要注意的它的生命周期，和使用的时间。有些使用比较久的，你还得定义成全局变量或者赋值给self.
如何使用
安装
我已经发布到了pypi上，可以使用pip安装：pip install wechat-ocr
如果使用的是国内源，可能还没有更新，可以使用pip install wechat-ocr -i https://pypi.org/simple来使用官方源安装
使用
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | import osimport jsonimport timefrom wechat_ocr.ocr_manager import OcrManager, OCR_MAX_TASK_IDwechat_ocr_dir = "C:\\Users\\Administrator\\AppData\\Roaming\\Tencent\\WeChat\\XPlugin\\Plugins\\WeChatOCR\\7057\\extracted\\WeChatOCR.exe"wechat_dir = "D:\\GreenSoftware\\WeChat\\3.9.6.32"def ocr_result_callback(img_path:str, results:dict): result_file = os.path.basename(img_path) + ".json" print(f"识别成功，img_path: {img_path}, result_file: {result_file}") with open(result_file, 'w', encoding='utf-8') as f: f.write(json.dumps(results, ensure_ascii=False, indent=2))def main(): ocr_manager = OcrManager(wechat_dir) # 设置WeChatOcr目录 ocr_manager.SetExePath(wechat_ocr_dir) # 设置微信所在路径 ocr_manager.SetUsrLibDir(wechat_dir) # 设置ocr识别结果的回调函数 ocr_manager.SetOcrResultCallback(ocr_result_callback) # 启动ocr服务 ocr_manager.StartWeChatOCR() # 开始识别图片 ocr_manager.DoOCRTask(r"T:\Code\WeChat\OCR\Python\img\1.png") ocr_manager.DoOCRTask(r"T:\Code\WeChat\OCR\Python\img\2.png") ocr_manager.DoOCRTask(r"T:\Code\WeChat\OCR\Python\img\3.png") time.sleep(1) while ocr_manager.m_task_id.qsize() != OCR_MAX_TASK_ID: pass # 识别输出结果 ocr_manager.KillWeChatOCR() if __name__ == "__main__": main() |
运行结果：
源码仓库
https://github.com/kanadeblisst00/wechat_ocr
[CTF入门培训]顶尖高校博士及硕士团队亲授《30小时教你玩转CTF》，视频+靶场+题目！助力进入CTF世界
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
那直接用C++写的dll不就行了，干嘛还用pybind11封装一下 |
|
|
|
|
|
|
