OpenCV + PyAutoGUI + Tkinter + FastAPI + Requests 实现的长途控制软件设计方案

以下是基于 OpenCV + PyAutoGUI + Tkinter + FastAPI + Requests 实现的长途控制软件设计方案。该方案分为 被控端（服务端） 和 控制端（客户端），支持屏幕实时查看、键盘映射和鼠标操作。

---

1. 系统架构

1. +-------------------+       +-------------------+       +-------------------+
2. | 控制端（Tkinter） |<----->| 网络通信（HTTP）  |<----->| 被控端（FastAPI） |
3. | UI界面            |       | FastAPI + Requests |       | OpenCV + PyAutoGUI |
4. +-------------------+       +-------------------+       +-------------------+

复制代码

---

2. 被控端（服务端）

功能：

• 提供屏幕截图接口
  
• 接收键盘和鼠标操作指令
  

依赖安装

1. pip install fastapi pyautogui opencv-python uvicorn

复制代码

代码实现

1. # server.py
2. from fastapi import FastAPI, HTTPException
3. import pyautogui
4. import cv2
5. import numpy as np
6. import base64
7. from fastapi.responses import JSONResponse
8. from fastapi.middleware.cors import CORSMiddleware
10. app = FastAPI()
12. # 允许跨域
13. app.add_middleware(
14.     CORSMiddleware,
15.     allow_origins=["*"],
16.     allow_methods=["*"],
17.     allow_headers=["*"],
18. )
20. # 屏幕截图接口
21. @app.get("/screenshot")
22. def get_screenshot():
23.     try:
24.         # 使用pyautogui截图
25.         screenshot = pyautogui.screenshot()
26.         # 转换为OpenCV格式（BGR）
27.         frame = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)
28.         # 压缩图像
29.         _, buffer = cv2.imencode(".jpg", frame, [int(cv2.IMWRITE_JPEG_QUALITY), 70])
30.         # 转换为Base64编码
31.         jpg_as_text = base64.b64encode(buffer).decode()
32.         return JSONResponse(content={"image": jpg_as_text})
33.     except Exception as e:
34.         raise HTTPException(status_code=500, detail=str(e))
36. # 键盘操作接口
37. @app.post("/keyboard")
38. def keyboard_action(key: str):
39.     try:
40.         pyautogui.press(key)
41.         return {"status": "success", "key": key}
42.     except Exception as e:
43.         raise HTTPException(status_code=500, detail=str(e))
45. # 鼠标操作接口
46. @app.post("/mouse")
47. def mouse_action(x: int = None, y: int = None, button: str = "left", clicks: int = 1):
48.     try:
49.         if x is not None and y is not None:
50.             pyautogui.moveTo(x, y)
51.         pyautogui.click(button=button, clicks=clicks)
52.         return {"status": "success", "action": f"Mouse {button} clicked at ({x}, {y})"}
53.     except Exception as e:
54.         raise HTTPException(status_code=500, detail=str(e))
56. if __name__ == "__main__":
57.     import uvicorn
58.     uvicorn.run(app, host="0.0.0.0", port=8000)

复制代码

启动服务

1. python server.py

复制代码

---

3. 控制端（客户端）

功能：

• 表现实时屏幕画面
  
• 提供键盘和鼠标操作界面
  

依赖安装

1. pip install requests tkinter

复制代码

代码实现

1. # client.py
2. import tkinter as tk
3. import requests
4. from PIL import Image, ImageTk
5. import base64
6. from io import BytesIO
8. class RemoteControlClient:
9.     def __init__(self, root, server_ip="127.0.0.1"):
10.         self.root = root
11.         self.server_ip = server_ip
12.         self.root.title("远程控制客户端")
13.         self.root.geometry("800x600")
15.         # 图像显示区域
16.         self.panel = tk.Label(root)
17.         self.panel.pack()
19.         # 键盘输入框
20.         self.key_entry = tk.Entry(root, width=20)
21.         self.key_entry.pack(pady=10)
22.         self.key_entry.bind("<Return>", self.send_keyboard)
24.         # 鼠标坐标输入
25.         self.x_entry = tk.Entry(root, width=5)
26.         self.y_entry = tk.Entry(root, width=5)
27.         self.x_entry.pack(side=tk.LEFT, padx=10)
28.         self.y_entry.pack(side=tk.LEFT, padx=10)
30.         # 鼠标点击按钮
31.         self.mouse_btn = tk.Button(root, text="点击", command=self.send_mouse)
32.         self.mouse_btn.pack(side=tk.LEFT, padx=10)
34.         # 定时刷新屏幕
35.         self.update_screen()
37.     def update_screen(self):
38.         try:
39.             # 获取截图
40.             response = requests.get(f"http://{self.server_ip}:8000/screenshot")
41.             data = response.json()
42.             # 解码Base64图像
43.             image_data = base64.b64decode(data["image"])
44.             image = Image.open(BytesIO(image_data))
45.             # 调整图像尺寸
46.             image = image.resize((800, 600), Image.ANTIALIAS)
47.             photo = ImageTk.PhotoImage(image)
48.             self.panel.configure(image=photo)
49.             self.panel.image = photo
50.         except Exception as e:
51.             print("屏幕更新失败:", e)
52.         # 每100毫秒刷新一次
53.         self.root.after(100, self.update_screen)
55.     def send_keyboard(self, event=None):
56.         key = self.key_entry.get()
57.         requests.post(f"http://{self.server_ip}:8000/keyboard", params={"key": key})
58.         self.key_entry.delete(0, tk.END)
60.     def send_mouse(self):
61.         x = int(self.x_entry.get())
62.         y = int(self.y_entry.get())
63.         requests.post(f"http://{self.server_ip}:8000/mouse", params={"x": x, "y": y})
65. if __name__ == "__main__":
66.     root = tk.Tk()
67.     app = RemoteControlClient(root, server_ip="192.168.1.100")  # 替换为被控端IP
68.     root.mainloop()

复制代码

---

4. 使用说明

摆设步骤

• 被控端：
  
  
  
  • 运行 server.py，确保与控制端处于同一局域网。
    
  • 记载被控端的局域网IP（如 192.168.1.100）。
    
  
  
• 控制端：
  
  
  
  • 修改 client.py 中的 server_ip 为被控端IP。
    
  • 运行 client.py，打开Tkinter界面。
    
  
  

功能演示

• 屏幕查看：Tkinter窗口实时表现被控端屏幕。
  
• 键盘输入：在输入框中输入按键（如 a、enter），按回车发送。
  
• 鼠标操作：输入坐标并点击“点击”按钮，触发鼠标点击。
  

---

5. 扩展功能建议

• 多分辨率适配：动态调解屏幕缩放比例。
  
• 加密传输：使用HTTPS和API密钥加强安全性。
  
• 实时视频流：改用WebSocket替代HTTP轮询，降低耽误。
  
• 文件传输：添加文件上传/下载接口。
  
• 多平台支持：通过PyInstaller打包为exe或macOS应用。
  

---

6. 注意事项

• 性能优化：降低截图分辨率和帧率以减少带宽占用。
  
• 防火墙设置：确保被控端开放 8000 端口。
  
• 异常处置处罚：增加网络断开重连机制。
  
• 权限问题：被控端需保持屏幕常亮且未锁定。
  

---

通过以上方案，你可以快速实现一个基础的长途控制工具。假如必要更高级的功能（如实时音视频传输、多点协作），可团结 WebRTC 或 ZeroMQ 进一步扩展。