BERT的中文问答体系56

对GUI举行优化，使其更加人性化和易用。以下是一些优化的实现：
布局优化：调解布局，使各个控件更加公道地分布，进步用户体验。
功能加强：增长一些辅助功能，如主动滚动谈天纪录、主动扫除输入框等。
视觉结果：改善视觉结果，利用更当代的样式和颜色。
交互性：增长更多的提示信息和反馈，利用户操纵更加直观。
以下是优化后的代码：
优化后的代码

1. import os
2. import json
3. import jsonlines
4. import torch
5. import torch.optim as optim
6. from torch.utils.data import Dataset, DataLoader
7. from transformers import BertModel, BertTokenizer
8. import tkinter as tk
9. from tkinter import filedialog, messagebox, ttk, simpledialog
10. import logging
11. from difflib import SequenceMatcher
12. from datetime import datetime
13. import requests
14. from bs4 import BeautifulSoup
15. import tkcalendar
17. # 获取项目根目录
18. PROJECT_ROOT = os.path.dirname(os.path.abspath(__file__))
20. # 配置日志
21. LOGS_DIR = os.path.join(PROJECT_ROOT, 'logs')
22. os.makedirs(LOGS_DIR, exist_ok=True)
24. def setup_logging():
25.     log_file = os.path.join(LOGS_DIR, datetime.now().strftime('%Y-%m-%d_%H-%M-%S_羲和.txt'))
26.     logging.basicConfig(
27.         level=logging.INFO,
28.         format='%(asctime)s - %(levelname)s - %(message)s',
29.         handlers=[
30.             logging.FileHandler(log_file),
31.             logging.StreamHandler()
32.         ]
33.     )
35. setup_logging()
37. # 数据集类
38. class XihuaDataset(Dataset):
39.     def __init__(self, file_path, tokenizer, max_length=128):
40.         self.tokenizer = tokenizer
41.         self.max_length = max_length
42.         self.data = self.load_data(file_path)
44.     def load_data(self, file_path):
45.         data = []
46.         if file_path.endswith('.jsonl'):
47.             with jsonlines.open(file_path) as reader:
48.                 for i, item in enumerate(reader):
49.                     try:
50.                         data.append(item)
51.                     except jsonlines.jsonlines.InvalidLineError as e:
52.                         logging.warning(f"跳过无效行 {
53.      
54.      i + 1}: {
55.      
56.      e}")
57.         elif file_path.endswith('.json'):
58.             with open(file_path, 'r') as f:
59.                 try:
60.                     data = json.load(f)
61.                 except json.JSONDecodeError as e:
62.                     logging.warning(f"跳过无效文件 {
63.      
64.      file_path}: {
65.      
66.      e}")
67.         return data
69.     def __len__(self):
70.         return len(self.data)
72.     def __getitem__(self, idx):
73.         item = self.data[idx]
74.         question = item.get('question', '')
75.         human_answer = item.get('human_answers', [''])[0]
76.         chatgpt_answer = item.get('chatgpt_answers', [''])[0]
78.         try:
79.             inputs = self.tokenizer(question, return_tensors='pt', padding='max_length', truncation=True, max_length=self.max_length)
80.             human_inputs = self.tokenizer(human_answer, return_tensors='pt', padding='max_length', truncation=True, max_length=self.max_length)
81.             chatgpt_inputs = self.tokenizer(chatgpt_answer, return_tensors='pt', padding='max_length', truncation=True, max_length=self.max_length)
82.         except Exception as e:
83.             logging.warning(f"跳过无效项 {
84.      
85.      idx}: {
86.      
87.      e}")
88.             return self.__getitem__((idx + 1) % len(self.data))
90.         return {
91.    
92.    
93.             'input_ids': inputs['input_ids'].squeeze(),
94.             'attention_mask': inputs['attention_mask'].squeeze(),
95.             'human_input_ids': human_inputs['input_ids'].squeeze(),
96.             'human_attention_mask': human_inputs['attention_mask'].squeeze(),
97.             'chatgpt_input_ids': chatgpt_inputs['input_ids'].squeeze(),
98.             'chatgpt_attention_mask': chatgpt_inputs['attention_mask'].squeeze(),
99.             'human_answer': human_answer,
100.             'chatgpt_answer': chatgpt_answer
101.         }
103. # 获取数据加载器
104. def get_data_loader(file_path, tokenizer, batch_size=8, max_length=128):
105.     dataset = XihuaDataset(file_path, tokenizer, max_length)
106.     return DataLoader(dataset, batch_size=batch_size, shuffle=True)
108. # 模型定义
109. class XihuaModel(torch.nn.Module):
110.     def __init__(self, pretrained_model_name):
111.         super(XihuaModel, self).__init__()
112.         self.bert = BertModel.from_pretrained(pretrained_model_name)
113.         self.classifier = torch.nn.Linear(self.bert.config.hidden_size, 1)
115.     def forward(self, input_ids, attention_mask):
116.         outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
117.         pooled_output = outputs.pooler_output
118.         logits = self.classifier(pooled_output)
119.         return logits
121. # 训练函数
122. def train(model, data_loader, optimizer, criterion, device, progress_var=None):
123.     model.train()
124.     total_loss = 0.0
125.     num_batches = len(data_loader)
126.     for batch_idx, batch in enumerate(data_loader):
127.         try:
128.             input_ids = batch['input_ids'].to(device)
129.             attention_mask = batch['attention_mask'].to(device)
130.             human_input_ids = batch['human_input_ids'].to(device)
131.             human_attention_mask = batch['human_attention_mask'].to(device)
132.             chatgpt_input_ids = batch['chatgpt_input_ids'].to(device)
133.             chatgpt_attention_mask = batch['chatgpt_attention_mask'].to(device)
135.             optimizer.zero_grad()
136.             human_logits = model(human_input_ids, human_attention_mask)
137.             chatgpt_logits = model(chatgpt_input_ids, chatgpt_attention_mask)
139.             human_labels = torch.ones(human_logits.size(0), 1).to(device)
140.             chatgpt_labels = torch.zeros(chatgpt_logits.size(0), 1).to(device)
142.             loss = criterion(human_logits, human_labels) + criterion(chatgpt_logits, chatgpt_labels)
143.             loss.backward()
144.             optimizer.step()
146.             total_loss += loss.item()
147.             if progress_var:
148.                 progress_var.set((batch_idx + 1) / num_batches * 100)
149.         except Exception as e:
150.             logging.warning(f"跳过无效批次: {
151.      
152.      e}")
154.     return total_loss / len(data_loader)
156. # 模型评估函数
157. def evaluate_model(model, data_loader, device):
158.     model.eval()
159.     correct = 0
160.     total

复制代码