利用pybind11开发c++扩展模块输出到控制台的中文信息表现乱码的题目

利用pybind11开发供Python项目利用的C++扩展模块时，如果在扩展模块的C++代码中向控制台输出的信息中包罗中文，python步伐的控制台很容易出现乱码。以如下C++扩展框架代码为例（这是对上一篇文章简明利用pybind11开发pythonc+扩展模块教程-CSDN博客中的C++扩展框架代码进行少量修正后的效果）：

1. #include <iostream>
2. #include <fstream>
3. #include <sstream>
4. #include <string>
5. #include <vector>
6. #include <map>
7. #include <locale>
8. #include <codecvt>
9. #include <windows.h>
10. #include <pybind11/pybind11.h>
11. #include <pybind11/stl.h>
13. namespace py = pybind11;
15. class CSVFinder {
16. private:
17.     std::map<std::string, std::vector<std::string>> dataMap;
18.     std::vector<std::string> headers;
20. public:
21.     // 默认构造函数
22.     CSVFinder() {
23.     }
25.     // 接受 CSV 文件路径的构造函数
26.     CSVFinder(const std::string& filePath) {
27.         loadCSV(filePath);
28.     }
30.     // 载入 CSV 文件的方法
31.     void loadCSV(const std::string& filePath) {
32.         // 检查文件扩展名是否为 .csv
33.         if (filePath.substr(filePath.find_last_of(".") + 1) != "csv") {
34.             std::cerr << "文件扩展名不是 .csv，但仍尝试解析: "  << filePath << std::endl;
35.         }
37.         std::ifstream file(filePath);
38.         if (!file.is_open()) {
39.             std::cerr << "无法打开文件，请检查文件名或路径是否错误: " << filePath <<  std::endl;
40.             dataMap.clear();
41.             headers.clear();
42.             return;
43.         }
45.         std::string line;
46.         // 读取第一行作为标题
47.         if (!std::getline(file, line)) {
48.             std::cerr << "无法读取文件的第一行，请检查文件内容: " << filePath << std::endl;
49.             dataMap.clear();
50.             headers.clear();
51.             return;
52.         }
54.         std::istringstream iss(line);
55.         std::string token;
56.         while (std::getline(iss, token, ',')) {
57.             headers.push_back(token);
58.         }
60.         if (headers.empty()) {
61.             std::cerr << "第一行未包含有效的标题信息，请检查文件内容: "
62.                        << filePath << std::endl;
63.             dataMap.clear();
64.             headers.clear();
65.             return;
66.         }
68.         // 读取后续行
69.         while (std::getline(file, line)) {
70.             std::istringstream iss(line);
71.             std::vector<std::string> values;
72.             std::string token;
73.             while (std::getline(iss, token, ',')) {
74.                 values.push_back(token);
75.             }
76.             if (values.empty()) {
77.                 std::cerr << "某行未包含有效的数据信息，请检查文件内容: "
78.                            << filePath << std::endl;
79.                 dataMap.clear();
80.                 headers.clear();
81.                 return;
82.             }
83.             std::string key = values[0];
84.             values.erase(values.begin());
85.             dataMap[key] = values;
86.         }
88.         if (dataMap.empty()) {
89.             std::cerr << "The file does not contain valid data lines:"
90.                        << filePath << std::endl;
91.             dataMap.clear();
92.             headers.clear();
93.             return;
94.         }
96.         file.close();
97.     }
99.     // 返回 dataMap 的方法
100.     const std::map<std::string, std::vector<std::string>>& getDataMap() const {
101.         return dataMap;
102.     }
104.     // 返回 headers 的方法
105.     const std::vector<std::string>& getHeaders() const {
106.         return headers;
107.     }
109.     // 查找数据的方法
110.     py::object findData(const std::string& rowTitle, const std::string& colTitle) {
111.         auto rowIt = dataMap.find(rowTitle);
112.         if (rowIt != dataMap.end()) {
113.             for (size_t i = 1; i < headers.size(); ++i) {
114.                 if (headers[i] == colTitle && i < rowIt->second.size()) {
115.                     return py::cast(rowIt->second[i]);
116.                 }
117.             }
118.         }
119.         return py::none();  // 返回 None 对象
120.     }
122.     // 查找行的方法
123.     std::vector<std::string> findRow(const std::string& rowTitle) {
124.         auto it = dataMap.find(rowTitle);
125.         if (it != dataMap.end()) {
126.             return it->second;
127.         }
128.         return {};
129.     }
131.     // 查找列的方法
132.     std::vector<std::string> findColumn(const std::string& colTitle) {
133.         std::vector<std::string> column;
134.         // 查找列标题在headers中的索引, 注意 headers[0] 为行标题，因此从index 1开始
135.         int colIndex = -1;
136.         for (size_t i = 1; i < headers.size(); ++i) {
137.             if (headers[i] == colTitle) {
138.                 colIndex = static_cast<int>(i - 1); // 对应到每行数据中的索引
139.                 break;
140.             }
141.         }
142.         if (colIndex < 0) {
143.             return column; // 未找到对应的列标题，返回空向量
144.         }
145.         // 遍历每一行数据
146.         for (const auto& row : dataMap) {
147.             const std::vector<std::string>& values = row.second;
148.             if (static_cast<size_t>(colIndex) < values.size()) {
149.                 column.push_back(values[colIndex]);
150.             }
151.             else {
152.                 column.push_back(""); // 如该行数据列数不足，可选择返回空字符串
153.             }
154.         }
155.         return column;
156.     }
157. };
159. PYBIND11_MODULE(CSVFinder, m) {
160.     py::class_<CSVFinder>(m, "CSVFinder")
161.         .def(py::init<>())
162.         .def(py::init<const std::string&>())
163.         .def("load_csv", &CSVFinder::loadCSV)
164.         .def("get_datamap", &CSVFinder::getDataMap)
165.         .def("get_headers", &CSVFinder::getHeaders)
166.         .def("find_data", &CSVFinder::findData)
167.         .def("find_row", &CSVFinder::findRow)
168.         .def("find_column", &CSVFinder::findColumn);
169. }

复制代码

此中loadCSV方法中有不少向控制台输入的错误信息。将上面的框架构建分发给Python项目利用（具体过程参见本文开头提到的博客），利用下面的python代码进行测试：

1. from CSVFinder import CSVFinder
3. width = 8
5. file = "E:/projects/ziweidoushu/csv1/destiny_type.csv"
6. finder = CSVFinder(file)
7. dict = finder.get_datamap()
8. headers = finder.get_headers()
9. print(f'{[value.ljust(width) + "|" for value in headers]}')
10. for key, values in dict.items():
11.         print(f'{key.ljust(width)  + "|" }:{[value.ljust(width)  + "|" for value in values]}')
12. key = '甲'
13. row = finder.find_row(key)
14. print(f"{key.ljust(width)  + '|' }：{len(row)}:{[value.ljust(width)  + '|' for value in row]}")
15. key = '寅'
16. column = finder.find_column(key)
17. print(f"{key.ljust(width)  + '|' }:{len(column)}:{[value.ljust(width)  + '|' for value in column]}")

复制代码

测试步伐中的文件路径故意写错了，原来应该向控制台输出C++代码中的包罗中文的错误信息：
   无法打开文件，请检查文件名或路径是否错误: E:/projects/ziweidoushu/csv1/destiny_type.csv
  在控制台执行测试步伐，实际输出如下图：

可以看到C++扩展模块向控制台输出的中文信息酿成了乱码，但是Python步伐向控制台输出的中文信息则表现正常。AI以及不少文章说用下面的下令将控制台所利用的编码改成UTF-8能够解决题目：
   chcp 65001
  实际上起不了作用：

实际上只要在C++扩展模块中在字符串前加上u8修饰符、在模块入口处将控制台编码改为UTF-8，并给编译器加上“/utf-8”选项即可正常表现中文，而无需调解控制台编码页。也就是：
1、在C++扩展模块代码中包罗<windows.h>，然后调用Windows API在pybind11模块入口处进行如下调用即可：
   //省略一些代码
   std::cerr << u8"无法打开文件，请检查文件名或路径是否错误: " << filePath << std::endl;
  // 省略一些代码
  PYBIND11_MODULE(CSVFinder, m) {
    SetConsoleOutputCP(CP_UTF8);  // 增长的代码
    std::cerr.imbue(std::locale("chs"));  // 增长的代码，可省略
    std::cout.imbue(std::locale("chs"));  // 增长的代码，可省略
  // 省略后面的代码
  实际上C++扩展模块中增长的三行代码后面两行省略也能解决题目，但思量到进步坚固性，加上后两行代码，让控制台以为处于中文环境中。
2、在setup.py的扩展模块界说中，增长“/utf-8”选项：
   # 界说扩展模块
csv_module = Extension(
    'CSVFinder',  # 模块名称
    sources=['read_csv.cpp'],  # C++ 源文件路径
    include_dirs=[pybind11.get_include(), ],  
    language='c++',  # 指定利用 C++ 语言
    extra_compile_args=['/utf-8','-D_WIN32_WINNT=0x0601', '-D__USE_MINGW_ANSI_STDIO=1'],  # 编译选项
)
  重新构建并测试，效果如下：