比力差异 图片 视频

目次
两张图片像素差：
深度图和rgb图对齐
视频比力差异：
结构化(1行)贴到深度图上(5行)：

---

两张图片像素差：

1. diff=np.clip(np.abs( img_mask.astype(np.int16))-img.astype(np.int16), 0, 255).astype(np.uint8)

复制代码

深度图和rgb图对齐

1. # -*- coding: utf-8 -*-
2. import glob
3. import os
5. import cv2
6. from moviepy.editor import VideoFileClip
7. import numpy as np
8. from natsort import natsorted
9. from moviepy.editor import ImageSequenceClip
11. def check_file_size(file_path, size_level=0.5 * 1000):
12.     file_size = os.path.getsize(file_path)
13.     if file_size < size_level:
14.         return False, file_size
15.     return True, file_size
17. if __name__ == '__main__':
19.     dir_a = r'C:\Users\Administrator\Downloads\v_turn_left\v_turn_left'
20.     dir_a = r'C:\Users\Administrator\Downloads\v_turn_left_box\v_turn_left'
21.     dir_a = r'C:\Users\Administrator\Downloads\v_turn_right\v_turn_right'
22.     dir_a = r'C:\Users\Administrator\Downloads\HLX33B12XP07413111706257257828\HLX33B12XP07413111706257257828\trajectory_data\v_turn_left'
23.     dir_a = r'C:\Users\Administrator\Downloads\v_turn_left_rgb\v_turn_left'
25.     dirs = glob.glob(dir_a+ '/*')
26.     out_dir_base = f'{os.path.dirname(dir_a)}/pinjie/'
27.     os.makedirs(out_dir_base, exist_ok=True)
28.     for dir_m in dirs:
29.         if not os.path.isdir(dir_m):
30.             continue
31.         img_files = ['%s/%s' % (i[0].replace("\", "/"), j) for i in os.walk(dir_m) for j in i[-1] if j.endswith(('_mask.jpg', 'xpng', 'jpeg'))]
33.         img_files=natsorted(img_files)
34.         out_dir=out_dir_base+ os.path.basename(dir_m)
35.         imgs=[]
36.         for img_i, file in enumerate(img_files):
37.             print(img_i, file)
38.             img_ = cv2.imread(file)
39.             lane_path=file.replace('_mask.jpg','.png')
40.             lane_img=cv2.imread(lane_path)
41.             lane_img = cv2.cvtColor(lane_img, cv2.COLOR_BGR2RGB)
42.             pic_w = 960
43.             pic_h = 576
44.             # 加载背景图片和前景图片
45.             background = img_.copy()
46.             foreground =lane_img
48.             h, w = foreground.shape[:2]
50.             # 创建前景图片的掩码，掩码区域为黑色部分
51.             # 这里我们假设前景图的黑色部分是完全黑色（RGB值全为0）
52.             black_mask = cv2.inRange(foreground, np.array([0, 0, 0]), np.array([10, 10, 10]))
54.             # 创建反掩码
55.             foreground_mask = cv2.bitwise_not(black_mask)
57.             # 使用掩码将前景图片中的黑色部分去除
58.             foreground_no_black = cv2.bitwise_and(foreground, foreground, mask=foreground_mask)
60.             # 获取前景图片的区域
61.             roi = background[0:h, 0:w]
63.             # 创建背景的反掩码
64.             background_mask = cv2.bitwise_not(foreground_mask)
66.             # 使用反掩码将背景图片的对应区域去除
67.             background_no_foreground = cv2.bitwise_and(roi, roi, mask=background_mask)
69.             # 将前景图片粘贴到背景图片
70.             result = cv2.add(background_no_foreground, foreground_no_black)
71.             background[0:h, 0:w] = result
73.             # cv2.imshow('background', background)
74.             # cv2.imshow('foreground', foreground)
76.             new_img = np.vstack((foreground,img_, background))
77.             new_img=cv2.cvtColor(new_img, cv2.COLOR_BGR2RGB)
78.             imgs.append(new_img)
79.             if 0:
80.                 if max(new_img.shape[:2]) > 1200:
81.                     x_scale = 1200 / max(new_img.shape[:2])
82.                     new_img = cv2.resize(new_img, None, fx=x_scale, fy=x_scale, interpolation=cv2.INTER_AREA)
83.                 cv2.imwrite(out_dir+os.path.basename(file), new_img)
84.                 cv2.imshow('rss', new_img)
85.                 cv2.waitKey(1)
87.         image_sequence_clip = ImageSequenceClip(imgs, fps=6)
89.         # 输出为视频文件
90.         image_sequence_clip.write_videofile(out_dir+".mp4", codec="libx264")

复制代码

视频比力差异：

1. import glob
2. import os
4. from moviepy.editor import VideoFileClip
5. import numpy as np
7. def check_file_size(file_path, size_level=0.5 * 1000):
8.     file_size = os.path.getsize(file_path)
9.     if file_size < size_level:
10.         return False, file_size
11.     return True, file_size
13. def process_frame(frame):
14.     # 获取帧的宽度和高度
15.     height, width, _ = frame.shape
17.     width_part=960
18.     h_part=576
19.     # 前两列: 左半部分 (前 width // 2 列)
20.     part1_2 = frame[h_part:h_part*2, :width_part, :]
21.     part1_3 = frame[h_part*2:h_part*3, :width_part, :]
23.     part2_2 = frame[h_part:h_part*2, width_part:width_part*2, :]
24.     part2_3 = frame[h_part*2:h_part*3, width_part:width_part*2, :]
26.     part3_2 = frame[h_part:h_part*2, width_part*2:width_part*3, :]
27.     part3_3 = frame[h_part*2:h_part*3,width_part*2:width_part*3, :]
29.     pic_right=np.zeros((2880,960,3),dtype=np.uint8)
31.     pic_right[h_part:h_part*2]= np.clip(np.abs(part1_2.astype(np.int16) - part1_3.astype(np.int16)), 0, 255).astype(np.uint8)
32.     pic_right[h_part*2:h_part*3]= np.clip(np.abs(part2_2.astype(np.int16) - part2_3.astype(np.int16)), 0, 255).astype(np.uint8)
33.     pic_right[h_part*3:4*h_part]= np.clip(np.abs(part3_2.astype(np.int16) - part3_3.astype(np.int16)), 0, 255).astype(np.uint8)
35.     # 将原帧与差值列拼接
36.     new_frame = np.concatenate((frame, pic_right), axis=1)
38.     return new_frame
40. dir_ar=r'C:\Users\Administrator\Downloads\liauto_fv_960_arrow_36_6f_150_depth_nomask,mask_e20_e30\aa'
42. fils=glob.glob(os.path.join(dir_ar,'*.mp4'))
44. out_dir=r'C:\Users\Administrator\Downloads\liauto_fv_960_arrow_36_6f_150_depth_nomask,mask_e20_e30/diff/'
45. os.makedirs(out_dir,exist_ok=True)
46. for file in fils:
47.     size_ok,_= check_file_size(file)
48.     if size_ok:
49.         video = VideoFileClip(file)
51.         # 对每一帧应用帧处理函数
52.         new_video = video.fl_image(process_frame)
54.         # 保存处理后的视频
55.         new_video.write_videofile(out_dir+os.path.basename(file))

复制代码

结构化(1行)贴到深度图上(5行)：

2. import glob
3. import os
5. import cv2
6. from moviepy.editor import VideoFileClip
7. import numpy as np
9. def check_file_size(file_path, size_level=0.5 * 1000):
10.     file_size = os.path.getsize(file_path)
11.     if file_size < size_level:
12.         return False, file_size
13.     return True, file_size
15. def process_frame(frame):
17.     pic_w=960
18.     pic_h=576
19.     # 加载背景图片和前景图片
20.     background =frame[pic_h*4:] .copy()
21.     foreground =frame[:pic_h] .copy()
23.     h, w = foreground.shape[:2]
25.     # 创建前景图片的掩码，掩码区域为黑色部分
26.     # 这里我们假设前景图的黑色部分是完全黑色（RGB值全为0）
27.     black_mask = cv2.inRange(foreground, np.array([0, 0, 0]), np.array([10, 10, 10]))
29.     # 创建反掩码
30.     foreground_mask = cv2.bitwise_not(black_mask)
32.     # 使用掩码将前景图片中的黑色部分去除
33.     foreground_no_black = cv2.bitwise_and(foreground, foreground, mask=foreground_mask)
35.     # 获取前景图片的区域
36.     roi = background[0:h, 0:w]
38.     # 创建背景的反掩码
39.     background_mask = cv2.bitwise_not(foreground_mask)
41.     # 使用反掩码将背景图片的对应区域去除
42.     background_no_foreground = cv2.bitwise_and(roi, roi, mask=background_mask)
44.     # 将前景图片粘贴到背景图片
45.     result = cv2.add(background_no_foreground, foreground_no_black)
46.     background[0:h, 0:w] = result
48.     pic_right = np.zeros((pic_h*5, pic_w, 3), dtype=np.uint8)
50.     pic_right[pic_h*2:pic_h*3] = frame[pic_h*3:pic_h*4]
51.     pic_right[pic_h*4:] = background
53.     new_frame = np.concatenate((frame, pic_right), axis=1)
55.     top_part = new_frame[:pic_h*3]
56.     bottom_part = new_frame[pic_h*4:]
58.     # 将上半部分和下半部分拼接
59.     new_img = np.vstack((top_part, bottom_part))
61.     # cv2.imshow('frame', new_img)
62.     # cv2.waitKey(0)
63.     return new_img
64.     # 获取帧的宽度和高度
65.     height, width, _ = frame.shape
67.     width_part=960
68.     h_part=576
69.     # 前两列: 左半部分 (前 width // 2 列)
70.     part1_2 = frame[h_part:h_part*2, :width_part, :]
71.     part1_3 = frame[h_part*2:h_part*3, :width_part, :]
73.     part2_2 = frame[h_part:h_part*2, width_part:width_part*2, :]
74.     part2_3 = frame[h_part*2:h_part*3, width_part:width_part*2, :]
76.     part3_2 = frame[h_part:h_part*2, width_part*2:width_part*3, :]
77.     part3_3 = frame[h_part*2:h_part*3,width_part*2:width_part*3, :]
79.     pic_right=np.zeros((2880,960,3),dtype=np.uint8)
81.     pic_right[h_part:h_part*2]= np.clip(np.abs(part1_2.astype(np.int16) - part1_3.astype(np.int16)), 0, 255).astype(np.uint8)
82.     pic_right[h_part*2:h_part*3]= np.clip(np.abs(part2_2.astype(np.int16) - part2_3.astype(np.int16)), 0, 255).astype(np.uint8)
83.     pic_right[h_part*3:4*h_part]= np.clip(np.abs(part3_2.astype(np.int16) - part3_3.astype(np.int16)), 0, 255).astype(np.uint8)
85.     # 将原帧与差值列拼接
86.     new_frame = np.concatenate((frame, pic_right), axis=1)
88.     return new_frame
90. if __name__ == '__main__':
92.     dir_a=r'C:\Users\Administrator\Downloads\liauto_fv_960_arrow_36_9f_150_depth_real_e20_test\liauto_fv_960_arrow_36_9f_150_depth_real_e20_test'
94.     mp4s=glob.glob(os.path.join(dir_a,'*.mp4'))
96.     out_dir = r'C:\Users\Administrator\Downloads\liauto_fv_960_arrow_36_9f_150_depth_real_e20_test/pinjie/'
97.     os.makedirs(out_dir, exist_ok=True)
98.     for file in mp4s:
99.         size_ok, _ = check_file_size(file)
100.         if size_ok:
101.             video = VideoFileClip(file)
103.             # 对每一帧应用帧处理函数
104.             new_video = video.fl_image(process_frame)
106.             # 保存处理后的视频
107.             new_video.write_videofile(out_dir + os.path.basename(file))

复制代码