import wave # 读、写wav类型的文件
import pyaudio # 可以进行录音、播放、生成wav文件等
from PIL import ImageGrab # PIL图像处理库，imageGrab能抓取屏幕的快照
import numpy as np # 能高效处理大型矩阵，提供针对数组运算的大量函数
import cv2 # 跨平台计算机视觉库，能实现图像处理和计算机视觉方面很多通用算法
from moviepy.editor import * # 视频编辑库
from moviepy.audio.fx import all # 音频编辑
import time # 处理时间的标准库
# CHUNK = 1024
FORMAT = pyaudio.paInt16 # 录制音频时的标准格式 paInt16
CHANNELS = 2
RATE = 44100
WAVE_OUTPUT_FILENAME = "output.wav" # 输出的音频格式文件
p = pyaudio.PyAudio() # 实例化pyaudio，相当于创建对象
wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb') # 打开对应名字的可编辑文件；若没有则会自动创建，写文件流
wf.setnchannels(CHANNELS) # 设置录制时获取声音的方位，双声道
wf.setsampwidth(p.get_sample_size(FORMAT)) # 设置采样大小，16bit，表示一次采集所采集的数据
wf.setframerate(RATE) # 录制视频的帧率44100
audio_record_flag = True # 录制启动符
def callback(in_data, frame_count, time_info, status):
wf.writeframes(in_data)
if audio_record_flag:
return (in_data, pyaudio.paContinue)
else:
return (in_data, pyaudio.paComplete)
stream = p.open(format=p.get_format_from_width(wf.getsampwidth()), # 设置打开音频参数的流
channels=wf.getnchannels(),
rate=wf.getframerate(),
input=True,
stream_callback=callback)
image = ImageGrab.grab() # 将当前屏幕的内容拷贝为RGB格式的图像
width = image.size[0] # 返回屏幕像素的宽
height = image.size[1] # 返回屏幕像素的高
print("width:", width, "height:", height) # 打印信息
print("image mode:",image.mode)
k=np.zeros((width,height),np.uint8) # 创建空数组
fourcc = cv2.VideoWriter_fourcc(*'XVID') # 编码格式，"XVID"是MPEG-4编码类型，文件名后缀为.avi
video = cv2.VideoWriter('test.mp4', fourcc, 9.5, (width, height))
# 视频编解码器，文件名-编码类型-帧播放速率-视频帧大小
#经实际测试，单线程下最高帧率为10帧/秒，且会变动，因此选择9.5帧/秒
#若设置帧率与实际帧率不一致，会导致视频时间与音频时间不一致
print("video recording!!!!!")
stream.start_stream() # 启动
print("audio recording!!!!!")
record_count = 0
while True:
img_rgb = ImageGrab.grab() # 每一帧屏幕内容
img_bgr=cv2.cvtColor(np.array(img_rgb), cv2.COLOR_RGB2BGR) # 将RGB格式转为opencv的BGR格式
video.write(img_bgr) # 将每一帧写入视频流
record_count += 1
if(record_count > 4000): # 这里修改录制的数量
break
print(record_count, time.time()) # 返回录制的帧数，以及当前的系统时间
audio_record_flag = False # 使记录标识关闭
while stream.is_active():
time.sleep(1) # 将进程挂起1秒
stream.stop_stream() # 暂停播放/录制
stream.close() # 中止流
wf.close() # 终止录制音频
p.terminate() # 终止portaudio会话
print("audio recording done!!!!!")
video.release() # 释放视频？
cv2.destroyAllWindows() # 正常关闭所有绘图窗口
print("video recording done!!!!!")
print("video audio merge!!!!!")
audioclip = AudioFileClip("output.wav") # 应该是在把视频做合并至最终的生成
videoclip = VideoFileClip("test.mp4")
videoclip2 = videoclip.set_audio(audioclip)
video = CompositeVideoClip([videoclip2])
video.write_videofile("test2.mp4",codec='mpeg4')
