树莓派4B开发板上，通过Qt+FFMPEG以多线程分别解码、编码USB摄像头视频数据

//#include "decodethread.h" //#include <QDebug> //DecodeThread::DecodeThread(AVPacketQueue *packet_queue, AVFrameQueue *frame_queue) // :packet_queue_(packet_queue),frame_queue_(frame_queue) //{ //} //DecodeThread::~DecodeThread() //{ // if(thread_) // { // Stop(); // } // if(codec_ctx_) // { // avcodec_close(codec_ctx_); // } // if(sws_ctx_) // { // sws_freeContext(sws_ctx_); // } //} //int DecodeThread::Init(AVCodecParameters *par) //{ // if(!par) // { // qDebug("Init par is null!"); // return -1; // } // codec_ctx_ = avcodec_alloc_context3(NULL); // int ret = avcodec_parameters_to_context(codec_ctx_, par); // if(ret<0) // { // av_strerror(ret, err2str, sizeof (err2str)); // qDebug("avcodec_parameters_to_context failed, ret:%d,err2str:%s \n", ret, err2str); // return -1; // } // const AVCodec *codec = avcodec_find_decoder(codec_ctx_->codec_id); // if(!codec) // { // qDebug("avcodec_find_decoder failed"); // return -1; // } // ret = avcodec_open2(codec_ctx_,codec,NULL); // if(ret <0) // { // av_strerror(ret, err2str, sizeof (err2str)); // qDebug("avcodec_open2 failed, ret:%d,err2str:%s \n", ret, err2str); // return -1; // } // // 初始化 SwsContext，将 MJPEG 格式转换为 YUV420P // sws_ctx_ = sws_getContext( // codec_ctx_->width, codec_ctx_->height, codec_ctx_->pix_fmt, // 源格式 // codec_ctx_->width, codec_ctx_->height, AV_PIX_FMT_YUV420P, // 目标格式 // SWS_BILINEAR, NULL, NULL, NULL); // if(!sws_ctx_) // { // qDebug("sws_getContext failed"); // return -1; // } // qDebug("Init finish!"); // return 0; //} //int DecodeThread::Start() //{ // thread_ = new std::thread(&DecodeThread::Run, this); // if(!thread_){ // qDebug("new std::thread(&DecodeThread::Run, this) failed"); // return -1; // } // return 0; //} //int DecodeThread::Stop() //{ // Thread::Stop(); //} //void DecodeThread::Run() //{ // AVFrame *frame = av_frame_alloc(); // AVFrame *yuv_frame = av_frame_alloc(); // // 分配YUV420P格式的AVFrame // yuv_frame->format = AV_PIX_FMT_YUV420P; // yuv_frame->width = codec_ctx_->width; // yuv_frame->height = codec_ctx_->height; // if(av_frame_get_buffer(yuv_frame, 32)<0) // { // qDebug()<<"could not allocate buffer for yuv_frame"; // return; // } // if(!yuv_frame->data[0]) // { // qDebug()<<"yuv_frame->date[0] is nullptr after av_frame_get_buffer"; // return; // } // qDebug("DecodeThread::Run into DecodeThread::run"); // while(abort_ !=1) // { // if(frame_queue_->Size()>10) // { // std::this_thread::sleep_for(std::chrono::milliseconds(10)); // continue; // } // AVPacket *pkt = packet_queue_->Pop(10); // if(pkt) // { // int ret = avcodec_send_packet(codec_ctx_, pkt); // av_packet_free(&pkt); // qDebug("ret=%d", ret); // if(ret <0) // { // av_strerror(ret, err2str, sizeof (err2str)); // qDebug("avcodec_send_packet failed, ret:%d,err2str:%s \n", ret, err2str); // break; // } // //读解码后的frame // while(true) // { // ret = avcodec_receive_frame(codec_ctx_, frame); // if(ret == 0) // { // // 使用sws_scale将frame从MJPEG转换为YUV420P格式 // ret = sws_scale(sws_ctx_, // frame->data, frame->linesize, 0, codec_ctx_->height, // yuv_frame->data, yuv_frame->linesize); // if(ret<0) // { // qDebug("sws_scale failed, ret:%d", ret); // continue; // } // // 将转换后的YUV420P格式的帧推入frame_queue_ // frame_queue_->Push(yuv_frame); // qDebug("%s frame queue size%d", codec_ctx_->codec->name, frame_queue_->Size()); // continue; // }else if(AVERROR(EAGAIN)==ret) // { // break; // }else // { // abort_ = 1; // av_strerror(ret, err2str, sizeof (err2str)); // qDebug("avcodec_receive_frame failed, ret:%d,err2str:%s \n", ret, err2str); // break; // } // } // }else // { // qDebug("not got packet"); // } // } // av_frame_free(&frame); // qDebug("DecodeThread::Run finish"); //} #include "decodethread.h" #include <QDebug> DecodeThread::DecodeThread(AVPacketQueue *packet_queue, AVFrameQueue *frame_queue) : packet_queue_(packet_queue), frame_queue_(frame_queue) { } DecodeThread::~DecodeThread() { if (thread_) { Stop(); } if (codec_ctx_) { avcodec_close(codec_ctx_); } if (sws_ctx_) { sws_freeContext(sws_ctx_); } } int DecodeThread::Init(AVCodecParameters *par) { if (!par) { qDebug("Init par is null!"); return -1; } codec_ctx_ = avcodec_alloc_context3(NULL); int ret = avcodec_parameters_to_context(codec_ctx_, par); if (ret < 0) { av_strerror(ret, err2str, sizeof(err2str)); qDebug("avcodec_parameters_to_context failed, ret:%d, err2str:%s", ret, err2str); return -1; } const AVCodec *codec = avcodec_find_decoder(codec_ctx_->codec_id); if (!codec) { qDebug("avcodec_find_decoder failed"); return -1; } ret = avcodec_open2(codec_ctx_, codec, NULL); if (ret < 0) { av_strerror(ret, err2str, sizeof(err2str)); qDebug("avcodec_open2 failed, ret:%d, err2str:%s", ret, err2str); return -1; } // 初始化 SwsContext，将 MJPEG 格式转换为 YUV420P sws_ctx_ = sws_getContext( codec_ctx_->width, codec_ctx_->height, codec_ctx_->pix_fmt, // 源格式 codec_ctx_->width, codec_ctx_->height, AV_PIX_FMT_YUV420P, // 目标格式 SWS_BILINEAR, NULL, NULL, NULL); if (!sws_ctx_) { qDebug("sws_getContext failed"); return -1; } qDebug("Init finish!"); return 0; } int DecodeThread::Start() { thread_ = new std::thread(&DecodeThread::Run, this); if (!thread_) { qDebug("new std::thread(&DecodeThread::Run, this) failed"); return -1; } return 0; } int DecodeThread::Stop() { Thread::Stop(); } void DecodeThread::Run() { AVFrame *frame = av_frame_alloc(); qDebug("DecodeThread::Run into DecodeThread::run"); while (abort_ != 1) { AVFrame *yuv_frame = av_frame_alloc(); // 分配YUV420P格式的AVFrame yuv_frame->format = AV_PIX_FMT_YUV420P; yuv_frame->width = codec_ctx_->width; yuv_frame->height = codec_ctx_->height; if (av_frame_get_buffer(yuv_frame, 32) < 0) { qDebug() << "Could not allocate buffer for yuv_frame"; return; } if (!yuv_frame->data[0]) { qDebug() << "yuv_frame->data[0] is nullptr after av_frame_get_buffer"; return; } if (frame_queue_->Size() > 10) { std::this_thread::sleep_for(std::chrono::milliseconds(10)); c