使用TCP协议，配合视频压缩算法，实时传输视频流并播放

qq_33744245

1267人浏览 · 2024-10-07 11:43:21

qq_33744245 · 2024-10-07 11:43:21 发布

使用TCP协议配合视频压缩算法进行视频传输是一个常见的方案，它可以确保数据的可靠性和完整性。下面展示一个简单示例，利用OpenCV进行视频捕获、H.264进行视频压缩以及TCP进行数据传输。

主要步骤

设置TCP服务器：接收客户端发送的数据。
使用OpenCV捕获视频流：从摄像头获取实时视频帧。
应用视频压缩算法：使用H.264编码器对每一帧进行压缩。
将压缩后的数据通过TCP发送给客户端。
示例代码
服务端代码（TCP）
python

import cv2
import socket
import numpy as np
import pickle
import struct
import time

def start_server(host='0.0.0.0', port=12345):
    server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server_socket.bind((host, port))
    server_socket.listen(1)

    print("Server is running and waiting for a connection...")

    while True:
        try:
            conn, addr = server_socket.accept()
            print(f"Connected to {addr}")

            video_capture = cv2.VideoCapture(0)

            while True:
                ret, frame = video_capture.read()
                if not ret:
                    break

                # 压缩帧
                result, encoded_frame = cv2.imencode('.jpg', frame, [cv2.IMWRITE_JPEG_QUALITY, 90])
                
                # 发送数据长度然后发送图像数据
                data = pickle.dumps(encoded_frame)
                try:
                    conn.sendall(struct.pack("L", len(data)) + data)  # 先发送数据长度
                    print("Sent a frame.")
                except (BrokenPipeError, ConnectionResetError):
                    print(f"Connection with {addr} lost. Waiting for a new connection...")
                    break

        except Exception as e:
            print(f"An error occurred: {e}")
        
        finally:
            if 'video_capture' in locals():
                video_capture.release()
            if 'conn' in locals():
                conn.close()

if __name__ == "__main__":
    start_server()

代码说明

循环监听新的连接：

在while True循环中，服务器持续等待新的客户端连接。一旦一个客户端连接成功，它会为该连接开启一个新线程（或继续执行），处理视频流的发送。

异常处理：

使用try…except块来捕获BrokenPipeError和ConnectionResetError。这两个异常通常表示客户端已经断开连接。
当捕获到这些异常时，打印相关信息并关闭当前连接，然后返回顶部继续等待新的连接。

资源管理：

在finally块中确保释放视频捕获资源并关闭当前连接。

客户端代码（TCP）
python

import socket
import numpy as np
import cv2
import pickle
import struct
import time

def start_client(host='127.0.0.1', port=12345):
    while True:
        try:
            client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
            client_socket.connect((host, port))
            print("Connected to the server.")
            
            data = b""
            payload_size = struct.calcsize("L")  # 数据包的大小

            while True:
                while len(data) < payload_size:
                    packet = client_socket.recv(4096)
                    if not packet:
                        break
                    data += packet

                if not packet:
                    break

                packed_msg_size = data[:payload_size]
                data = data[payload_size:]

                msg_size = struct.unpack("L", packed_msg_size)[0]

                while len(data) < msg_size:
                    data += client_socket.recv(4096)

                frame_data = data[:msg_size]
                data = data[msg_size:]

                # 解码图像
                encoded_frame = pickle.loads(frame_data)
                frame = cv2.imdecode(encoded_frame, cv2.IMREAD_COLOR)

                cv2.imshow("Video Stream", frame)

                if cv2.waitKey(1) & 0xFF == ord('q'):
                    break

            client_socket.close()
            print("Connection closed by server. Reconnecting...")
            time.sleep(2)  # 等待2秒后重连

        except Exception as e:
            print(f"Error: {e}. Attempting to reconnect...")
            client_socket.close()
            time.sleep(2)  # 等待2秒后重连

if __name__ == "__main__":
    start_client()