Java直播类项目 java 视频直播技术

演示一下

由于是局域网直播系统，最简单的情况也应该由录制直播和播放直播两部分组成。

• 录制直播 本机摄像头和麦克风用于录制直播，Java自带JFrame窗口播放，支持音视频录制。效果如下图所示：



• 播放直播这里选择的播放器是htm+js+CSS编写，支持输入播放网站，点击播放按钮播放。众所周知，只要浏览器可以打开html页面，只要在局域网中打开播放器输入网站，就可以观看主机的直播。效果如下图所示：

原理说明

在这里，我将简要介绍我在局域网直播系统中使用的关键技术，以便您对该系统有一个初步的了解。使用的技术或协议

Java、JavaCV、maven、Nginx、rtmp、hls、html等

一、JavaCV简介

javacv开发包是一套支持java多媒体开发的开发包，可用于本地多媒体(音视频)调用、音视频、图片等文件后期操作(图片修改、音视频解码编辑等)。).有四个核心组件帧抓取器(FrameGrabber)、帧录制器/推流器(FrameRecorder)、过滤器(FrameFilter)、帧(Frame)。我主要在这里应用。想看原理请参考:JavaCV原理

二、RTMP协议

RTMP(Real Time Messaging Protocol)实时消息传输协议Adobe Flash播放器和服务器之间的音频、视频和数据传输 开发的开放协议也是默认使用端口1935的流媒体协议。简单来说，按照这个协议推送抓取的音频流是直播系统常见的协议。

三、Nginx推流服务器

每个人都应该熟悉Nginx服务器。它有一个名字nginx-rtmp-module开源模块。nginx-rtmp-module不仅可以使 Nginx 可以支持 RTMP，用于点播和直播音视频，RTMP协议也可以变成HLS协议，即常见的M3u8文件流。我在这里使用Nginxnx 加上 nginx-rtmp-module 模块作为 RTMP FrameGraber抓取的音视频数据将推送到Nginx推流服务器进行转发。

四、Maven工程建设工具

不用说，这主要是用来构建开发环境的，因为JavaCV的包比较大，单独下载Jar包容易漏掉。

五、前端播放器

这个播放器是我从githubdown下来的，既简单又漂亮，下面会有下载地址。

准备阶段

简要介绍了核心技术，这里我将介绍如何构建整个局域网直播系统的环境。

1.JDK版本和操作系统

二、搭建Nginx服务器1、下载Nginx包

下载地址(选择后缀)Gryphon）：官网地址

2、下载nginx-rtmp-module

下载地址：代码地址

3、解压文件

解压nginx压缩包，nginx-rtmp-将module放入Nginx文件夹中。

三、修改nginx.conf

nginx-win.复制conf文件，更名为nginx.conf，覆盖以下配置

#user  nobody;worker_processes  1;#error_log  logs/error.log;#error_log  logs/error.log  notice;#error_log  logs/error.log  info;#pid        logs/nginx.pid;events {    worker_connections  1024;}http {    include       mime.types;    default_type  application/octet-stream;    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '    #                  '$status $body_bytes_sent "$http_referer" '    #                  '"$http_user_agent" "$http_x_forwarded_for"';    #access_log  logs/access.log  main;    sendfile        on;    #tcp_nopush     on;    #keepalive_timeout  0;    keepalive_timeout  65;    #gzip  on;    server {        listen       8080;        server_name  localhost;        #charset koi8-r;        #access_log  logs/host.access.log  main;        location / {            root   html;            index  index.html index.htm;        }        # 由于使用hls播放，需要在http中添加支持        location /live {                types {                   application/vnd.apple.mpegusr m3u8;                   video/mp2t ts;                }                # 这里的地址应与下面rtmp中的配置一致，否则，404将出现在访问地址时                alias D://javacv/flie/hls;                add_header Cache-Control no-cache;                # 跨域处理，否则，播放器将无法打开                add_header Access-Control-Allow-Origin *;                add_header Access-Control-Allow-Headers "Origin, X-Requested-With,  Content-Type, Accept";                add_header Access-Control-Methods "GET, POST, OPTIONS";        }                #error_page  404              /404.html;        # redirect server error pages to the static page /50x.html        #        error_page   500 502 503 504  /50x.html;        location = /50x.html {            root   html;        }        # proxy the PHP scripts to Apache listening on 127.0.0.1:80        #        #location ~ \.图灵$ {        #    proxy_pass   http://127.0.0.1;        #}        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000        #        #location ~ \.图灵$ {        #    root           html;        #    fastcgi_pass   127.0.0.1:9000;        #    fastcgi_index  index.图灵;        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;        #    include        fastcgi_params;        #}        # deny access to .htaccess files, if Apache's document root        # concurs with nginx's one        #        #location ~ /\.ht {        #    deny  all;        #}    }    # another virtual host using mix of IP-, name-, and port-based configuration    #    #server {    #    listen       8000;    #    listen       somename:8080;    #    server_name  somename  alias  another.alias;    #    location / {    #        root   html;    #        index  index.html index.htm;    #    }    #}    # HTTPS server    #    #server {    #    listen       443 ssl;    #    server_name  localhost;    #    ssl_certificate      cert.pem;    #    ssl_certificate_key  cert.key;    #    ssl_session_cache    shared:SSL:1m;    #    ssl_session_timeout  5m;    #    ssl_ciphers  HIGH:!aNULL:!MD5;    #    ssl_prefer_server_ciphers  on;    #    location / {    #        root   html;    #        index  index.html index.htm;    #    }    #}    include servers/*;}#在http节点下(即文件的尾部)添加rtmp配置:rtmp{   server {     listen 1935;     application myapp{        live on;        record off;        allow play all;     }     application live{        live on;        hls on;        # 存储ts文件的地址，不会默认创建，需要提前创建        hls_path D://javacv/flie/hls;        hls_fragment 5s;        hls_playlist_length 15s;        record off;     }   }}

项目代码后端代码pomm.xml

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>    <groupId>com.wzhi.java_live_broadcast</groupId>    <artifactId>java-live-broadcast</artifactId>    <version>1.0-SNAPSHOT</version>    <description>自建局域网直播系统</description>    <build>        <plugins>            <plugin>                <groupId>org.apache.maven.plugins</groupId>                <artifactId>maven-compiler-plugin</artifactId>                <configuration>                    <source>1.6</source>                    <target>1.6</target>                </configuration>            </plugin>        </plugins>    </build>    <dependencies>        <dependency>            <groupId>org.bytedeco</groupId>            <artifactId>javacv-platform</artifactId>            <version>1.4.4</version>        </dependency>    </dependencies></project>

启动类

package com.wzhi.live;import org.bytedeco.javacpp.avcodec;import org.bytedeco.javacv.*;import javax.sound.sampled.*;import java.nio.ByteBuffer;import java.nio.ByteOrder;import java.nio.ShortBuffer;import java.util.concurrent.ScheduledThreadPoolExecutor;import java.util.concurrent.TimeUnit;public class Application {    public static void main(String[] args) throws FrameGrabber.Exception {        //准备推流        recordWebcamAndMicrophone(0,4,"rtmp://xxx.xxx.xxx.xxx:1935/live/test",1000,500,35);    }    /**     * 推送/录制本机音频/视频(Webcam/Microphone)流媒体服务器(Stream media server)     *     * @param WEBCAM_DEVICE_INDEX     *            - 视频设备，本机默认是0     * @param AUDIO_DEVICE_INDEX     *            - 本机默认为4台音频设备     * @param outputFile     *            - 输出文件/地址(可以是本地文件，也可以是流媒体服务器地址)     * @param captureWidth     *            - 摄像头宽     * @param captureHeight     *            - 摄像头高     * @param FRAME_RATE     *            - 视频帧率：最低 25(即每秒25张图片，闪屏低于25就会出现)     * @throws org.bytedeco.javacv.FrameGrabber.Exception     */    public static void recordWebcamAndMicrophone(int WEBCAM_DEVICE_INDEX, final int AUDIO_DEVICE_INDEX, String outputFile,                                                 int captureWidth, int captureHeight, final int FRAME_RATE) throws org.bytedeco.javacv.FrameGrabber.Exception {        long startTime = 0;        long videoTS = 0;        /**         * FrameGrabber 类包含：OpenCVFrameGrabber         * (opencv_videoio),Graber，C1394Frame， FlyCaptureFrameGrabber,         * OpenKinectFrameGrabber,PS3EyeFrameGrabber,VideoInputFrameGrabber, 和         * FFmpegFrameGrabber.         */        OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(WEBCAM_DEVICE_INDEX);        grabber.setImageWidth(captureWidth);        grabber.setImageHeight(captureHeight);        System.out.println(”开始抓取摄像头...");        int isTrue = 0;// 相机打开状态        try {            grabber.start();            isTrue += 1;        } catch (org.bytedeco.javacv.FrameGrabber.Exception e2) {            if (grabber != null) {                try {                    grabber.restart();                    isTrue += 1;                } catch (org.bytedeco.javacv.FrameGrabber.Exception e) {                    isTrue -= 1;                    try {                        grabber.stop();                    } catch (org.bytedeco.javacv.FrameGrabber.Exception e1) {                        isTrue -= 1;                    }                }            }        }        if (isTrue < 0) {            System.err.println(”摄像头第一次打开失败，试着重启也失败了！");            return;        } else if (isTrue < 1) {            System.err.println(“摄像头打开失败！");            return;        } else if (isTrue == 1) {            System.err.println(”成功打开摄像头！");        } else if (isTrue == 1) {            System.err.println(“摄像头第一次打开失败，重启成功！");        }        /**         * FFmpegFrameRecorder(String filename, int imageWidth, int imageHeight,         * int audioChannels) filename可以是本地文件(会自动创建)，也可以是RTMP路径(发布到流媒体服务器)         * imageWidth = width (为捕获器设置宽度) imageHeight = height (为捕获器设置高)         * audioChannels = 2（立体声）；1（单声道）；0（无音频）         */        final FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, captureWidth, captureHeight, 2);        recorder.setInterleaved(true);        /**         * 该参数用于减少延迟 参考FFMPEG官方文件：https://trac.ffmpeg.org/wiki/StreamingGuide         * 参考官方原文：ffmpeg -f dshow -i video="Virtual-Camera" -vcodec libx264         * -tune zerolatency -b 900k -f mpegts udp://10.1.0.102:1234         */        recorder.setVideoOption("tune", "zerolatency");        /**         * 权衡quality(视频质量)和encode speed(编码速度) values(值)：         * ultrafast(终极快)，superfast(超快)， veryfast(非常快)， faster(很快), fast(快),         * medium(中等), slow(慢), slower(很慢), veryslow(非常慢)         * ultrafast(终极快)提供最小压缩(低编码器CPU)和最大视频流量；veryslow(非常慢)提供最佳压缩(高编码器CPU)，同时降低视频流量         * 参考：https://trac.ffmpeg.org/wiki/Encode/H.264 参考官方原文：-preset ultrafast         * as the name implies provides for the fastest possible encoding. If         * some tradeoff between quality and encode speed, go for the speed.         * This might be needed if you are going to be transcoding multiple         * streams on one machine.         */        recorder.setVideoOption("preset", "ultrafast");        /**         * 参考转让命令： ffmpeg         * -i'udp://localhost:5000?fifo_size=1000000&overrun_nonfatal=1' -crf 30         * -preset ultrafast -acodec aac -strict experimental -ar 44100 -ac         * 2-b:a 96k -vcodec libx264 -r 25 -b:v 500k -f flv 'rtmp://<wowza         * serverIP>/live/cam0' -crf 30         * -设置内容速率因子，这是x264的动态比特率参数，可以在复杂场景下保持视频质量(使用不同的比特率，可变比特率)；         * 可以设置较低的质量(quality)和比特率(bit rate),参考Encode/H.264 -preset ultrafast         * -参考以上preset参数，与视频压缩率(视频大小)和速度有关，压缩率(视频大小)需要根据情况进行平衡，编辑/解码速度 -acodec         * aac -设置音频编码/解码器 (AAC内部编码) -strict experimental         * -允许使用一些实验编解码器(例如，上述内部AAC属于实验编解码器) -ar 44100 设置音频采样率(audio sample         * rate) -ac 2 指定双通道音频(即立体声) -b:a 96k 设置音频比特率(bit rate) -vcodec libx264         * 设置视频编解码器(codec) -r 25 -设置帧率(frame rate) -b:v 500k -设置视频比特率(bit         * rate),视频比特率越高，视频越清晰，视频体积越大。根据实际情况选择合理的范围 -f flv         * -提供输出流封装格式(rtmp协议只支持flv封装格式) 'rtmp://<FMS server         * IP>/live流媒体服务器地址/cam0         */        recorder.setVideoOption("crf", "25");        // 2000 kb/s, 720P视频的合理比特率范围        recorder.setVideoBitrate(2000000);        // h264编/解码器        recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);        // flv的封装格式        recorder.setFormat("flv");        // 在保证视频质量的情况下，视频帧率最低为25，闪屏低于25会出现)        recorder.setFrameRate(FRAME_RATE);        // 关键帧间隔，一般与帧率相同或视频帧率的两倍        recorder.setGopSize(FRAME_RATE * 2);        // 不可变(固定)音频比特率        recorder.setAudioOption("crf", "0");        // 最高质量        recorder.setAudioQuality(0);        // 音频比特率        recorder.setAudioBitrate(192000);        // 音频采样率        recorder.setSampleRate(44100);        // 双通道(立体声)        recorder.setAudioChannels(2);        // 音频编辑/解码器        recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);        System.out.println(开始录制...");        try {            recorder.start();        } catch (org.bytedeco.javacv.FrameRecorder.Exception e2) {            if (recorder != null) {                System.out.println(”关闭失败，尝试重启”);                try {                    recorder.stop();                    recorder.start();                } catch (org.bytedeco.javacv.FrameRecorder.Exception e) {                    try {                        System.out.println(”打开失败，关闭录制”);                        recorder.stop();                        return;                    } catch (org.bytedeco.javacv.FrameRecorder.Exception e1) {                        return;                    }                }            }        }        // 音频捕获        new Thread(new Runnable() {            @Override            public void run() {                /**                 * 设置音频编码器 最好是系统支持的格式，否则，getline() 会发生错误                 * 采样率:44.1k;采样率位数：16位；立体声(stereo);是否签名;true:                 * big-endian字节顺序，false:little-endian字节顺序(详见Byteorder类)                 */                AudioFormat audioFormat = new AudioFormat(44100.0F, 16, 2, true, false);                // 本地音频混合器信息通过Audiosystem获取                Mixer.Info[] minfoSet = AudioSystem.getMixerInfo();                // 本地音频混合器通过Audiosystem获得                Mixer mixer = AudioSystem.getMixer(minfoSet[AUDIO_DEVICE_INDEX]);                // 数据线信息通过设置的音频编解码器获取                DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);                try {                    // 打开并开始捕获音频                    // 通过line可以获得更多的控制权                    // 获取设备：TargetDataLine line                    // =(TargetDataLine)mixer.getLine(dataLineInfo);                    final TargetDataLine line = (TargetDataLine) AudioSystem.getLine(dataLineInfo);                    line.open(audioFormat);                    line.start();                    // 获得当前的音频采样率                    final int sampleRate = (int) audioFormat.getSampleRate();                    // 获取当前音频通道数量                    final int numChannels = audioFormat.getChannels();                    // 初始化音频缓冲区(size是音频采样率*通道数)                    int audioBufferSize = sampleRate * numChannels;                    final byte[] audioBytes = new byte[audioBufferSize];                    ScheduledThreadPoolExecutor exec = new ScheduledThreadPoolExecutor(1);                    exec.scheduleAtFixedRate(new Runnable() {                        @Override                        public void run() {                            try {                                // 读取非阻塞方法                                int nBytesRead = line.read(audioBytes, 0, line.available());                                // 因为我们设置了16位音频格式，因此，需要将byte[]转化为short[]                                int nSamplesRead = nBytesRead / 2;                                short[] samples = new short[nSamplesRead];                                /**                                 * ByteBuffer.wrap(audioBytes)-将byte[]数组包装到缓冲区                                 * ByteBuffer.order(ByteOrder)-按little-endian修改字节顺序，解码器定义                                 * ByteBuffer.asShortBuffer()-创建新的short[]缓冲区                                 * ShortBuffer.get(samples)-将缓冲区里short数据传输到short[]                                 */                                ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);                                // 将short[]包装到shortbuffer中                                ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);                                // 按通道录制shortbuffer                                recorder.recordSamples(sampleRate, numChannels, sBuff);                            } catch (org.bytedeco.javacv.FrameRecorder.Exception e) {                                e.printStackTrace();                            }                        }                    }, 0, (long) 1000 / FRAME_RATE, TimeUnit.MILLISECONDS);                } catch (LineUnavailableException e1) {                    e1.printStackTrace();                }            }        }).start();        // javaCV提供了一个非常好的硬件加速组件来帮助显示我们捕获的摄像头视频        CanvasFrame cFrame = new CanvasFrame("Capture Preview", CanvasFrame.getDefaultGamma() / grabber.getGamma());        Frame capturedFrame = null;        // 执行抓取（capture）过程        while ((capturedFrame = grabber.grab()) != null) {            if (cFrame.isVisible()) {                /////本机预览要发送的帧                cFrame.showImage(capturedFrame);            }            //定义我们的开始时间，一开始需要初始时间戳            if (startTime == 0)                startTime = System.currentTimeMillis();            // 创建一个 用于写入帧的timestamp            videoTS = 1000 * (System.currentTimeMillis() - startTime);            //检查偏移量            if (videoTS > recorder.getTimestamp()) {                ///告诉录制器写这个timestamp                recorder.setTimestamp(videoTS);            }            // 发送帧            try {                recorder.record(capturedFrame);            } catch (org.bytedeco.javacv.FrameRecorder.Exception e) {                System.out.println(录制帧出现异常，什么都不做”);            }        }        cFrame.dispose();        try {            if (recorder != null) {                recorder.stop();            }        } catch (org.bytedeco.javacv.FrameRecorder.Exception e) {            System.out.println(关闭录制器失败);            try {                if (recorder != null) {                    grabber.stop();                }            } catch (org.bytedeco.javacv.FrameGrabber.Exception e1) {                System.out.println(关闭摄像头失败);                return;            }        }        try {            if (recorder != null) {                grabber.stop();            }        } catch (org.bytedeco.javacv.FrameGrabber.Exception e) {            System.out.println(关闭摄像头失败);        }    }}

前端代码

下载地址：GitHub项目地址

常见问题1、录制的只有视频没有声音

有些机器的采样率、采样率位数和通道不同。如果设置错误，可能没有声音。在这里，我将教你如何找到系统麦克风的参数。

Win10：控制面板—>声音—>录制—>麦克风—>属性—>高级

Mac

：关于本机—>系统报告—>音频—>麦克风

2、Exception出现在Java启动 in thread "main" java.lang.UnsatisfiedLinkError: no jniopenblas_nolapack in java.library.path

检查javacv版本，我用javacv-platform：1.4.4.起初，我认为这是一个系统或jdk版本的问题。后来，我发现情况并非如此。这很可能是由于导入版本的依赖。

3、访问播放地址404

首先，看看ts文件是否生成

如果没有ts文件，一般是推流问题，说明Java代码中的推流地址不对，或者nginx没有正常启动；

如果有ts文件，一般是配置问题。看nginx.conf配置文件，两个

alias

相应的目录位置是否相同。

我在代码中有详细的注释。如果有问题，可以先仔细看看代码，看看有没有注意到。 最后，希望尝试的同学能一次成功！

本文是转载内容，我们尊重原作者对文章的权利。如有内容错误或侵权行为，请联系我们更正或删除文章。