使用Java分离音频左右声道

使用Java分离音频左右声道

1.音频属性相关

音频采样所得的PCM都含有三个要素：声道(channel)、采样率(sample rate)、采样位数、时长。

1.1.声道

记录声音时，如果每次生成一个声波数据，称为单声道；每次生成两个声波数据，称为双声道（立体声）。单声道的声音只能使用一个喇叭发声，双声道的PCM可以使两个喇叭同时发声（一般左右声道有分工），更能感受到空间效果。

1.2.采样率

单位时间内采集的样本数，即：采样周期的倒数，指两个采样之间的时间间隔。采样频率越高，声音质量越好，但同时占用的带宽越大。一般情况下，22KHz相当于普通FM的音质，44KHz相当于CD音质，目前的常用采样频率都不超过48KHz。

1.3.采样位数

表示一个样本的二进制位数，即：每个采样点用多少比特表示。计算机中音频的量化深度一般为4、8、16、32位（bit）等。例如：采样位数为8 bit时，每个采样点可以表示256个不同的采样值，而采样位数为16 bit时，每个采样点可以表示65536个不同的采样值。采样位数的大小影响声音的质量，采样位数越多，量化后的波形越接近原始波形，声音的质量越高，而需要的存储空间也越多；位数越少，声音的质量越低，需要的存储空间越少。一般情况下，CD音质的采样位数是16 bit，移动通信是8 bit。

1.4.帧

音频在量化得到二进制的码字后，需要进行变换，而变换（MDCT）是以块为单位（block）进行的，一个块由多个（120或128）样本组成。而一帧内会包含一个或者多个块。帧的常见大小有960、1024、2048、4096等。一帧记录了一个声音单元，它的长度是样本长度和声道数的乘积。FFmpeg中 AVFrame 结构体中的 nb_samples 代表的就是一帧中单个声道的音频样本数量。

数字音频文件大小（Byte) = 采样频率（Hz）× 采样时长（S）×（采样位数 / 8）× 声道数（单声道为1，立体声为2）

2.FFmpeg介绍

FFmpeg 是一个专业的多媒体框架，能够解码、编码、转码、复用、解复用、流式传输、过滤和播放几乎所有格式的媒体文件。
其核心就是 FFmpeg 程序本身，是一个基于命令行的视频和音频处理工具，多用于视频转码、基础编辑（修剪和合并）、视频缩放、后期效果制作等场景。

ffmpeg -i <inputfile> -hide_banner

2.1.FFmpeg 常用操作

`ffmpeg -i ``

• 1.转码

$ ffmpeg -i input.avi output.mp4

• 2.提取音频

$ ffmpeg -i input.mp4 output.mp3

• 3.调整分辨率

$ ffmpeg -i input.mp4 -s 1280x720 output.mp4

• 4.调整帧率

$ ffmpeg -i input.webm -c:a copy -c:v vp9 -r 30 output.mkv

• 5.提取音频

$ ffmpeg -i input.mp4 output.mp3

• 6.抓取图片

$ ffmpeg -i input.mp4 -r 1 -f image2 image-%2d.png

• 7.裁剪视频

$ ffmpeg -i input.mp4 -vf "crop=w:h:x:y" output.mp4

• 8.设置音频封面

$ ffmpeg -loop 1 -i inputimage.jpg -i inputaudio.wav -c:v libx264 -tune stillimage -c:a aac -b:a 192k -shortest output.mp4

• 9.截取视频片段

$ ffmpeg -i input.mp4 -ss 00:00:50 -codec copy -t 60 output.mp4

• 10.调整分辨率

$ ffmpeg -i input.mp4 -filter:v scale=1280:720 output.mp4

3.Jave2（Java音频视频编码器）

JAVE2是一个小的Java库，它将ffmpeg包装到java类中。 它是基于Carlo Pelliccia的杰作。 由于不再维护该代码，因此我们采用了该代码，并用当前版本替换了ffmpeg可执行文件，并修改了代码以使其与新的二进制文件一起使用。

在Java项目中可以通过maven或者gradle的方式引入依赖，这里使用maven讲解。

支持Windows,Mac,Linux等平台

<dependency>
    <groupId>ws.schild</groupId>
    <artifactId>jave-all-deps</artifactId>
    <version>2.7.3</version>
</dependency>

4.JavaDemo

• 1.获取音频信息

import ws.schild.jave.EncoderException;
import ws.schild.jave.MultimediaInfo;
import ws.schild.jave.MultimediaObject;

import java.io.File;

/**
 * <p>
 *
 * @author leone
 * @since 2020-08-08
 **/
public class Test {

    public static void main(String[] args) {
        MultimediaInfo audioInfo = getAudioInfo(new File("/Users/leone/Downloads/mv.wav"));

        assert audioInfo != null;

        System.out.println("音频时长: " + audioInfo.getDuration());
        System.out.println("音频声道数: " + audioInfo.getAudio().getChannels());
        System.out.println("音频比特率: " + audioInfo.getAudio().getBitRate());
        System.out.println("音频采样比特率: " + audioInfo.getAudio().getSamplingRate());


    }

    /**
     * 获取音频详情
     *
     * @param audioFile
     * @return
     */
    public static MultimediaInfo getAudioInfo(File audioFile) {
        MultimediaObject multimediaObject = new MultimediaObject(audioFile);
        try {
            return multimediaObject.getInfo();
        } catch (EncoderException e) {
            e.printStackTrace();
        }
        return null;
    }
}

输出

15:19:12.619 [main] DEBUG ws.schild.jave.DefaultFFMPEGLocator - Os name is <mac os x> isWindows: false isMac: true
15:19:12.624 [main] DEBUG ws.schild.jave.DefaultFFMPEGLocator - Creating jave temp folder to place executables in </var/folders/31/qwvhtrys2gqdd9bwyb2dzwf80000gn/T/jave>
15:19:12.625 [main] DEBUG ws.schild.jave.DefaultFFMPEGLocator - Executable path: /var/folders/31/qwvhtrys2gqdd9bwyb2dzwf80000gn/T/jave/ffmpeg-x86_64-2.7.3-osx
15:19:12.625 [main] DEBUG ws.schild.jave.DefaultFFMPEGLocator - Need to copy executable to </var/folders/31/qwvhtrys2gqdd9bwyb2dzwf80000gn/T/jave/ffmpeg-x86_64-2.7.3-osx>
15:19:12.625 [main] DEBUG ws.schild.jave.DefaultFFMPEGLocator - Copy from resource <nativebin/ffmpeg-x86_64-osx> to target </var/folders/31/qwvhtrys2gqdd9bwyb2dzwf80000gn/T/jave/ffmpeg-x86_64-2.7.3-osx>
15:19:13.090 [main] DEBUG ws.schild.jave.DefaultFFMPEGLocator - Target </var/folders/31/qwvhtrys2gqdd9bwyb2dzwf80000gn/T/jave/ffmpeg-x86_64-2.7.3-osx> exists
15:19:13.179 [main] DEBUG ws.schild.jave.DefaultFFMPEGLocator - ffmpeg executable found: /var/folders/31/qwvhtrys2gqdd9bwyb2dzwf80000gn/T/jave/ffmpeg-x86_64-2.7.3-osx
15:19:13.182 [main] DEBUG ws.schild.jave.FFMPEGExecutor - About to execute /var/folders/31/qwvhtrys2gqdd9bwyb2dzwf80000gn/T/jave/ffmpeg-x86_64-2.7.3-osx -i /Users/leone/Downloads/mv.wav -hide_banner 
15:19:14.267 [main] DEBUG ws.schild.jave.MultimediaObject - Output line: Guessed Channel Layout for Input Stream #0.0 : stereo
15:19:14.268 [main] DEBUG ws.schild.jave.MultimediaObject - Output line: Input #0, wav, from '/Users/leone/Downloads/mv.wav':
15:19:14.268 [main] DEBUG ws.schild.jave.MultimediaObject - Output line:   Metadata:
15:19:14.268 [main] DEBUG ws.schild.jave.MultimediaObject - Output line:     encoder         : Lavf58.29.100
15:19:14.268 [main] DEBUG ws.schild.jave.MultimediaObject - Output line:   Duration: 00:03:35.64, bitrate: 1411 kb/s
15:19:14.268 [main] DEBUG ws.schild.jave.MultimediaObject - Output line:     Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 44100 Hz, stereo, s16, 1411 kb/s
15:19:14.270 [main] DEBUG ws.schild.jave.MultimediaObject - Output line: At least one output file must be specified
15:19:14.270 [main] DEBUG ws.schild.jave.MultimediaObject - Output line: null
音频时长: 215640
音频声道数: 2
音频比特率: 1411000
音频采样比特率: 44100

• 2.音频格式转码

/**
 * 音频文件转码
 *
 * @param source
 * @return
 */
public File audioToWav(File source) {
    try {
        File target = File.createTempFile(UUID.randomUUID().toString(), ".tmp");

        // Audio Attributes
        AudioAttributes audio = new AudioAttributes();

        // Encoding attributes
        EncodingAttributes attrs = new EncodingAttributes();
        attrs.setFormat("wav");
        attrs.setAudioAttributes(audio);

        // Encode
        Encoder encoder = new Encoder();
        MultimediaObject object = new MultimediaObject(source);
        encoder.encode(object, target, attrs);
        return target;
    } catch (Exception ex) {
        ex.printStackTrace();
    }
    return null;
}

5.使用Jave2API分离左右声道

/**
 * @param originPath
 * @param leftFilePath
 * @param rightFilePath
 * @return
 */
public static File[] doubleChannelSplit(String originPath, String leftFilePath, String rightFilePath) {
    File leftFile = new File(leftFilePath);
    File rightFile = new File(rightFilePath);
    if (leftFile.exists()) {
        leftFile.delete();
    }

    if (rightFile.exists()) {
        rightFile.delete();
    }
    FFMPEGExecutor ffmpeg = locator.createExecutor();
    ffmpeg.addArgument("-i");
    ffmpeg.addArgument(originPath);
    ffmpeg.addArgument("-map_channel");
    ffmpeg.addArgument("0.0.0");
    ffmpeg.addArgument(leftFilePath);
    ffmpeg.addArgument("-map_channel");
    ffmpeg.addArgument("0.0.1");
    ffmpeg.addArgument(rightFilePath);
    BufferedReader br = null;
    try {
        ffmpeg.execute();
        br = new BufferedReader(new InputStreamReader(ffmpeg.getErrorStream()));
        String line;
        while ((line = br.readLine()) != null) {
            logger.info(line);
        }
        return new File[]{leftFile, rightFile};
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        try {
            if (br != null) {
                br.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    return null;
}

6.最后

本来最开始是想用Java调用系统命令来完成音频声道分离的，但是考虑到兼容性，最后看了jave2的源码发现javaAPI中的操作也是基于调用jar包中的命令完成的，所以就采用这种方式实现。