【VS开发】【智能语音处理】VS中声音的采集实现

vc中声音的采集是用api函数来实现的。

 

一、数字音频基础知识 

Fourier级数： 
任何周期的波形可以分解成多个正弦波，这些正弦波的频率都是整数倍。级数中其他正线波的频率是基础频率的整数倍。基础频率称为一级谐波。 

PCM: 
pulse code modulation,脉冲编码调制，即对波形按照固定周期频率采样。为了保证采样后数据质量，采样频率必须是样本声音最高频率的两倍，这就是Nyquist频率。 
样本大小：采样后用于存储振幅级的位数，实际就是脉冲编码的阶梯数，位数越大表明精度越高，这一点学过数字逻辑电路的应该清楚。 

声音强度： 
波形振幅的平方。两个声音强度上的差常以分贝(db)为单位来度量， 

计算公式如下： 
20*log(A1/A2)分贝。A1,A2为两个声音的振幅。如果采样大小为8位，则采样的动态范围为20*log(256)分贝=48db。如果样本大小为16位，则采样动态范围为20*log(65536)大约是96分贝，接近了人听觉极限和痛苦极限，是再线音乐的理想范围。windows同时支持8位和16位的采样大小。 

二、相关API函数，结构，消息 
对于录音设备来说，windows 提供了一组wave***的函数，比较重要的有以下几个： 

打开录音设备函数 
MMRESULT waveInOpen( 
LPHWAVEIN phwi, //输入设备句柄 
UINT uDeviceID, //输入设备ID 
LPWAVEFORMATEX pwfx, //录音格式指针 
DWORD dwCallback, //处理MM_WIM_***消息的回调函数或窗口句柄，线程ID 
DWORD dwCallbackInstance, 
DWORD fdwOpen //处理消息方式的符号位 
); 
为录音设备准备缓存函数 
MMRESULT waveInPrepareHeader( HWAVEIN hwi, LPWAVEHDR pwh, UINT bwh ); 
给输入设备增加一个缓存 
MMRESULT waveInAddBuffer( HWAVEIN hwi, LPWAVEHDR pwh, UINT cbwh ); 
开始录音 
MMRESULT waveInStart( HWAVEIN hwi ); 
清除缓存 
MMRESULT waveInUnprepareHeader( HWAVEIN hwi,LPWAVEHDR pwh, UINT cbwh); 
停止录音 
MMRESULT waveInReset( HWAVEIN hwi ); 
关闭录音设备 
MMRESULT waveInClose( HWAVEIN hwi ); 
Wave_audio数据格式 
typedef struct { 
WORD wFormatTag; //数据格式，一般为WAVE_FORMAT_PCM即脉冲编码 
WORD nChannels; //声道 
DWORD nSamplesPerSec; //采样频率 
DWORD nAvgBytesPerSec; //每秒数据量 
WORD nBlockAlign; 
WORD wBitsPerSample;//样本大小 
WORD cbSize; 
} WAVEFORMATEX; 
waveform-audio 缓存格式　 
typedef struct { 
LPSTR lpData; //内存指针 
DWORD dwBufferLength;//长度 
DWORD dwBytesRecorded; //已录音的字节长度 
DWORD dwUser; 
DWORD dwFlags; 
DWORD dwLoops; //循环次数 
struct wavehdr_tag * lpNext; 
DWORD reserved; 
} WAVEHDR; 
相关消息　 
MM_WIM_OPEN:打开设备时消息，在此期间我们可以进行一些初始化工作 
MM_WIM_DATA：当缓存已满或者停止录音时的消息，处理这个消息可以对缓存进行重新分配，实现不限长度录音 
MM_WIM_CLOSE：关闭录音设备时的消息。 
相对于录音来说，回放就简单的多了，用到的函数主要有以下几个： 
打开回放设备　 
MMRESULT waveOutOpen( 
LPHWAVEOUT phwo, 
UINT uDeviceID, 
LPWAVEFORMATEX pwfx, 
DWORD dwCallback, 
DWORD dwCallbackInstance, 
DWORD fdwOpen 
); 
为回放设备准备内存块　 
MMRESULT waveOutPrepareHeader( 
HWAVEOUT hwo, 
LPWAVEHDR pwh, 
UINT cbwh 
); 
写数据（放音）　 
MMRESULT waveOutWrite( 
HWAVEOUT hwo, 
LPWAVEHDR pwh, 
UINT cbwh 
); 
相应的也有三个消息，用法跟录音的类似： 

三、程序设计 

一个录音程序的简单流程： 打开录音设备waveInOpen===>准备wave数据头waveInPrepareHeader===> 
准备数据块waveInAddBuffer===>开始录音waveInStart===>停止录音(waveInReset) ===> 
关闭录音设备(waveInClose) 
当开始录音后当buffer已满时，将收到MM_WIM_DATA消息，处理该消息可以保存已录好数据。 

回放程序比这个要简单的多：　打开回放设备waveOutOpen===>准备wave数据头waveOutPrepareHeader===>写wave数据waveOutWrite===> 
停止放音(waveOutRest) ===>关闭回放设备(waveOutClose) 
如何处理MM消息： MSDN告诉我们主要有 CALLBACK_FUNCTION、CALL_BACKTHREAD、CALLBACK_WINDOW 三种方式，常用的是 
Thread,window方式。 
线程模式 
waveInOpen(&hWaveIn,WAVE_MAPPER,&waveform,m_ThreadID,NULL,CALLBACK_THREAD)，我们可以继承MFC的CwinThread类，只要相应的处理线程消息即可。 
MFC线程消息的宏为： 

ON_THREAD_MESSAGE, 
可以这样添加消息映射： ON_THREAD_MESSAGE(MM_WIM_CLOSE, OnMM_WIM_CLOSE) 
窗口模式 
类似于线程模式，参见源程序即可。

四、实现代码

#define INP_BUFFER_SIZE (8 * 1024) //定义缓冲区大小
bool m_record,m_play;    //m_record表示是否正在录音，m_play表示是否正在回放

WAVEFORMATEX waveform;    //WAV文件头包含音频格式
DWORD dwDataLength,dwRepetitions; //dwDataLength已有的数据长度，dwRepetitions重复次数
HWAVEIN hWaveIn;     //输入设备句柄
HWAVEOUT hWaveOut;     //输出设备句柄
PBYTE pBuffer1,pBuffer2;   //保存输入数据的两个缓冲区。
         //如果只要一个缓冲区，当缓冲区满，保存数据时，会无法保存这段时间采集的语音，导致最后获得的声音断断续续。
         //使用两个缓冲区，当一个缓冲区满的时候，保存这个已满的缓冲区数据，而由另一个缓冲区继续采集语音。
PBYTE pSaveBuffer,pNewBuffer;  //保存数据的内存地址。
PWAVEHDR pWaveHdr1,pWaveHdr2;  //声音文件头

afx_msg LRESULT OnMM_WIM_OPEN(UINT wParam,LONG lParam);
afx_msg LRESULT OnMM_WIM_DATA(UINT wParam,LONG lParam);
afx_msg LRESULT OnMM_WIM_CLOSE(UINT wParam,LONG lParam);
afx_msg LRESULT OnMM_WOM_OPEN(UINT wParam,LONG lParam);
afx_msg LRESULT OnMM_WOM_DONE(UINT wParam,LONG lParam);
afx_msg LRESULT OnMM_WOM_CLOSE(UINT wParam,LONG lParam);  //声明几个回调函数

pWaveHdr1=reinterpret_cast<PWAVEHDR>(malloc(sizeof(WAVEHDR)));
pWaveHdr2=reinterpret_cast<PWAVEHDR>(malloc(sizeof(WAVEHDR))); //给声音文件头分配内存空间
pSaveBuffer = reinterpret_cast<PBYTE>(malloc(1));    //给数据内存地址分配空间

 

//消息绑定

BEGIN_MESSAGE_MAP(/*窗口类*/, /*窗口类的父类*/)
 ON_MESSAGE(MM_WIM_OPEN,OnMM_WIM_OPEN)
 ON_MESSAGE(MM_WIM_DATA,OnMM_WIM_DATA)
 ON_MESSAGE(MM_WIM_CLOSE,OnMM_WIM_CLOSE)
 ON_MESSAGE(MM_WOM_OPEN,OnMM_WOM_OPEN)
 ON_MESSAGE(MM_WOM_DONE,OnMM_WOM_DONE)
 ON_MESSAGE(MM_WOM_CLOSE,OnMM_WOM_CLOSE)

END_MESSAGE_MAP()

 

void RecordStart()     //录音准备
{
  m_record=true;
  pBuffer1=(PBYTE)malloc(INP_BUFFER_SIZE);
  pBuffer2=(PBYTE)malloc(INP_BUFFER_SIZE);    //给缓冲区分配空间
  if (!pBuffer1||!pBuffer2)
  {
   if (pBuffer1) free(pBuffer1);
   if (pBuffer2) free(pBuffer2);
   MessageBeep(MB_ICONEXCLAMATION);
   AfxMessageBox(L"Memory error!");
   return ;
  }
  
  //设置录音方式
  waveform.wFormatTag  = WAVE_FORMAT_PCM;   //PCM编码
  waveform.nChannels  = 1;       //单声道
  waveform.nSamplesPerSec = 16000;      //采样频率，每秒采集次数
  waveform.nAvgBytesPerSec= waveform.nSamplesPerSec * sizeof(unsigned short); 
  waveform.nBlockAlign = waveform.nChannels * waveform.wBitsPerSample / 8;
  waveform.wBitsPerSample = 16;       //采样位，模拟信号转数字信号的精准度
  waveform.cbSize   = 0;       //PCM编码时，此处为0
  
  if (waveInOpen(&hWaveIn,WAVE_MAPPER,&waveform,(DWORD)this->m_hWnd,NULL,CALLBACK_WINDOW)) { //打开输入设备
   free(pBuffer1);
   free(pBuffer2);
   MessageBeep(MB_ICONEXCLAMATION);
   AfxMessageBox(L"Audio can not be open!");
  }
  //初始化声音文件头
  pWaveHdr1->lpData=(LPSTR)pBuffer1;   //设置缓冲区
  pWaveHdr1->dwBufferLength=INP_BUFFER_SIZE; //缓冲区大小
  pWaveHdr1->dwBytesRecorded=0;
  pWaveHdr1->dwUser=0;
  pWaveHdr1->dwFlags=0;
  pWaveHdr1->dwLoops=1;
  pWaveHdr1->lpNext=NULL;
  pWaveHdr1->reserved=0;
  waveInPrepareHeader(hWaveIn,pWaveHdr1,sizeof(WAVEHDR));  //将缓冲区信息和输入设备关联
  waveInAddBuffer (hWaveIn, pWaveHdr1, sizeof (WAVEHDR)) ; //将缓冲区地址添加到输入设备中
   
  pWaveHdr2->lpData=(LPSTR)pBuffer2;
  pWaveHdr2->dwBufferLength=INP_BUFFER_SIZE;
  pWaveHdr2->dwBytesRecorded=0;
  pWaveHdr2->dwUser=0;
  pWaveHdr2->dwFlags=0;
  pWaveHdr2->dwLoops=1;
  pWaveHdr2->lpNext=NULL;
  pWaveHdr2->reserved=0;
  waveInPrepareHeader(hWaveIn,pWaveHdr2,sizeof(WAVEHDR));
  waveInAddBuffer (hWaveIn, pWaveHdr2, sizeof (WAVEHDR)) ; //同上
  
  pSaveBuffer = (PBYTE)realloc (pSaveBuffer, 1) ;
  dwDataLength = 0 ;
  waveInStart (hWaveIn) ; //打开输入设备，开始录音
}
void RecordStop()
{
  m_record=false;
  waveInReset(hWaveIn); //停止录音，关闭输入设备
}
void PlayStart()
{
if (waveOutOpen(&hWaveOut,WAVE_MAPPER,&waveform,(DWORD)this->m_hWnd,NULL,CALLBACK_WINDOW)) //打开输出设备，开始回放
 {
  MessageBeep(MB_ICONEXCLAMATION);
  AfxMessageBox(L"Audio output error");
 }
 m_play=true;
}
void PlayStop()
{
  waveOutReset(hWaveOut);  //停止回放，关闭输出设备
  m_play = false;
}
LRESULT OnMM_WIM_OPEN(UINT wParam, LONG lParam) //开始录音
{
 // TODO: Add your message handler code here and/or call default
 m_record=TRUE;
 TRACE(L"MM_WIM_OPEN ");
 return 0;
}

LRESULT ChelloWMDlg::OnMM_WIM_DATA(UINT wParam, LONG lParam) //缓冲区满的时候，对应的声音文件头如pWaveHdr1作为lParam传递进来
{
 // TODO: Add your message handler code here and/or call default
 // Reallocate save buffer memory
 
 pNewBuffer = (PBYTE)realloc (pSaveBuffer, dwDataLength +
  ((PWAVEHDR) lParam)->dwBytesRecorded) ; 
 
 if (pNewBuffer == NULL)
 {
  waveInClose (hWaveIn) ;
  MessageBeep (MB_ICONEXCLAMATION) ;
  AfxMessageBox(L"error memory");
  return 0;
 }
 
 pSaveBuffer = pNewBuffer ;  //在pSaveBuffer尾部继续申请空间（上面的realloc 函数）
 //////////////////////////////////////////////////////////////////////////
 
 CopyMemory(pSaveBuffer + dwDataLength, ((PWAVEHDR) lParam)->lpData,
  ((PWAVEHDR) lParam)->dwBytesRecorded) ; //将缓冲区数据((PWAVEHDR) lParam)->lpData复制到pSaveBuffer的尾部刚申请的空间中
 
 dwDataLength += ((PWAVEHDR) lParam)->dwBytesRecorded ;//加长pSaveBuffer的实际数据长度
 
 if (m_record==false)
 {
  waveInClose (hWaveIn) ;//停止录音，关闭输入设备
  return 0;
 }
  
 //将音频写入到文件中
 FILE* fp=fopen("ecord.pcm","ab+");
 if(fp==NULL)
 {
  printf("fopen error,%d",__LINE__);
 }
 fwrite(((PWAVEHDR) lParam)->lpData,((PWAVEHDR) lParam)->dwBytesRecorded,1,fp);
 fclose(fp);
 
 // Send out a new buffer
 waveInAddBuffer (hWaveIn, (PWAVEHDR) lParam, sizeof (WAVEHDR)) ;//将缓冲区添加回到设备中
 //假如现在是pWaveHdr1满了，lParam就是pWaveHdr1，在我们保存pWaveHdr1的数据时，pWaveHdr2正在录音，保存完pWaveHdr1，再把pWaveHdr1添加回到设备中，这样达到两个缓冲区交替使用。
 TRACE(L"done input data ");
 return 0;

 
}

LRESULT ChelloWMDlg::OnMM_WIM_CLOSE(UINT wParam, LONG lParam) //停止录音时
{
 // TODO: Add your message handler code here and/or call default
 TRACE(L"MM_WIM_CLOSE ");

 if (0==dwDataLength) {   //没有数据，长度为0
  return 0;
 }
 waveInUnprepareHeader (hWaveIn, pWaveHdr1, sizeof (WAVEHDR)) ;//取消输入设备和pWaveHdr1的关联
 waveInUnprepareHeader (hWaveIn, pWaveHdr2, sizeof (WAVEHDR)) ;
 
 m_record = FALSE ;
 
 free (pBuffer1) ;
 free (pBuffer2) ;
 
 if (dwDataLength > 0)
 {
  //enable play
 }
 return 0;
}

LRESULT ChelloWMDlg::OnMM_WOM_OPEN(UINT wParam, LONG lParam)//开始回放
{
 TRACE(L"open MM_WOM_OPEN ");
 // Set up header
 
 pWaveHdr1->lpData          = (LPSTR)pSaveBuffer ;
 pWaveHdr1->dwBufferLength  = dwDataLength ;
 pWaveHdr1->dwBytesRecorded = 0 ;
 pWaveHdr1->dwUser          = 0 ;
 pWaveHdr1->dwFlags         = WHDR_BEGINLOOP | WHDR_ENDLOOP ;
 pWaveHdr1->dwLoops         = dwRepetitions ;
 pWaveHdr1->lpNext          = NULL ;
 pWaveHdr1->reserved        = 0 ;
 
 // Prepare and write
 
 waveOutPrepareHeader (hWaveOut, pWaveHdr1, sizeof (WAVEHDR)) ;
 waveOutWrite (hWaveOut, pWaveHdr1, sizeof (WAVEHDR)) ;

 m_play = TRUE ;
  
 return 0;
}

LRESULT ChelloWMDlg::OnMM_WOM_DONE(UINT wParam, LONG lParam){ //回放完毕

 TRACE(L"open MM_WOM_DONE ");
 waveOutUnprepareHeader (hWaveOut, pWaveHdr1, sizeof (WAVEHDR)) ;
 waveOutClose (hWaveOut) ;
 
 dwRepetitions = 1 ;
 m_play = FALSE ; 
 
 return  0;
 
}
LRESULT ChelloWMDlg::OnMM_WOM_CLOSE(UINT wParam, LONG lParam){ //关闭回放
 TRACE(L"open MM_WOM_CLOSE ");
 dwRepetitions = 1 ;
 m_play = FALSE ; 

 return 0;
}