今天看了不少，却感觉收获寥寥。
1、H264相关知识
因为RTP协议发过来的数据已经经过了H264编码，所以这边需要解码。补充一下H264的相关知识。
与以往的视频压缩标准相比，H.264 视频压缩标准（简称H.264）具有更出色的性能，因此H.264 被称为新一代视频压缩标准。H.264 与H.263 或MPEG-4 相比， 主要新增特性如下：
1、采用更为精细和丰富的帧内编码及帧间预测方式，有效地减少残差数据。
2、引入新的算术编码方式，使得数据压缩比更高。
3、 视频数据分层更为合理，引入 NAL 更利于网络传输。
4、取消传统的帧结构，引入 slice 结构和参数集，提高码流的抗误码能力。
5、引入灵活的参考帧管理机制，参考帧数目最多可以达到 16 个。
上述特性使得H.264 在视频信噪比、图像质量以及应用的灵活性上有了质的飞跃，但带来的问题是H.264 在实现上复杂度较高。
2、一些可能的解决方案（并未实践）
Intel media SDK，windows media sdk,http://www.ffmpeg-csharp.com/(这个网站上说是最简单的方式使用ffmpeg，我也没有学会怎么使用，等以后再回来学习吧)，C#调用ffmpeg开发库。以上这些方式只是搜索到的可能的解决方法，因为太懒了，着急做出东西，所以没有去学习，后来在海康的播放库API中看到H264的相关知识（http://www.cnblogs.com/over140/archive/2009/03/22/1418946.html），以前做海康摄像头调用的时候就经常看他的博客。最后在晚上的时候找到一种解决方式。使用海思提供的H264解码库，有专门的解码库，但也是用C++写的。不过这没有问题，想起以前海康摄像头的时候也是C++的代码，通过C#来调用。方法是通过PInvoke.net转一下就可以了。
转换之后的代码，将hi_h264dec_w.dll转换为C#中的类（也是参考网上的代码）
class Hi264Dec
{
public const int HI_SUCCESS = 0;
public const int HI_FAILURE = -1;
public const int HI_LITTLE_ENDIAN = 1234;
public const int HI_BIG_ENDIAN = 4321;
public const int HI_DECODER_SLEEP_TIME = 60000;
public const int HI_H264DEC_OK = 0;
public const int HI_H264DEC_NEED_MORE_BITS = -1;
public const int HI_H264DEC_NO_PICTURE = -2;
public const int HI_H264DEC_ERR_HANDLE = -3;
[DllImport("hi_h264dec_w.dll",EntryPoint = "Hi264DecImageEnhance", CallingConvention = CallingConvention.Cdecl)]
public static extern int Hi264DecImageEnhance(IntPtr hDec, ref hiH264_DEC_FRAME_S pDecFrame, uint uEnhanceCoeff);
[DllImport("hi_h264dec_w.dll",EntryPoint = "Hi264DecCreate", CallingConvention = CallingConvention.Cdecl)]
public static extern IntPtr Hi264DecCreate(ref hiH264_DEC_ATTR_S pDecAttr);
[DllImport("hi_h264dec_w.dll", EntryPoint = "Hi264DecDestroy", CallingConvention = CallingConvention.Cdecl)]
public static extern void Hi264DecDestroy(IntPtr hDec);
[DllImport("hi_h264dec_w.dll", EntryPoint = "Hi264DecGetInfo", CallingConvention = CallingConvention.Cdecl)]
public static extern int Hi264DecGetInfo(ref hiH264_LIBINFO_S pLibInfo);
[DllImport("hi_h264dec_w.dll", EntryPoint = "Hi264DecFrame", CallingConvention = CallingConvention.Cdecl)]
public static extern int Hi264DecFrame(IntPtr hDec, IntPtr pStream, uint iStreamLen, ulong ullPTS, ref hiH264_DEC_FRAME_S pDecFrame, uint uFlags);
[DllImport("hi_h264dec_w.dll", EntryPoint = "Hi264DecAU", CallingConvention = CallingConvention.Cdecl)]
public static extern int Hi264DecAU(IntPtr hDec, IntPtr pStream, uint iStreamLen, ulong ullPTS, ref hiH264_DEC_FRAME_S pDecFrame, uint uFlags);
[StructLayout(LayoutKind.Sequential)]
public struct hiH264_DEC_ATTR_S
{
public uint uPictureFormat;
public uint uStreamInType;
public uint uPicWidthInMB;
public uint uPicHeightInMB;
public uint uBufNum;
public uint uWorkMode;
public IntPtr pUserData;
public uint uReserved;
}
[StructLayout(LayoutKind.Sequential)]
public struct hiH264_DEC_FRAME_S
{
public IntPtr pY;
public IntPtr pU;
public IntPtr pV;
public uint uWidth;
public uint uHeight;
public uint uYStride;
public uint uUVStride;
public uint uCroppingLeftOffset;
public uint uCroppingRightOffset;
public uint uCroppingTopOffset;
public uint uCroppingBottomOffset;
public uint uDpbIdx;
public uint uPicFlag;
public uint bError;
public uint bIntra;
public ulong ullPTS;
public uint uPictureID;
public uint uReserved;
public IntPtr pUserData;
}
[StructLayout(LayoutKind.Sequential)]
public struct hiH264_LIBINFO_S
{
public uint uMajor;
public uint uMinor;
public uint uRelease;
public uint uBuild;
[MarshalAs(UnmanagedType.LPStr)] public string sVersion;
[MarshalAs(UnmanagedType.LPStr)] public string sCopyRight;
public uint uFunctionSet;
public uint uPictureFormat;
public uint uStreamInType;
public uint uPicWidth;
public uint uPicHeight;
public uint uBufNum;
public uint uReserved;
}
[StructLayout(LayoutKind.Sequential)]
public struct hiH264_USERDATA_S
{
public uint uUserDataType;
public uint uUserDataSize;
public IntPtr pData;
public IntPtr pNext;
}
}
可以在窗体加载的时候加载如下代码
//初始化,可以在 FormLoad 事务里完成
var decAttr = new Hi264Dec.hiH264_DEC_ATTR_S();
decAttr.uPictureFormat = 0;
decAttr.uStreamInType = 0;
decAttr.uPicWidthInMB = 480 >> 4;
decAttr.uPicHeightInMB = 640 >> 4;
decAttr.uBufNum = 8;
decAttr.uWorkMode = 16;
IntPtr _decHandle = Hi264Dec.Hi264DecCreate(ref decAttr);
Hi264Dec.hiH264_DEC_FRAME_S _decodeFrame = new Hi264Dec.hiH264_DEC_FRAME_S();
//解码
//pData 为须要解码的 H264 nalu 数据,length 为该数据的长度
if (Hi264Dec.Hi264DecAU(_decHandle, pData, (uint) length, 0, ref _decodeFrame, 0) == 0)
{
if (_decodeFrame.bError == 0)
{
//策画 y u v 的长度
var yLength = _decodeFrame.uHeight * _decodeFrame.uYStride;
var uLength = _decodeFrame.uHeight * _decodeFrame.uUVStride / 2;
var vLength = uLength;
var yBytes = new byte[yLength];
var uBytes = new byte[uLength];
var vBytes = new byte[vLength];
var decodedBytes = new byte[yLength + uLength + vLength];
//_decodeFrame 是解码后的数据对象,里面包含 YUV 数据、宽度、高度等信息
Marshal.Copy(_decodeFrame.pY, yBytes, 0, (int)yLength);
Marshal.Copy(_decodeFrame.pU, uBytes, 0, (int)uLength);
Marshal.Copy(_decodeFrame.pV, vBytes, 0, (int)vLength);
//将从 _decodeFrame 中取出的 YUV 数据放入 decodedBytes 中
Array.Copy(yBytes, decodedBytes, yLength);
Array.Copy(uBytes, 0, decodedBytes, yLength, uLength);
Array.Copy(vBytes, 0, decodedBytes, yLength + uLength, vLength);
//decodedBytes 为yuv数据,可以将其转换为 RGB 数据后再转换为 BitMap 然后经由过程 PictureBox 控件即可显示
//这类代码网上斗劲常见,我就不贴了
}
在关闭的时候销毁解码器句柄
Hi264Dec.Hi264DecDestroy(_decHandle);
在上面也说了，传进来的数据转为YUV数据后，还需要转为RGB，再转为图片在控件中进行显示。粗略从网上看了一下，这类算法还是比较多的，所以明天的目标是将视频显示出来。争取让已有的轮子跑起来。
3、C++学习
今天上午还看了一小部分C++，看的比较慢，学习了基本的输入输出语句，只看到第28页。
4、总结
今天收毕业论文题目了，我还没怎么开始写呢。等把RTP和H264视频解码这一块解决就开始准备毕业论文了。晚上的时候给周兆熊老师发的邮件已经收到回复。对于我自己目前的问题也总结一下：（1）语言的确没什么再纠结的意思了，对我现在来说没有孰优孰劣，我需要的做的是尽量用熟悉的语言去解决现在存在的问题。（2）未来想找工作的话不单单需要专业方面的知识，也需要软实力，想起前几天犯得小错误，对自己的成长还是有帮助。需要继续看书，读过的书也需要做笔记。（3）关于怎么让自己坚持去学习，前几天的烦躁心里真的因为好好做事情减轻了呢。这几天一直尝试着用番茄工作法让自己安定下来，坚持使用第四天，每天大约5个番茄钟（效率好低啊）。看了高效工作后，里面的对拖延症的分析三个原因真的让我印象深刻：（1）其他人强迫你做的事情违背你的意愿（好像的确如此哈哈）；（2）你给自己压力要有完美的表现；（3）害怕犯错误受批评。三个原因真的是非常准确。不愉快也因为忙碌起来而渐渐消失了。
5、现在所学的很多东西真的是流于表面，即使我把这个视频解码做出来已经能播放了，但我还是觉得自己的提升好少。但我还是要继续这样做，时间紧迫。不知道我写的东西对您有没有帮助，希望各位懂这方面的我们多多交流。对于我的建议给在评论中提出，谢谢您对我的提议。每天记录一点点，就能进步一点点。