android硬编码h264数据，并使用rtp推送数据流，实现一个简单的直播-MediaCodec（一）
写在前面：我并非专业做流媒体的coder，对流媒体行业无比崇拜，只是做了几年安卓车载ROM，对安卓AV开发算是略懂。本篇博客是我对MediaCodec编解码和rtp推流的一次尝试，希望能给有需要的朋友一些细微的帮助，不喜勿喷，如果有不对的地方希望大神指正共同进步，拜谢。 公司近期有意向做直播方面业务，叫我先测试下安卓MediaCodec硬解码并推送实时数据流。由于之前做过USB摄像头用到过Med
·
写在前面：我并非专业做流媒体的coder，对流媒体行业无比崇拜。有几年安卓车载多媒体模块开发经验，对安卓AV开发算是略懂。博客是我对MediaCodec编解码和rtp推流的一次尝试，希望能给有需要的朋友一些帮助，如果有偏差希望不吝赐教。
公司近期有意向做直播方面业务，领导通知我先测试下安卓MediaCodec硬解码并推送实时流数据。之前做过行车记录仪DVR用到过MediaCodec硬解码，对MediaCodec的使用有点基础。
项目分析：直播行业大家或多或少了解一些，跟我们用微信双方接视频类似，微信双方接视频是一对一，直播是一对多。很多自媒体的从业者基本就是一部手机就可以完成直播，直播旅游、直播啃猪蹄、直播打游戏等等。
Android系统中录制视频官方使用的是MediaRecoder+camera，这也是录制视频的正确方法，因为系统已经帮你控制了很多复杂的内部流程，复杂的转码操作，你都不用管，你只需要用MediaRecoder提取。
但是Android很快又推出MediaCodec编解码，MediaCodec配置的复杂程度简直反人类，MediaCodec可以单独控制音频和视频，这是MediaRecoder做不到的。
不管MediaCodec怎么反人类，公司有需求还是需要完成的，下面直接上代码结构图，eclipse工程代码，需要的朋友可以复制代码粘贴到Android studio工程：
上图是代码结构，红框里面是RTP协议部分，网上找的轮子，建议大家感兴趣可以看下代码结构，使用的时候只需new一个对象，下面代码会有详细new的地方。蓝色框部分是MediaCodec初始化、编码和发送部分，这部分是重点，我只会讲解蓝色框中两部分代码。
编码AvcEncoder类代码：
public class AvcEncoder {
private MediaCodec mediaCodec;
int m_width;
int m_height;
byte[] m_info = null;
private int mColorFormat;
private MediaCodecInfo codecInfo;
private static final String MIME_TYPE = "video/avc"; // H.264 Advanced Video
private byte[] yuv420 = null;
@SuppressLint("NewApi")
public AvcEncoder(int width, int height, int framerate, int bitrate) {
m_width = width;
m_height = height;
Log.v("xmc", "AvcEncoder:"+m_width+"+"+m_height);
yuv420 = new byte[width*height*3/2];
mediaCodec = MediaCodec.createEncoderByType("video/avc");
MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", width, height);
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, bitrate);
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, framerate);
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);//关键帧间隔时间 单位s
mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
mediaCodec.start();
}
@SuppressLint("NewApi")
public void close() {
try {
mediaCodec.stop();
mediaCodec.release();
} catch (Exception e){
e.printStackTrace();
}
}
@SuppressLint("NewApi")
public int offerEncoder(byte[] input, byte[] output) {
Log.v("xmc", "offerEncoder:"+input.length+"+"+output.length);
int pos = 0;
swapYV12toI420(input, yuv420, m_width, m_height);
try {
ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers();
ByteBuffer[] outputBuffers = mediaCodec.getOutputBuffers();
int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(input);
mediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, 0, 0);
}
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,0);
while (outputBufferIndex >= 0) {
ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];
byte[] outData = new byte[bufferInfo.size];
outputBuffer.get(outData);
if(m_info != null){
System.arraycopy(outData, 0, output, pos, outData.length);
pos += outData.length
}else{//保存pps sps 只有开始时 第一个帧里有， 保存起来后面用
ByteBuffer spsPpsBuffer = ByteBuffer.wrap(outData);
Log.v("xmc", "swapYV12toI420:outData:"+outData);
Log.v("xmc", "swapYV12toI420:spsPpsBuffer:"+spsPpsBuffer);
for(int i=0;i<outData.length;i++){
//输出SPS和PPS循环
Log.e("xmc333", "run: get data rtpData[i]="+i+":"+outData[i]);
}
if (spsPpsBuffer.getInt() == 0x00000001) {
m_info = new byte[outData.length];
System.arraycopy(outData, 0, m_info, 0, outData.length);
}else {
return -1;
}
}
//key frame 编码器生成关键帧时只有 00 00 00 01 65 没有pps sps， 要加上
if(output[4] == 0x65) {
System.arraycopy(m_info, 0, output, 0, m_info.length);
System.arraycopy(outData, 0, output, m_info.length, outData.length);
}
mediaCodec.releaseOutputBuffer(outputBufferIndex, false);
outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);
}
} catch (Throwable t) {
t.printStackTrace();
}
Log.v("xmc", "offerEncoder+pos:"+pos);
return pos;
}
//网友提供的，如果swapYV12toI420方法颜色不对可以试下这个方法，不同机型有不同的转码方式
private void NV21toI420SemiPlanar(byte[] nv21bytes, byte[] i420bytes, int width, int height) {
Log.v("xmc", "NV21toI420SemiPlanar:::"+width+"+"+height);
final int iSize = width * height;
System.arraycopy(nv21bytes, 0, i420bytes, 0, iSize);
for (int iIndex = 0; iIndex < iSize / 2; iIndex += 2) {
i420bytes[iSize + iIndex / 2 + iSize / 4] = nv21bytes[iSize + iIndex]; // U
i420bytes[iSize + iIndex / 2] = nv21bytes[iSize + iIndex + 1]; // V
}
}
//yv12 转 yuv420p yvu -> yuv
private void swapYV12toI420(byte[] yv12bytes, byte[] i420bytes, int width, int height) {
Log.v("xmc", "swapYV12toI420:::"+width+"+"+height);
Log.v("xmc", "swapYV12toI420:::"+yv12bytes.length+"+"+i420bytes.length+"+"+width * height);
System.arraycopy(yv12bytes, 0, i420bytes, 0, width*height);
System.arraycopy(yv12bytes, width*height+width*height/4, i420bytes, width*height,width*height/4);
System.arraycopy(yv12bytes, width*height, i420bytes, width*height+width*height/4,width*height/4);
}
//public static void arraycopy(Object src,int srcPos,Object dest,int destPos,int length)
//src:源数组； srcPos:源数组要复制的起始位置；
//dest:目的数组； destPos:目的数组放置的起始位置； length:复制的长度。
}
初始化camera和rtp发送代码：
public class MainActivity extends Activity implements SurfaceHolder.Callback, PreviewCallback {
DatagramSocket socket;
InetAddress address;
AvcEncoder avcCodec;
public Camera m_camera;
SurfaceView m_prevewview;
SurfaceHolder m_surfaceHolder;
//屏幕分辨率，每个机型不一样，机器连上adb后输入wm size可获取
int width = 800;
int height = 480;
int framerate = 30;//每秒帧率
int bitrate = 2500000;//编码比特率，
private RtpSenderWrapper mRtpSenderWrapper;
byte[] h264 = new byte[width*height*3];
@SuppressLint("NewApi")
@Override
protected void onCreate(Bundle savedInstanceState) {
Log.v("xmc", "MainActivity__onCreate");
StrictMode.setThreadPolicy(new StrictMode.ThreadPolicy.Builder()
.detectDiskReads()
.detectDiskWrites()
.detectAll() // or .detectAll() for all detectable problems
.penaltyLog()
.build());
StrictMode.setVmPolicy(new StrictMode.VmPolicy.Builder()
.detectLeakedSqlLiteObjects()
.detectLeakedClosableObjects()
.penaltyLog()
.penaltyDeath()
.build());
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
//创建rtp对象并填写需要发送数据流的地址，直播中需要动态获取客户主动请求的地址
//第一个参数是客户端手机连接WiFi后的IP，这个参数不是固定的需要动态获取
//第二个参数是端口，找一个不常用的端口，8080这样常用的端口不要用
//第三个参数默认是FALSE
mRtpSenderWrapper = new RtpSenderWrapper("192.168.253.15", 5004, false);
avcCodec = new AvcEncoder(width,height,framerate,bitrate);
m_prevewview = (SurfaceView) findViewById(R.id.SurfaceViewPlay);
m_surfaceHolder = m_prevewview.getHolder(); // 绑定SurfaceView，取得SurfaceHolder对象
m_surfaceHolder.setFixedSize(width, height); // 预览大小設置
m_surfaceHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
m_surfaceHolder.addCallback((Callback) this);
}
@Override
public boolean onCreateOptionsMenu(Menu menu) {
getMenuInflater().inflate(R.menu.main, menu);
return true;
}
@Override
public void surfaceChanged(SurfaceHolder arg0, int arg1, int arg2, int arg3) {
}
@SuppressLint("NewApi")
@SuppressWarnings("deprecation")
@Override
public void surfaceCreated(SurfaceHolder arg0) {
Log.v("xmc", "MainActivity+surfaceCreated");
try {
m_camera = Camera.open();
m_camera.setPreviewDisplay(m_surfaceHolder);
Camera.Parameters parameters = m_camera.getParameters();
parameters.setPreviewSize(width, height);
parameters.setPictureSize(width, height);
parameters.setPreviewFormat(ImageFormat.YV12);
m_camera.setParameters(parameters);
m_camera.setPreviewCallback((PreviewCallback) this);
m_camera.startPreview();
} catch (IOException e){
e.printStackTrace();
}
}
@Override
public void surfaceDestroyed(SurfaceHolder arg0) {
Log.v("xmc", "MainActivity+surfaceDestroyed");
m_camera.setPreviewCallback(null); //！！这个必须在前，不然退出出错
m_camera.release();
m_camera = null;
avcCodec.close();
}
@Override
public void onPreviewFrame(byte[] data, Camera camera) {
Log.v("xmc", "MainActivity+h264 start");
int ret = avcCodec.offerEncoder(data, h264);//MediaCodec编码
if(ret > 0){
//实时发送数据流
mRtpSenderWrapper.sendAvcPacket(h264, 0, ret, 0);
}
Log.v("xmc", "MainActivity+h264 end");
Log.v("xmc", "-----------------------------------------------------------------------");
}
}
下一篇我会讲接收端，接收端代码比较简单仅仅使用MediaCodec解码TextureView 显示。这部分代码是直播端使用，下一篇解码显示代码是客户端使用的。
源码已经放到GitHub，地址：https://github.com/xmc1715499699/MediaCodec_rtp_send，欢迎下载star。
华为开发者空间，是为全球开发者打造的专属开发空间，汇聚了华为优质开发资源及工具，致力于让每一位开发者拥有一台云主机，基于华为根生态开发、创新。
更多推荐
11
0- 0
已为社区贡献1条内容
所有评论(0)