在音视频领域，想深入研究的话，必定会接触WebRTC。WebRTC是一个庞大的工程，就像是音视频领域的百科全书，音视频采集，编解码，传输，渲染等一条龙在WebRTC里都有，而且WebRTC还有很多先进的音视频处理算法。由于WebRTC代码过于庞大，所以最好单步调试跟踪代码运行，这样才可以更好地学习WebRTC，否则很难有头绪。工欲善其事必先利其器，作为调试神器，宇宙第一IDE Visual Studio必不可少。所以本篇文章主要讲下如何在Windows上编译WebRTC，同时得到VS工程，然后调试。 本文内容截止2…
本篇文章有些内容比较过时，最新请参考：https://blog.jianchihu.net/intel-gpu-hw-video-codec-develop.html。包含CentOS以及Ubuntu的开发环境搭建 最近要在Linux上做编解码开发，为了成本考虑，没用NVIDIA的方案，用了Intel编解码方案。大家都知道Intel在Windows上有个Intel Media SDK的方案，比较常用，支持的CPU型号也多，在Linux上也有类似方案，叫做Intel Media Server Studio。但是Int…
在视频播放中，播放器立即出图像（秒开）非常重要。能够极大提高用户的体验度。网上有很多关于直播行业秒开的优化经验，但是没有安防GB28181的，GB28181标准视频播放跟直播还是有些不一样的，下面说下一些GB28181标准视频秒开的优化经验。 直播行业视频封装传输遵循RTMP/HLS/DASH这些标准。安防摄像头视频播放大多遵循GBT28181。目前常见的视频编码格式有H264/H265/MPEG-4/Svac，通常都封装为PS流（Program Stream，封装标准参考iso13818-1 2.5小节）格式，然…
继完成rtmp服务器开发后，最近也写完了rtsp服务器，可以将国标ps流以及其他格式协议码流转rtsp协议输出。中间开发过程用了许多播放器测试，最常用的就是vlc。使用vlc测试过程，遇到了许多问题。今天就记录一个比较奇怪的问题。 使用rtp over udp模式播放时，没出现问题，但是使用rtp over tcp模式时，vlc播放几十秒后画面突然卡住不动了，看了vlc 的debug message没发现异常。用ffplay，live555，potplayer测了都没异常。后面换了不同版本vlc测试，更奇怪了，vl…
使用Intel media SDK硬编码H264数据时，生成的每一帧H264数据都包含Access unit delimiter+Picture parameter set+Additional information (SEI)。如下图是使用默认参数生成的一个非IDR帧H264数据。 IDR帧数据结构如下： 根据nal uint type表 可知： 默认编码IDR帧结构：0x00 00 00 01 09（分隔符）|| 0x00 00 00 01 27（SPS）|| 0x00 00 00 01 28（PPS）|| …
最近需要一个功能，浏览器能够判断我们的插件是否安装，没安装的话提示用户安装。查了下，只要我们插件成功注册到火狐浏览器中，可通过navigator.plugins数据获取所有安装的插件信息。 如下图是我通过该方法在火狐上获取的插件信息： 我也测了下Chrome上获取的信息： Edge浏览器情况： 可以看到不同浏览器都支持这一方法，但是获取的插件信息是不一样的。虽然我的Chrome与Edge不支持插件安装，但是本身内置了几个插件，比如pdf阅读与flash播放器，通过该方法都可以看到，所以不能说现在的浏览器完全没有插件…
最近写的一个npapi视频插件花了一个月基本搞定了要求功能，最近一直在做测试及优化，然后就是配合前端使用。前端那边有个功能是视频播放区域窗口切换，他找我说切换后浏览器卡住了。我问了他切换是怎么实现的，他每次切换后原有的插件标签都没了，然后加载了新的插件标签。我想了下，原有插件标签没了，相当于这个npapi插件对象拥有的资源都被强行释放了，然后又加载新的插件，一个插件对象本身会占有许多资源，包括内存及显存，每次切换都会不断的释放，初始化，造成很多不必要的开销，甚至导致页面卡顿，最坏的是插件崩溃了。 这种情况下，前端写…
最近要做基于浏览器的视频播放，可以播放各种格式的流。首先为了快速出产品先做一个npapi插件，没用activex，因为IE限制了前端们的想象力与创造力，H5播放技术留在最后面做。刚开始做npapi插件用的是火狐原生api开发，比较繁琐。后面找了一个叫做firebreath的开发框架，开发的插件可以在IE，firefox以及chrome旧版本使用，提高了些开发效率，不过还是很多坑，网上资料也少。 看了一天firebreath官网文档，就开始动手搭建开发环境，搭建还是很快的，下个cmake，python，按官网教程一步…
近期评论
liu on WebRTC研究：WebRTC M89关键更新我看市面上开源的mcu基本都是软编解码,很耗cpu…