简介 Media SDK 是一个软件开发库，包含解码、视频处理和编码三大模块。利用 Intel 平台的硬件加速能力， Media SDK 为低端用户提供了优秀的高清视频质量，极大的降低了播放高清视频的硬件门槛。此外，强大的视频 APIs 也减轻了程序开发者的工作负担，使他们能够集中精力去处理程序的逻辑模块，而不必关心于 Media SDK 内部的复杂编解码逻辑及其如何提高效率。 本篇文章将着重讲述如何利用 Media SDK 提高程序的效率，面对的读者主要是视音频程序开发人员。 本文以下内容为： - 初始化设置之优…

今天下班时打开QQ群，看到大家在讨论一个无法相信的消息：雷神离开了。看了新闻，实在不敢相信，天妒英才啊。当初踏入音视频这一行，ffmpeg学习，音视频基础，都是学习他的博客的（雷神博客：http://blog.csdn.net/leixiaohua1020）。后面也加了他的QQ群，在这个平台上学到了很多，很感谢他提供的这么一个平台，以及他无私奉献的精神。 感觉自己也要劳逸结合了，少加班，多锻炼，身体最重要。钱是赚不完的，但是身体确实可以透支完的。 一路走好，雷神！

elst全称Edit List Box，mp4文件中不一定都含有这个box。该box作用是使某个track的时间戳产生偏移。 结构 在ISO_IEC_14496-12中，elst结构定义如下： segment_duration：表示该edit段的时长，以Movie Header Box（mvhd）中的timescale为单位。 media_time：表示该edit段的起始时间，以track中Media Header Box（mdhd）中的timescale为单位。如果值为-1，表示是空edit，一个track中最后…

一、声音的相关概念 声音是介质振动在听觉系统中产生的反应。声音总可以被分解为不同频率不同强度正弦波的叠加（傅里叶变换）。 声音有两个基本的物理属性：频率与振幅。声音的振幅就是音量，频率的高低就是指音调，频率用赫兹（Hz）作单位。人耳只能听到20Hz到20khz范围的声音。 模拟音频（Analogous Audio），用连续的电流或电压表示的音频信号，在时间和振幅上是连续。在过去记录声音记录的都是模拟音频，比如机械录音（以留声机、机械唱片为代表）、光学录音（以电影胶片为代表）、磁性录音（以磁带录音为代表）等模拟录音方…

在学习视频文件的解析时，刚开始我都是用ultraedit配合标准文档查看，不是很方便，后来在网上看到了一个叫flvparse的程序，虽然做的很粗糙，但是为flv文件的学习提供了帮助。现在我自己对flv，avi，mp4文件都非常了解了。在业余时间也做了一个flv文件的分析程序，完全按照flv标准文档解析，每一个字段都清楚展示出来，可以说是网上最强大的一个flv分析工具了（应该是这样的，还没见过比这好的）。flv在流媒体领域应用很广泛的，想做流媒体，视频直播这一块的都得学习flv封装格式，所以希望这个工具对于那些初学者…

现在VR是越来越火，VR全景视频在未来会有很大普及，颠覆人们传统看视频方式。目前VR视频都是将不同角度拍摄的视频进行拼接而成的，然后通过特定播放器播放。自己对这也很感兴趣，视频拼接目前还没实力搞，先打算做个全景视频播放器。目前思路如下： 1）获取拼接前的各个角度视频； 2）使用某个游戏引擎（比如unity）或者图像渲染引擎（OGRE，大学毕设用过）构造一个立体的物体，可以是球体，立方体，锥体等等； 3）解码之前获取的各个角度视频，然后映射到构造的立体物体上； 4）由于在游戏引擎的世界中我们可以360度浏览虚拟世界，…

原来测试解析mp4文件得到的h264码流都是用ffplay，没遇到什么问题，今天用vlc测试了下，发现刚开始时会有点花屏，后面就正常了。 看了下h264码流，sps与pps后第一个nalu类型为sei(附加增强信息)，也就是0x00000106起始码开头的，不是I帧，所以会出现这个情况。vlc没有对sei信息做处理，导致把sei与后面数据混在一起解码处理，出现丢数据的假象，而导致花屏。vlc处理首帧的正确姿势是：SPS+ PPS + I frame。后面碰到sei类型nalu数据直接丢掉，然后送给vlc播放，就正常…

说明：本文转自@高可用架构，写的很详细，故拿来分享 作者：徐立，七牛创始合伙人兼产品副总裁，负责七牛直播云的整体研发，是国内 Go / Docker / Container 技术早期布道者，Go / Containers / Distributed Systems 技术的忠实爱好者和实践者。曾合著国内第一本 Go 语言图书《Go 语言编程》，翻译《Go 语言程序设计》。 现今移动直播技术上的挑战要远远难于传统设备或电脑直播，其完整的处理环节包括但不限于：音视频采集、美颜/滤镜/特效处理、编码、封包、推流、转码、分发…