发布时间 : 星期五 文章《多媒体技术与应用》教学大纲(总)更新完毕开始阅读0f6a082de2bd960590c67783
《多媒体技术与应用》教学大纲
第1章 多媒体技术概述
1.1 多媒体技术的特点
多媒体技术就是利用计算机技术来处理文本、图形、图像、声音、视频等多种媒体信息，使之在不同媒体间能够建立起逻辑连接，集成为一个具有交互性的系统。其特点如下。
1. 集成性
多媒体技术不仅集成了多种媒体，而且集成同了多种技术，包括计算机技术、通信技术、电视技术和其他音像处理技术。通过在同一个文件中把来自多个通道的信息统一获取、组织、存储和合成，使文字、图像、声音等各种媒体信息能在播放时同步地作用于我们的听觉、视觉等感官，从而取得最佳的效果。
2. 实时性
在多种媒体信息进行综合处理和集成时，声音和动态图像（视频）密切相关，随时间实时变化，这就决定了多媒体技术必须要支持实时处理，播放时，声音和图像不应出现停顿或不同步现象。
3. 交互性
多媒体技术则可以实现用户对信息的主动选择和控制。在多媒体系统中，用户可以借助交互活动控制信息的传播，甚至参与信息的组织过程，使之对感兴趣的画面或内容进行记录或者专门的研究。
4. 数字化
在多媒体系统中，所有多媒体信息都是用数字信号表示，易于进行加密、压缩等数值运算，提高信息的安全与处理速度，且抗干扰能力强，在信号的存储和复制中能够达到更高的保真度。
1.2 多媒体信息和文件 1.2.1
文本媒体
文本可区分为英文文本和中文文本，前者由ASCII表示每个字符占用一个字节，后者由符合中国国标的双字节编码表示，每个字符占用两个字节。
向计算机输入文本信息主要靠键盘输入，也可以使用扫描仪输入，利用光学字符识别器/阅读器，还可以输入手写字符。
1.2.2 声音媒体
声音包括音乐与语音。频率范围在20Hz~20kHz之间、人耳可以听到的声音称为音频，连续的模拟音频信号须转换为离散的数字信号，组成数字音频后，才能被计算机存储和处理，这个过程就是模拟音频的数字化，包括采样、量化和编码三个环节。
在多媒体系统中，用来存储数字音频信息的常用文件有WAV、MID和MP3等多种格式。
1.2.3 图形与图像
图形是指从点、线、面到三维空间的黑白或彩色几何图形，也称为矢量图形。图形文件
1
有二维与三维之分，二维为平面图形，三维为立体图形。
图像以像素作为最小元素，用灰度或色彩来显示图像的黑白或颜色。图像可以通过扫描仪输入计算机，或者用数码照相机拍摄后输入计算机。
1.2.4 动画与视频图像
人眼有视觉暂留的生理现象，利用这一现象让一系列逐渐变化的画面以足够的速率连续出现，就可以感觉到画面上的物体在连续运动。动画要求的速率为20帧/秒。
动画通常是人工创造的连续图形，画面可以逐帧绘制，也可以根据设定的场景，用计算机和图形加速卡等硬件实时计算出下一帧的画面。动画有二维与三维之分。
视频图像也是借助于视觉暂留来实现。每一帧视频图像都是一幅静态图像。在视频技术中除继续采用JPEG压缩标准缩小每帧图像所占用的空间外，还采用MPEG动态压缩标准。常用的视频图像文件主要有AVI、MPEG、ASF等格式。
1.2.5 多媒体数据文件
在多媒体系统中，一切多媒体信息均可用数据文件来存储。有些文件只包含一种媒体类型，也有些可包含多种媒体类型。文件的格式不仅随所描述的媒体而有区别，也随着使用它的公司或软件而不同。
多媒体文件通常需要占用较大的存储空间。例如：使用44.1kHz的采样频率进行采样，样本值用16位的精度存储，则录制1分钟的声音，在WAV文件中所需的存储空间为：
采样频率（Hz）×样本位数/8×时间（s）=44 100×16/8 ×60=5 292 000（B），即5.05MB。 显而易见，对声音和图像的质量要求越高，所需的存储空间也越大。同样的内容，如果选择不同的存储格式，文件的大小也会有不小的差异。
为了方便多媒体文件的制作，许多公司研制了各种工具软件，供用户选择使用，如素材制作工具，集成创作工具。
1.3 多媒体关键技术及其标准 1.3.1
只读光盘存储器
音频、视频文件通常包含大量的数据，传统的软盘已不能满足需求。光盘不仅易于装卸，且具有存储量大、价格低廉等特点。从CD唱盘、VCD影碟，到DVD数字通用光盘，如今已普及，成为多媒体系统大容量存储的首选。
只读光盘上记录的信息是使用激光束预先在反射层上刻录的。一般“1”被刻成凹坑，“0”保持为原来的平面。实际读盘时，“1”信号通常都在凹坑的前沿和后沿出现。CD光盘只有单面盘。
DVD使用波长更短的红色可见激光，能读取更小的凹坑和更密的光道。DVD可以制成双层盘和双面盘。
光盘的读/写都要遵循一定的标准。在光盘的不同标准中，记录数据的格式也不尽相同，因而不能互换。
1.3.2 数据压缩和解压缩
音、视频文件的大数据量引发了对大容量存储器的要求。压缩和解压缩是减小存储容量和所需数据传输率的有效手段，也是实现对音、视频信息实时处理的重要关键技术。
在声音和图像数据中，都存在着冗余的数据。这就为数据压缩提供了可能性。常见的数据冗余种类有空间冗余、时间冗余和感觉冗余等。
数据压缩算法可区分为无损压缩和有损压缩两种。前者能在解压缩后还原为原始信号，
2
压缩比一般为2~4；后者为不可逆压缩，还原后可能会丢失部分信息，但一般人不易察觉它与原始声音、图像之间的区别，而压缩比则可大大提高，达到10~100倍。
在压缩与解压缩算法中包含了大量运算。为了获得快速的运算与处理速度，常常采用专用芯片，也可以用软件来实现，只是速度比硬件实现慢一些。
20世纪80年代，国际标准化组织（ISO）和国际编报电话咨询委员会（CCITT）联合组成了两个专家组——联合图像专家组（JPEG）和运动图像专家组（MPEG），制定了两种数据压缩编码系列标准，从20世纪90年代初陆续公布实行。
1.3.3 超文本/超媒体技术
超媒体 = 超文本 + 多媒体
超文本是由若干信息节点和表示信息节点间相关性的“一个由链”所构成的、具有一定逻辑结构和语义的网络。
作为交互式的信息显示系统，超文本/超媒体都具有节点和链构成的非线性网状结构，节点是信息存储或显示的基本单位，其大小是可变的，从一个节点指向另一个节点的指针成为链，它代表了节点之间信息的联系。
运行在因特网上的万维网，是目前最流行的超文本系统之一。超文本标记语言（HTML）被用作万维网网页的描述语言，不仅用标记来定义网页的格式和组成，也用标记来描述网页中存在的各种超级链接。随着超文本扩展为超媒体，现在HTML也可用来描述音频、视频与动画，并越来越多地被用来制作光盘上的多媒体节目。
1.4 多媒体技术的应用领域 1.4.1
多媒体计算机
家用电脑一般都具有丰富的多媒体功能，成为普及多媒体应用的有力工具。近年来出现的新型家用电脑能够集音响、录像与电视功能于一身，甚至打开电脑就实现听CD唱片、观看电视、录制电视节目等多媒体应用功能。
1.4.2 多媒体音像设备
MPC应用的流行，带动了多媒体外部设备的成长。不仅扫描仪、系列音箱、光盘刻录机等已越来越多地成为MPC用户常用的外部设备，而且涌现了一批既可用作MPC外设、又可独立使用的数码产品。
1.4.3 多媒体网络应用
从涉及的媒体来区分，现有的因特网应用分为两大类。一类是以文本和图形媒体为主的数据通信，另一类则是以音频和视频媒体为主的多媒体网络应用。IP电话、实时电视会议、声音点播和视频点播，都是当前多媒体网络应用的实例。提高网络带宽、减少时延和抖动是需要解决的问题。
1.4.4 多媒体教学与电子出版
多媒体教学不仅丰富多彩、便于交互，而且可通过各种计算机辅助教学软件的运用，达到“因人施教”，用“以学生为中心”取代“以教师为中心”的目标。其主要应用表现在多媒体教室、CAI课件和电子出版物等方面。
第2章 多媒体个人计算机
3
2.1 从PC到MPC 2.1.1
PC的组成与结构
一般地说，一台传统的PC由中央处理器、内存储器、外存储器、基本外部设备与若干扩展卡组成。各组成部分之间的信息交流可通过总线完成。
2.1.2 MPC的基本组成
早期的PC只能处理文本和数字，借助键盘和显示器用文本媒体进行人－机交互。MPC的诞生，使计算机能够集声、文、图、像的处理于一身，同时把人－机交互扩充到声音和图像等媒体。
1985年，美国Commodore公司制成了世界上第一台多媒体计算机Amiga系统。它采用了当时功能较强的Motorola16位微处理器MC68000为CPU，配置了由该公司研制的Agnus8370（图形处理）、Paula8364（音响处理）、Denise8362（视频处理）等3个专用芯片和专用的多任务操作系统，能支持下拉菜单、多窗口、图符等功能。PC采用的“主板＋扩展板”的结构，使它很容易被扩展为MPC。例如在PC硬件的基础上增加一台CD－ROM光驱、一块声卡和一组音箱，就可以构成基本的MPC硬件，即
PC＋CD－ROM＋声卡＋音箱（或耳机）＝MPC
目前市场上流行的MPC主流产品大都是IBM PC及其兼容机的升级产品，采用Microsoft的Windows作为操作系统。另一重要的MPC产品来自Apple公司的Macintosh系列，它通常配有Macromedia公司的多媒体系列工具，能为用户提供多媒体应用的各种功能。
2.1.3 MPC的标准
1990年，Microsoft公司在由其召开的多媒体开发工作者会议上，首次提出了多媒体个人计算机的技术标准MPC1.0。1991年，由IBM、Intel等几十家软、硬件公司联合组成了“多媒体PC市场协会”。协会确认MPC1.0为MPC应具备的最低软、硬件标准，同时规定，只有达到或超过MPC1.0标准的计算机，才能使用MPC标志。1993年5月和1995年6月，MPMC又相继公布了经过修订的MPC2.0和MPC3.0标准。
2.2 中央处理器的本地信号处理
在早期的多媒体系统中，常使用专用的“数字信号处理器”（digital signal processor,DSP）芯片来处理不同的多媒体数据。CPU技术的发展，使我们有可能把声音和图像的处理功能集成到CPU中，由同一个芯片来统一承担CPU与DSP的功能。这就是所谓的CPU“本地信号处理”或“主体信号处理”。目前这种处理方式已被计算机业界所接受，从而使NSP技术成为CPU芯片的一项新标准。其直接影响之一，就是在近几年生产的MPC中，有些原来独立的功能卡已经集成到主板上，从而简化了多媒体扩展卡的配置。
2.2.1 多媒体扩展技术
通过对音、视频处理和数据压缩等一系列多媒体功能的分析，Intel公司发现：在多媒体数据处理中，存在着大量的“短整数”处理、频繁相乘和累加以及重复次数很大的短循环等操作。为了提高这些操作的速度，Intel决定扩充CPU的多媒体处理指令，并将它们尽可能固化到硬件中。在1997年1月发布的奔腾处理器中，一举增加了57条与多媒体处理有关的指令；1998年2月发布的奔腾Ⅲ处理器进一步将有关指令扩充到70条。前者称为“多媒体扩展”（Multi Media Extension，MMX）；后者称为“流式SIMD扩展”，实际上是MMX的进一步更新。
4