澳门游戏 澳门赌盘 澳门赌盘平台 皇家赌场 澳门球盘 澳门盘口即时赔率 足球盘口 澳门彩票

当前位置:>>上海新闻热线 > 旅游 >

《消息论与编码理论(第二版)》【可复造版】(作

更新时间:2019-08-07   浏览次数:  

  《消息论取编码理论》(第2版)全面系统地引见了由喷鼻农于1948年提出的消息论取编码理论的次要内容,以及近几十年来该范畴的一些主要研究。做者起首正在引言中向读者简单引见了消息论取编码理论的根基思惟;第一部门了喷鼻农消息论取编码理论的次要内容,如熵和消息量的根基概念取性质,以及信道编码和信源编码;第二部门引见了一些基于喷鼻农编码理论的信道和信源编码方式,具体包罗线性码、轮回玛、BCH和RS码、卷积码等信道纠错编码,以及变长信源编码等。《消息论取编码理论》内容丰硕翔实,对根基概念和根本理论的

  国 外 电 子 取 通 信 教 材 系 列 消息论取编码理论 (第二版) The Theory of Information and Coding S e c o n d K d i l i o n [美] Robert^McEliece 著 李 斗 般 悦 罗 燕 等 译 项 海格 审校 国外电子取通材系列 消息论取编码理论 (第二版) The Theory of Information and Coding Second E d itio n [ 美] Robert J. McEliece 著 李 斗 殷 悦 罗 燕 等 译 项 海 格 审 校 常 孑 工 實 出 级 扑 Publishing House of Electronics Industry 北 京• BEIJING 内容 简介 本书全向系统地介 绍了由喷鼻农J 19 4 8 年提出的消息论取编码理论的次要内容 ,以及近几彳年来该范畴的 一些主要研究。做者首左正在引言中向读荇简中引见了消息论取编码理论的根基思惟; 第 部 分 讲 解 T 喷鼻农 消息论取编码理论的从耍内荇. 如熵和消息量的基木概念取性质,以及fe 道编码和信源编码;第二部 分引见了一些基于喷鼻农编码理论的信道和信源编码 方式,具体包罗线性码、轮回玛 、 和KS 码 、卷积码等 信道纠错编码,以及变信源编码 等.,本书内容丰硕翔变 ,对根基概念和根本理论的阐述淸晰了然.同时 也充 分反映了相关范畴的研究进展环境。 本书适合做为髙 等院校消息通佶丄稈专业研究生或+ 科生的教材或参考书 。书中供给的几十道例题和几 百道3 题 也有帮于具有- ^ 概率论和线性代数学问的人自学。 Authorized translation from the English language edition published by The Syndicate of the Press of the University of Cambridge, England. Copyright© Cambridge University Press 2002. All rights reserved. No part of this botk may be reproduced or transmitted in any form or by any meanst electronic or mechanical, including photocopying* recording or by any information storage retrieval system, without permission from the Publisher, This edition is lioeosed for distribution and sale in the People* s Republic 〇f China 〇Tilyt ^xcludin^ Hong Kong, Taiwan and Macau and may not be distributed anti sold elsewhere. Simplified Chinese language edition puhlished by Publishing House of Electronics Industry* Copyrighl © 2004, 本书中文简体专有翻译 出书权由Cambridge University P ress 授予电子: 丨_业出书社。其原文版权 及中文翻译 出书 权受法令。未经许 可,不得以任何形式成T-段复制或抄袭本书内容。 本书 中文简体宇版仅限于正在中华人平易近国境内(不包罗、澳门特 别行政区 以及 地域)刊行 4 发卖. 并不得正在其他地域刊行取发卖c 版 权贸 易合同登 记 守罔字:〇卜2 0 0 3 - 1042 t 图书 正在版编目(C I P 1数据 消息 论取编码理论:第 2 版 / ( 关 )麦 克 伊 利 斯 著 ;李斗等译. - :电了丁 出书社,20(W.2 ( 国外电子取通材系列) 书 名原文: The Theory of Information ami Set.oml Editimi ISBN 7- 50S3- 933 7- 5 卜信. . . n + ①友… ②李… m. o o m 息 论- 教材②B 源编码- 编码理沦- 教材③信道编码- 编码理论-教材 IV. TN9] .2 中M 版本藏书楼GIP数据核字( 2 0 0 0 0(M555号 义务编纂: 陶淑毅 印 刷: 北m 巧平印刷厂 出书刊行: 电了丄业出书社 市海淀区 万寿丨73信箱邮编t 1000允 经 销 各 地 新 华 店 开 价 次 本 787 x 1092 1/16 印张:J9 字数:486千T 定 印 20(M 年 2 月第1次印刷 29.00 元 凡采办电f 丁业出书社的图f i , 如出缺损问题.请向采办书店互换:若书店售缺,请取本社刊行部联系。联系 电线。质暈赞扬的发邮件至, 盗版侵权举报请发邮件至dbqq@ pheUom +cn 。 序 2001年7月间 ,电子工业出书社的带领同志邀请各髙校十几位通信范畴方面的教员,筹议引进 国外教材问题。取会同志对 出书社提出的打算十分附和,大师认为,这对我国通信事业、特 别是对 高档院校通信学科的讲授工做会很有益处。 教材扶植是髙校讲授扶植的次要内容之一。编写 、出书一本好的教材,意味着开设了一门好的 课程 ,以至可能预示着一个簇新学科的降生。20世纪40年代 M IT 林肯尝试室出书的一套28本雷 达丛书,对近代电子学科、特 别是对雷达手艺的鞭策感化,就是一个很好的例子。 我国带领部分对教材扶植一曲很是注沉。20世纪80年代,正在原教委教材编审委员会的带领下, 汇集了高档院校几百位富有讲授经验的专家,编写、出书了一多量教材;良多院校还按照学校的特点 和需要,连续编写了大量的课本和参考书^这些教材对髙校的讲授工做阐扬了极好的感化。近年来, 跟着讲授不竭深人和科学手艺的飞速前进,有的教材内容已比力陈旧、掉队,难以顺应讲授的要 求 ,特 别是正在电子学和通信手艺成长神速、能够讲是日新月异的今天,若何顺应这种环境,更 必需认实考虑的问题。处理这个问题,除了依托髙校的教员和专家撰写新的合适要求的教科书 外,引 进和出书一些国外优良电子取通材,特别是有选择 地引进一批英文原版教材,是会有益处的。 一年多来,电子工业出书社为此做了良多工做。他们 成立了一个“国外电子取通材系列” 项目组 ,选派了富有经验的营业担任相关丁_做,收集了 230余种通材和参考书的细致材料, 调来了 100余种原版教材样书,依托由20余位专家组 成的出书委员会,从中精选了40多种,内容 丰硕,笼盖了电理论取使用、信号取系统、数字信号处置、微电子、通信系统、电取微波等 方面t 既可做为通信专业本科生和研究生的讲授用书,也可做为相关专业人员的参考材料。此外 , 这批教材,有的翻译为中文,还有部门教材间接影印出书,以供教师用英语间接讲课。但愿这些教 材的引进和出书对高校通学和教材能起必然感化。 正在这里 ,我还要感激加入工做的列位传授、专家、教员取加入翻译、编纂和出书的同志们。各 位专家认实担任、严谨详尽、不辞辛勤、不怕琐碎和不断改进的立场,充实表现了中国教育工做者 和出书工做者的优良美德。 跟着我国经济扶植的成长和科学手艺的不竭前进,对髙校讲授工做会不竭提出新的要乞降希 望。我想,无论 若何,要做好引进国外教材的工做,必然要联系我国的现实。教材和学术专著分歧, 既要留意科学性、学术性,也要注沉可读性,要深切浅 出,便于读者自学;引进的教材要顺应髙校 讲授的需要,针对目前一些教材内容较为陈旧的问题,有目标地引进一些先辈的和正正在成长中 的交叉学科的参考书;要取国内 出书的教材相配套,放置好出书英文原版教材和翻译教材的比例。 我们勤奋使这套教材能尽童满脚上述要求,但愿它们 能放正在学生们的课桌上,阐扬必然的感化。 最初 ,预 祝“国外电子取通材系列”项目取得成功,为我国电子取通学和通信财产的 成长培土施肥。也诚心但愿读者能对这些书箱的不脚之处、特 别是翻译中存正在的问题,提出看法和 t 以便再版时更正。 中国工程院院士、大学传授 “国外电子取通材系列”出书委员会从任 槪 : ^ t 免U M l i : 出 版 说 明 进 入21世纪 以来,我国消息财产正在出产和科研方面都大大加速了成长速度,并已成为国平易近经 济成长的支柱财产之一^可是,取世界上其他消息财产发财的国度比拟,我国正在手艺开辟、教育培 训等方面都还存正在着较 大的差距。出格是正在插手W TO 后的今天,我国消息财产面对着国外合作对 手的严峻挑和。 做为我国消息财产的专业科技出书社,我们一直关心着全球电子消息手艺的成长标的目的,一直把 引进国外优良电子取通信消息手艺教材和专业书箱放正在我们工做的主要上。正在2000年至2001 年间,我社先后从世界出名出书公司引进 出书了40余种教材,构成了一套“国外计箅机科学教材 系列正在全国高校以及科研部分中遭到了欢送和洽评,获得了计较机范畴的泛博教师取科研工做 者的充实必定。 引进和出书一些国外优良电子取通材,特别是有选择 地引进一批英文原版教材,将有帮子 我国消息财产培育具有国际合作能力的手艺 入才,也将有帮于我国国内 正在电子取通学工做中掌 握和国际成长程度。按照国内消息财产的现状、教育部《关 于“十五”期间通俗髙等教育教材 扶植取的看法》的以及高档院校教员们 反映的各类看法,我们决定引进1‘国外电子取 通材系列”,并随后开展了大量预备工做。此次引进的国外电子取通材均来自国际出名出 版商,此中影印教材约 占一半。教材内容涉及的学科标的目的包罗电理论取使用、信号取系统、数字 信号处置、微电子、通信系统、电取微波等,此中既有本科专业课程教材,也有研究生课程教 材 ,以顺应 分歧院系、分歧专业、分歧条理的师生对教材的需求,泛博师生可选择和组合 利用。我们还将取国外出书商一路,连续推出一些教材的讲授支撑材料,为讲课教师供给帮帮。 此外,“国外电子取通材系列”的引进和出书工做获得了教育部高档教育司的鼎力支撑和 帮帮 ,此中的部门引进教材已通过 “教育部高档学校电子消息科学取工程类专业讲授指点委员会” 的审核,并获得教育部高档教育司的核准,纳 入了“教育部高档教育司保举—— 国外优良消息科学 取手艺系列讲授用书 ”。 为做好该系列教材的翻译工做,我们礼聘了大学、大学、邮电大学、东南大学、 西安交通大学、、西安电子科技大学、电子科技大学等出名高校的传授和教师参取教 材的翻译和审校工做。许 多传授正在国内电子取通信专业范畴享有较高的声望,具有丰硕的讲授经验, 他们的广博学识从底子上了教材的翻译质量和专业学术方面的严酷取精确。我们 正在此对 他们的 辛勤工做取贡献暗示衷心的感激。此外,对 于编纂的选择,我们达到了专业对口;对 于 文 原 书 中发觉的错误t 我们通过取做者联络、从网上下载刊误表等体例,一一进行了修订;同时t 我们对 审校、排版、印制质量进行了严酷把关。 此后 ,我们将进一步加强同各髙校教师的亲近关系t勤奋引进更多的国外优良教材和讲授参考 书 ,为我国电子取通材达到世界先辈 程度面勤奋^因为我们对国内 外电子取通育的成长仍 存正在一些认识上的不脚,正在选题、翻译、出书等方面的工做中还有许 多需要改良的地芦,泛博 师生和读者提出及。 电子工业出书社 m m j 編 _ 1 i 教材出书委员会 从 任 吴佑寿 中闰丁.程院院士、大学传授 副从任 林金桐 邮电大学校於、传授、博士生导师 杨千里 总参通信部副部长、中国电子学会会士、副理事长 中国通信学会常务理爭 委 员 林孝康 大学传授、博士生导师、电子工程系副从任、通信取微波研究所所长 教育部电子消息科学取工程类专业讲授指点委员会委员 徐安士 大学传授、博士生导师、电子学系副从任 教育部电子信a 取电气学科讲授指点委员会委员 樊昌信 西安电子科技大学传授、博士生导师 中国通信学会理事、IEEE会士 程时昕 东南大学传授、博士生导师 挪动通信国度沉点尝试室从任 郁道银 副校长、传授、博士生导师 教育部电子消息科学取工程类专业讲授指点委员会委员 阮秋琦 北方交通大学传授、博士生导师 计较机取消息手艺学院院长、佶息科学研究所所长 张晓林 航空航天大学传授、博士生导师、电子丄程系从任 教育部电子消息科学取电气消息类根本课程讲授指点委员会委员 郑宝 南京邮电学院副院长、传授、博:丨.生导师 教育部电子消息取电气学科讲授指点委员会委员 朱世华 西安交通大学传授、博士生导师、电子取消息工程学院院长 教育部电子消息科学取工程类专业讲授指点委员会委员 彭启琮 电子科技大学传授、博士生导师、通信取消息工程学院院长 教育部电子消息科学取电气消息类根本课程敎学指点委员会委员 徐沉阳 华屮科技大学传授、博士生导师、电子科学取手艺系从任 教育部电子侣息科学取丄程类专业讲授指点委员会委员 毛军发 上海交通大学传授、博上生导师、电子消息学院副院长 教育部电子消息取电气学科讲授指点委员会委员 赵尔沅 邮电大学传授、教材扶植委员会从任 钟允若 原邮电科学研究院副院长、总工程师 刘 彩 屮国通信学会副理事长、秘书长 杜振平易近 电子工业出书社副社长 .3 ..i Mh i : 译 者 序 跟着消息时 代的到临,消息论取编码理论 正在许 多范畴获得了普遍的使用 ,并发生了深远的 影响。本书全面系统地介 绍了由喷鼻农正在1948年提出的消息论取编码理论的次要内容, 以及近 几卜年来的一些主要研究。 J 本 书 做者 Robert L McEliece是美国理工学院电子工程系的出名传授 ,而且是美国国 家工程院院士 ,IEEE 、美国工程教育协会和美国数学协会会员 。他持久处置消息论取编码理论 的研究和讲授工做 ,因成就杰出而多次获 ,曾因正在纠错编码范畴的凸起贡献而获NASA集体 成绩 . 以及IEEE 成立百年精采贡献章。 本书是剑桥大学出书社出书的“ Encyclopedia of Mathematics and Its Applications ”(《数学及其 使用百科全书 》)系列丛书 中的一卷。它内容丰硕翔实 ,对根基概念和根本理论的阐述清晰明 了,冋时 也充实反映了相关范畴的研究进展环境 ,适合做为髙等院校消息取通信工程专业研究 生或本科生的教材或参考书 。书中供给的几十道例题和几百道习题 也有帮于具有必然概率论 和线性代数学问的人自学。多年以来 ,大学消息科学手艺学院一曲将本书原版做为研究 生 课程“消息取编码理论 ”的次要参考用书 。此次很是感激电子工业出书社给 予了我们翻译本 书的机遇。 本书的引言和第一部门的第1章至第6 章的注释由李斗翻泽 ,引a 和第一部门的习题 及 正文由殷悦翻译;第二部门第7 章至第9 章的注释由殷悦翻译 ,第 10章至第 n 章的注释由罗 燕翻译 ,第二部门的习题 及正文 也由罗燕翻译;附录部门由方东翻译 。全书译 文由李斗统校, 项海格传授 审校。赵玉萍、和陈江等传授对本书的翻译 工做也做出了贡献。正在翻译过 程中 ,我们对原书 中的一些错误做了更正。因为程度无限 ,译 文中的错误和不当之处 ,希 望读者。 • • 4 • j ^ .i - 第 一 版序 本书旨正在自成系统地引见消息论取编码理论中的根基结论 。它写 T 1972年 至 1976年, 其时我正在美国理工学院教学这门课程。我的学生中有一半是电子工程系的研究生;其他 的则来自各个 范畴(数学、物理、生物 ,以至有一个是英语专 业的因而 这门 课程面向的既是 专业人员 也专业人员t 本书 也响应 如斯。 全书由三部门组 成:引言、第一部门(消息论)和第二部门(编码理论)。读者起首该当阅读 引言部门,由于 它给 出了本书所涉及内容的一个概述。正在第一部门中 ,第 1 章是根本 ,可是并 不需要起首阅读这 一章,由于 它现实上只是关 于熵和互消息量的一个总结 ,最好将 它做为参 考, 以便正在进修第2 章至第5 章时査阅& 第6章是对前沿的一个综述 ,能够独 立阅读 。正在 笫二部门中 ,第 7 章是根本,应诙 正在阅读第8 章和第9 章之前阅读 。可是第10章的大部门,以 及 第 U 章则是完全独 立于第7 章的。第 12章是独 立于其他所有章节的另一个综述。 每一章后面的习题很是主要 ,此中介 绍了注释中忽略的良多细节 ,以及没有提到的许 多沉 要结论 。读者至多要阅读一下这些习题。 本书 包含四个附录 。附录A 归纳综合介 绍了第一部门所需的概率论知 识 。附录 B 会商的是 凸函数和Jensen 不等式。正在第一部门中经常援用知naeii 不等式,不熟悉该 不等式的读者该当 起首阅读附录B 。附录 C 简要介 绍了第9 章所用到的无限域的次要结论D 附 录 D 则了一 种正在标的目的图 入彀算径的算法 ,第 10章中便用到了 这种算法。 这里有需要申明一下标号排序:节 、插图 、例题 、、公式 ,以及习题都是根据各章的编 号,采用两部门数字标识表记标帜 。因而“2.3 节 ”、“3.4”取“习题4.17”分 别暗示第2 章的第3 节 、 第 3 章的第4 个、第 4 章的第17道习题 。附录按字母索引 ,所以“式(B .4)”暗示附录 B 中 的第4 个公式。 下面是一些需要注释的特殊符号:U 」暗示小于或等于;c 的最大整数;而h i 暗示大于或 等 于 的 最 小 整 数 。 最初 ,我很髙兴正在 这里表达我的谢意。感 谢 Giis Solomcm,我 这门学科的发蒙老 师;感激 】〇1111仏1^给 了我正在理工学院讲授的机遇;感激(^齡0〇1111他,鼓 励 我写 成此书;感激 Len Baumert,Stan Butman,Gene Rodemich 和 Howard Rumsey,我正在书中援用 T 他们的研究;感 谢 Jim Lesh和 Jeny Heller, 他们供给了图6.7和 图 12.2的数据;感激Bob H a ll绘制插图;感激我 的打字员 Ruth Stratton,Ullian Johnson,特 别是 Dian Rapchak;并感激 Ruth Flohn 进行了 审稿D Robert J * McEliece • 5 • . 碰 ■ 第 二 版 序 本版的次要修订是正在第二部门。这一版对 上一版的第S 章进行了点窜 ,扩展为新的两章 , 即第8 章和第9 章。原 来的第9 章至第11章响应 地变为 第10章至第12章。新版的第8 章全 面地引见了轮回码的数学道理 ,以及它们的移位寄放器电的实现 ,这一章的最初会商了若何 操纵轮回码改正突发 错误◦ 而新版的第9 章取原 来的第8 章很是类似 ,只是对 Reed-Solomon 码的介 绍更为详尽 ,表现 了它们 正在现实使用中的主要性。新的两章都附加了几十道习题。 • 6 • _ u 刖 我们所谓的通信 ,其焦点问题就是消息的传输。做为 一个备受关心的范畴, 它所涉及的范 围之广已惹起了哲学家们的关心 ,并发生了一门兴旺成长的手艺学科。 我们将这 一切归 功于喷鼻农是他起首认识到能够采用一种系统的、有规 吋循的方式,解 决消息的编码 、传输和泽码等一系列问题:他于1948年颁发的典范论文f 标记着数学范畴一个 新篇章的降生。 - 过 去的30年中,正在这一重生范畴出现 出了数量惊人的著做 ,此中的一些术语以至曾经成 为 我们H 常用语的一部门。 这本 专著(现实上是两本专著合二为 一)系统全面地引见了通信范畴的两个方面:编码取 传 输 , 第一个方面(本书第二部门的次要内容)是代数理论的力取美的完满;第二个方面则 属于概率论范畴,由喷鼻农以别致而独创的体例揭开序幕。 Mark Kac ① C , E , Shannon , A Mathematical T^mry of Comanimicalim ,Be// 如(on recfe ■人 27 ( 1943 ) ( Introduction: 379 〜 3 82; Part m e : Ife- crn?te Noieeiess Systems, 3ft2 - 405; ^art two : Tlie Diacreie Chflnnel with Noisei and Appendixes) *406 - 423; Part Ul^ Malhematical Preiiminaries, 623 〜 63 6; Part JV:Tlie Continuous ChanneKand Appendixes) ,637 〜 656) ■ • 1 , i . 妙盛d M l ^ MW 录 ?[ B 1 JM s a # 9 第 一 部 分 信 息 论 第 1 章 熵 和 互 信 息 置 13 1 . 1 离散随机变量13 1 . 2 离散随机矢暈24 1 . 3 非离散随机变量和矢量27 32 勝 36 第 2 章离散无回忆信道及其容置-价格函数 38 2 1 容量-价格函 数 38 2 2 信道编码 44 51 鋪 55 第 3 章离散无 回忆 佶源及其率失线 章 高 斯 信 道 和 信 源 12 4 」 高斯信道 72 4 . 2 高斯信源 75 麵 80 藤 84 第 5 章 信 源 -倍道编码 86 91 i m 93 * 9 • f. .s . I? iM. A M 土• r 第 6 章第一部门前沿 课题综 述 94 6J 弓丨言 94 6 . 2 信道编码 94 6*3 信源编码 99 第 二 部 分 编 码 理 论 第 7 章 线 引言:生成和分歧校验矩阵 107 7.2 g 进 制对称 信道上的陪伴式译码 110 7 . 3 汉明几何和码的机能 112 7 , 4 汉 明 码 113 7.5 —般 g 进 制信道上的陪伴式译码 U 4 16 分量列举 多项式和MacWiiliams恒 等式 117 121 勝 127 第 8 章 循 环 码 128 S-1 引 言 128 8 . 2 轮回码 的移位寄放 编码器 138 8 . 3 循 环 汉 明 码 146 8 , 4 改正突发 错误 149 8 . 5 改正突发 错误 轮回码 的译码 159 习题 163 注 释 171 第 9 章 BCH 、Reed-Solomon码 及其同类码 172 9.1 引 言 172 9 . 2 具有轮回码特征的BCH 码 175 BCH 码的译码 ,第一部门:环节 方程 177 9 . 4 多 项 式的欧 几里得算法 182 9.5 BCH 码的译码 ,第一 1部 分 :算 法 185 9.6 Reed- Solomon 码 189 9 , 7 出 现 删除 时的 译码 197 9.8 (23,12)G〇lay 码 204 习题208 注 释 217 第 10 章 卷 积 码 218 10.1 引言 218 10 . 2 形态图 、网格图 及V iteibi译 码 223 • 10 * t o .3 径列举 多项式和错误概率的界 228 1 0 . 4 序列译码 232 习题 238 244 第 11 章 变 长 佶 源 编 码 245 1K 1 弓信 245 t h 2 专一可译的变长编码 246 1 1 . 3 信源的婚配编码 248 1 1 . 4 最佳专一可译码的构制(Huffinan算法) 249 254 f t # 256 第 12 章 第 二 部 分 前 沿 课 题 综 述 258 12.1 引 言 258 1 2 . 2 分组码 258 1 2 . 3 卷 积码 265 1 2 . 4 分组码和卷积码的比力266 1 2 . 5 信源 编码 268 附 录A 概率理 论 271 附 录 B 凸函数和Jensen 不 等 式 274 附 录 C 无限域 278 附 录 D 操纵标的目的图求解径列举 多项式 281 284 索引 288 * 11 * s, i 1948 年 ,Claude Shannon 1 (克劳德 •喷鼻农)正在他的典范论文“ A Mathematical TTieory of Commu- nicatkm ”(通信中的数学理论)的引言部门中写道: “通信中的根基问题就是正在某一点切确或近似地再生另一点选择的消息。” 为处理 这一问题,他正在该论 文中提出了使用数学的一个全新分支 ,现 正在称之为消息理论和/ 或编码理论。本书的目标就是引见这一理论提出后30年来的次要。 正在引言这一章,将通过 一对特殊的数学模子 ,二进制对称信滹和二进制对称信道,来介 绍 消息理沧的焦点思惟。 二进制对称信源(简称信源)是一个能够发出定义为 “〇”和“1”的两种特定符号的实体,速 率为单元 时间 内/?个符号。我们称这钱符号为 比特(bits) [bits是 binary digits(二进制数据)的 缩写 ]。信 源 随 机 地 发 出 这 些 比 特 和 “1”的发出概率不异。假设信源速度是 持续 变化 的 ,即及能够是任何非负的数值。 二进制对称信道(简称BS^ 2])是一个正在单元 时间内 能够传输1 比特数据的实体。可是该 信道并不是完全靠得住的:存正在一个固定的概率(称为原始误 比特率^),满 脚 使 输 出比特取输人比特不不异。 现 正在设想有两小我,一个是发送者,另一个是领受者。发送者必需使领受者尽 可能精确地 领受信源的输出 ,而他们之间专一的通信链就是前面描述过的BSC(可是正在启动信源之前 , 答应发送者和领受者正在一路领会相互将采用的数据处置策略)。 这里还假设发送者和领受者 都能够无任何地操纵计较能力、存储容量、经费和其他资本。 现 正在要问 ,对 于给定的一个信源速度/;,发送者和领受者之间通过 BSC的通信能够达到 多髙的靠得住度?我们最终将给 出此问题的一个很是切确的通用结论 ,但现 正在先考虑一些特例。 假 设 R = 1/3,这意味着信道传输数据的速度是信源发生数据速度的三倍 ,因而正在传输之 前, 能够对信源输出的每一比特反复编码 三次。例如,若是信源输出的前五个比特是10100, 编码 流将是 m o o o iiio o o o o o 。对应每个信源比特 ,领受者将收到三个比特 ,可是因为存正在信 道“噪声 这 二 1个比特可能不完全不异。若是信道干扰了传输的第2、第 5、第 6、第 12和 第 13 比特,领受#将 收到。稍微思虑一下你就会认为 ,此时领受者对信源比特进 行译码的最佳策略是对领受的三个比特多票判决。正在我们的例子中 ,如许译 出的领受消息是 11100,第二比彪炳现 了一个错误 。一般环境下,若是一个信源比特的三个反复编码 比特中有 两个或二个被信道干扰了 ,领受就会犯错 。因而, 若是用6 暗示误 比特率, 兄 = 户{2个信道错误} + P {3个信道错误} = 3 / ( 1 - P) + / ( 0.1) 2 信 息 论 取 编 码 理 论 (第二版) 因为 P 矣+ ,这个值一般比原始误 比特率P 小;这种简单的编码策略提髙 了信道的靠得住 度 ,而且 P 值越小 ,提高就越显 著。 现 正在很容易看出,通过对每个比特反复编码更多次能够获得更髙 的靠得住度。因而若是 尺= I/(2a + 1) ,此中灯为正整 数 ,则 正在传 输之前就能够 对 每个比特反复 编码 + i 次 (见习 题 0.2),而且釆用前面提到的多票判决原则译码 。现 正在很容易得出最终误 比特率P 严Al)的 公式: /f w+1) = £ 尸丨个传 输比特中有々个信道 错误 } :-(7+ I (0.2) 2« + 1 P n 十/^的高次项 « + 如 果 /! 3,该 值 随 着 而 趋 近 于 0 的速度要比前面考虑的〃 = 1 的特殊环境快[4\因 此 就 很容易理解 ,为 什么长反复序列比短反复序列更无效。这里需要进 一步强调的是 ,对 于原始误 比特率/+ 的固定 BSC,S 时 ,P ^ + 1)—〇,即通过这些反复编码 体例,能够使信道达到 抱负的靠得住度D 研 究 / ^ n + l)的公式(0.2)最终 能够得出如许的结论 。但也能够换一种体例, 采用弱大教①来进行阐发 ,若是正在信道中传输凡个比特 ,则对 于肆意〇〇,有: 信道错误的数目 lim P (0.3) tV—r〇C —N 也就是说 ,只需凡的取值脚够大,领受比特中犯错的比例就不成能取P 相差良多。因而能够 对 尸:2n + 1)做如下估量: = 尸f 领受的传输比特中犯错的比例 n + 1 1 1 \ 赛 ^ — _ i 2ft + 1 2 4n ^ 2 f 忘尸{ 比例 9 矣/^丨比例一p 丨 一 p } 按照式(0.3),当 ;i 一 》时 ,P ,+ l)确实趋近于0。我 们由此得出结论:若是A 的值很小 ,即便 信道本身的噪声很大 ,也能够使最终的错误概率很小。这个结论当然并不奇异。 以上会商的都是速度小于1的环境。当 速度大于1 时环境会怎样样呢?正在 这种前提下 , 通信的靠得住度又若何? 如 果B 1,不妨只传输信源比特的1/K 部门 ,并让领受者以抛硬币的体例猜测其余的部 分。很容易i 丨算出这种简单体例的最终误 比特率为: ① 正在 附 录 A 中会商。 3 R - \ — R X 2 (0.4) = ]2~ ih ~ P )i R 现 正在以只= 3为 例 ,来介 绍 别的一种当/f l 时 能够采用的略有创意的体例。若是/? = 3, 信道只能传输信源所产 牛比特的二分之一。因而发送者将信源输出分为 三比特一组 ,而且只 传输 这 三比特中占大都的比特。例如 ,若是信源输出,发送者将 正在信道中传 输 1110U 领受者只需将收到的每个比特反复三次= 此 时 若是信道干扰了传输的第二个比 特 ,领受者将收到1010〗,并 扩展 为 ,于是就发生了 _fi ;比特的错误 。一般倩况 下 ,最终的误 比特率为: Pe = \ x 〇 P (0.5) = } + 户/2 留意 这个成果比我们前面取穴 = 3 时 ,通过 “抛 硬币 ”体例得出的j + //3要小。当 K 取其他 的整数值时,采用该 体例的通用结论做为习题(见 习题fK 4)留给读者推导 。 到目前为 止我们所考虑的体例都是微不脚道的 ,当然也并非毫无意义。现 正在引见一个更 主要的例子 ,事 实 h 正在川48 年以前人们对这种体例还毫无领会D 这 里 假 设 = 4/7,即对 于信源发生的每四个比特 .信道都有 时间再传输三个附加比特。 我们 细心 地选择这些附加比特:若是四个信源比特暗示为%, 心 ,则附加或者冗佘(或 者奇偶校验)比特暗示为 、,a 5, 它 们由下列等式确定: 三 jc彳 + ;t2 + A (mod 2) x 5 = x a ^ x 2 ^ (mod2) (0.6) 三冲+ 丨i + 而 (mod 2) 举例申明 ,若是u , 心)=(〇11〇),则 U , 〜 )= (o n ),而信道将传输的全数七比 特 码 字为 0110011。 为 了申明领受者若何通过被干扰了的七比 宇估量 四个信源比特,即描述他的译码算 法 ,我们按照下面的体例沉写奇偶校验式( 0 . 6 ) : X ! + JC2 + 尤3 + 太4 — 〇 + ^3 +丨5 = 〇 (0.7) X〇 H- X + Xj ~h X6 = 0 [式 (0.7)中采用的也是模2 运算D]换一种略微分歧的描述体例,若是定义二进制矩阵 好为: * 0 1 1 1 1 0 0 // ^ I 0 1 1 0 i 0 0 10 0 则 我们 看到16个 可 能 的 码 字 1』,巧,x 3,x 4, A , 都满脚矩阵-矢量方程: 0 H \ r = 0 (0*8) 0 [式 (0,8)中上角 标 r 暗示“转置”。] 4 信 息 论 取 编 码 理 论 (第二版) 能够设想BSC对传 输的每-比特加(模2)0或 者 1 ,加 0 暗示这一 比特领受时没有 错误 ,加 1则 暗示有 错误 。因 此 如 果 传 输 的 是 \=($(),:^,“.,:^ ) ,则 接 收 矢 量 是 7=(;^ + 〜 ,;^ + + 此中若是信道正在 传 输的第丨比特 产 生了一个 错误 ,则 & = 1 ,否 则 ^ = 0 。因 此 ,若 将 z = U Q,^ ,… ,z6)定义 为错误图 案 ,则 y = x + z 。 领受者领受到y 时但愿确定x ,为此他将计筧下面的矢量 sr = H y T - = H x t + H tJ ( 0 . 9 ) = H zT [见式(0.8)] 这里 s 称为y 的陪伴式[5] Uymteme)。陪伴式中的一个0 分量暗示y 满脚响应的奇偶校验 方 程 ,面 1分量则暗示不满脚。按照式(0.9),陪伴式不依 赖 于发送的码字,而只取错误图案2有 关 。可是因为x = y + z ,若是领受者找到了 z ,也就晓得了 X ,因而译码问题 的沉点是寻 找z 。 等式/ = 表白 ,/是 取 z 中 1分量相对应 的//矩阵 中列矢量的(二进制)和 ,而 z 中 1分 量对应的比特是被信道干扰的: 0 0 T 0 s = Z 〇 ] 十幻 0 ( 0 . 10) 1 1 1 ■ _ 领受者的使命是,一A 计 算出 s ,就通过 方程式s7= 丑, “求解” 遗 憾的是 ,这里只要三个方 程却有七个未知量,因而对应任一 s ,总有16个可能的 I 这明显曾经是一个前进了 ,由于z 本 来 有 128种可能的取值 ,可是领受者若何正在剩下的16个值中进行 选择呢?例如 ,假设领受到 y = (011100〗),则 s = ( 10 丨 的 16 个候选值为: 0 0 0 0 0 0 0 0 0 0 ] I \ 0 0 0 0 0 0 0 0 0 0 0 0 J 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 \ 0 0 0 0 ] ) 0 ] 0 t ] 0 0 0 0 0 0 ] ] 0 ] 0 0 0 面临如许一组 可能的错误图案 ,显而易见的是:因为原始的误 比特率P i ,错误图案包含的1 的个数(错误)越少 ,就越有可能是现实的错误图案。正在 这个例子中 ,幸运的是 ,分量最小的错 误图案(0100000)只 有 -个 ,这里的分量代表错误图案中1 的个数 。此时领受者对z 的最佳估 计(同 时根据陪伴式和信道统计特征)是 Z = (010_); 对 传 输 码 字 的 估 计 是 X = y + Z = (001100⑴面最终对 四个信源比特的估量是(00i 1)。 当然正在的例子中也并不是实正的幸运,由于 能够看到对 于肆意陪伴式S,方程好 8『老是存正在分量为0 或 3的专一解。好比,若是s =( ooo),则期望的成果是z =(0000000)D 但 是 如 果 (〇〇〇),则 f 必然做为//的某一列呈现;若是sf = //的第f 列 ,则 第 ;位 为 1、其余位 都 为 0 的错误图案z 是//, = 的专一最小分量解 D ^ 现 正在能够总结 一下称之为(7,4)汉明码的译码算法。给定领受矢量y ,领受者将施行下列 步 骤: 1. 计 算 伴 随 式 = 片y , 2 . 若是 s = 0,设置2 = 0;到 第 4步 。 3 . 寻 找//中专一取3不异的列 ,称 它为 第;列 ,并设置全的第 E_位等于1,其余位都为0。 4 . 设置 * = y + L ( 这是领受者对传输码字的估量 。) 5 . 输出 i 的前四个分量(心 ,心,心, (这是降码器对原始信源比特的估量 ,) 按照 这种算法发生的矢量2有 u能取现实的错误图案z 分歧2 可是若是信道最多只发生一个 错误,即若是z 的分量是0 或 者 】,则 根 据 fc 面的会商 有2 = Z 。丙此汉明码是糾正单个错误 码 。现实上很容易看到,当 且仅当信道发生两个或更多错误时 ,按照的译码算法才不克不及正 确译 出原始码字X 。因而,如 果 表 示误 组 率 P S ^ X 丨, k -P)1- ^2\p 2 - 70/?3 + etc 当 然误组 率心并不克不及申明全数环境 ,由于 即 使 中 的 某 些 分 量 也 有 可 能 是 正 确 的 c 如 果 用 表 示 误 比 特 率 则 对 于 所 有 的 〇 正在 纟 6, 可 以 证 明 : ^ = V ( l - p)5 + ]9 p \ i - p f + 16/(1 - p f + 12p 5( l 〜 p )2 + 7/( l - p ) + P7 (0.11) = 9p 2 - 26p ^ -h etc 将该式取式(0.1)比力 ,会发觉对 于原始错误概率很小的BSC,汉明 码 正在速度为4/7 = 0.571时 的机能 ,取简单反复编码 体例正在速度为1/3 =0.333时的机能近似。 也能够通过 交换(7,4)汉明码中发送者和领受者的法则来进行 K = 7/4的通信。这时发送 者将信源序列分为 七比特一组 ,通过前面的译码算法(正在此变为 “编码算法”)将每组 七比特减 少到每组 四比特,并正在信道中传输 这 四比特。领受者译码时操纵领受到的四比特,通过运算奇 偶校验式(0.6)发生附加的二比特。这 种 方 式 最 终 的 误 比 特 率 取 i 有 关 ,但 是 平 均 的 为 : 1 c i 59 7 &二互u -/〇4 + 器 (i — /〇V + 3u - p ) V + 元 u - / V + 互 / 1 39 (0 .12) H p + etc 对 于无噪声(/=〇)BSC,这个结杲的机能更为优越 ,例如皮 = 7/4 时 ,由式(0.4)给 出的“抛硬 币,,体例的/^ = 吾 = 0+214。 现 正在通过 一个特定的BSC总结 一下所领会的学问 。给 定 ; = 0.1,设 z = 尺暗示速度, Y = 八暗示最终误 比特率,对 前面 会商 的每一种通信模式正在 U , T )平面上画出—个点 ,如 图 0.1所示。若是有脚够的耐心和聪慧 ,能够继续提出一些特殊的体例,并正在 图 0.1顶用点标 6 信 息 论 取 编 码 理 论 (第二版) 明。当 然我们的最终方针是但愿领会哪些点可以或许达到而哪些点不克不及达到。令人难 以相信的 是 ,喷鼻农曾经实现 了这个g 标 。但正在给 出喷鼻农的结论 之前,先 进 一步明白一下速度为 的 编 码 体例以及响应误 比特率匕的概念。 图 0 . 1 对应 BSC(p = 0.1)的 一 些 可 达 到 的 夂 )点 如图 0.2所示 ,一个U , fc)码的方案是起首将信源序列划分为A 比特一组 ,而每个A 比特 的信源分组 I I再变换(编码)为 一个〃比特的码字X ,并通过信道传输 ,则领受到的可能是受了 干扰的y 。译码 器将这 个^比特 带 噪声的 码 字变换为 一个比特的分组v ,做为对原始信源序 列 u 的估量 。这个通信系统的速度为 尺= A / m 误 比特率定义为: i=i 此中 , - P {〇 ii^ Uj}t 1, 2,… ,k n ,A 卜 …,X。) 信道 y 信 道 h (外 ,,■ 0 ( V】,V2- ■_ 图 0 . 2 对应 二进制对称信源和BSC的一个(rt, ft )码 (能够当即看出 ,可能除了 /i 英1的“抛硬币 ”体例,前面介 绍的每一种体例都合适 这一描述;见 习题0 . 5 。 ) 若是存正在一个U ,A ) 码 满 脚 l P , 矣厂就称图0 . 中的点U ,y )是“可达到” 的。对应特殊的 BSC(/=0.1),图 0. 3中显 示了所有可以或许达到的点的调集。当然问题的环节 是要领会 图 中可达到取不成达到区 域之间界 线 的描述。为 了给 出这个描述 ,需要介 绍沉 要的二进制熵函教: 片 2( 幻 = —d 〇 g2 — (1 — _v)log2(l - 又 ), 0 X 1 (0.13) H 2(Q) ^ H 2(\) = 〇 R 图 0 . 3 对应 二进制对称信源和B5C(/^ 0.1)的可达到的d P J 点 y =//2U )的曲线中介 绍 了私U )的一些主要性质)。现 正在能够描 述图 0 . 3中可达到取不成达到 区 域之间的界 线 了。界线 中的曲线 部门是 满 脚下式的 点(尺,〇 的调集: J - 2(〇 U 0^ P,{ (0.14) t - H 7(pey 残剩的界线是开轴的一部门 ,从 到 尺 = 1 - //2(0.1) = 0.531。对 于一般的BSC,结论是 不异的 ,只是式(0.14)被下式取代: 1 - H 2 ( p ) (0.15) ~ H 2(P,) 而且响应的开轴部门是从/?=〇到 尺 =1- 如 图 0.5所示 图 0 . 4 二进制熵函数 从 图 0.3和图 0,5中能够得出许 多主要结论 。但最主要的是,如 果 -仏 (/〇,则任 何正值的尸f ,非论取值何等小 ,都是可达到的!例如 ,如 果P 根 据 图 应 该 存 正在 一 个 速度多0,5的码,其最终的误码率1〇-知!这个主要的数值1 - 馬 (/〇称为信道的容量;图 的特 别寄义称为信道编码□ 这个表白当速度低于信道容量时,肆意靠得住的通信都是可 能的。(取我们前面的结论做比力,这证了然通过反复编码,跟着於4) ,汽能够同样趋近于〇。) 8 信 息 论 取 编 码 理 论 (第二版) 1 2 2 4 n - 图 〇T5 对应 二进制对称信源和一般BSC的可达到的(仏 点 不夸张 地讲,本书的全数内容就是研究图0.5及其推广形式。第一部门将通过证明来描 述一大类“信源-信道”对的可达到区域(相关内容见第5 章 ,建 议读 者 尽 快 浏览 一下可是 这些证明从某种程度上来讲并不完美, 由于 它们 只断言存正在 ,并没有切确描述具体的码。这个 问题将会正在第二部门中获得部门处理 ,那时将细致介 绍一些主要的适用码。 习题 〇.1解 释 一下为 什么关 于BSC原始误 比特率0名 / ^士 的假设本色 上是不失一般性的。 0 . 2 设 /f = l /2n ,n 为某个整数 。为 了正在BSC 中通信,考虑一个“每比恃反复h 次”的方案。 (a) 设想 一个合适的译码 方式,并计较出最终的误 比特率 (b) 证明正在U )中获得的成果取式(0.2)中 /? = l /(2n - 1)时采用反复编码 方案的成果完 全不异。 0 . 3 证明式(0.5)。 0 . 4 设 f i = 2 a + l ,r i 为某个整数 。雷同于文中所述的/? = 3的方案 ,考虑 一个“发 送 + ] 个相邻信源比特的多票判决成果”的方案D U ) 证明 ^=(1-/) 〇 +户 (1 - 〇 ,此中 , e = H 2: ) 2 侧 (b)证 明 /? = 2 ^ 时采用雷同的方案将获得完全不异的P, 值。 0 . 5 假 设 且 是 有 理 数 ,申明若何将文中迷糊的“抛硬币 ”方 案转 换 为 图 中 的 U J ) 码形式。然后证明最终的误 比特率为 式(0,4)。 0 . 6 将 下列矢最译码 ,假设它们是开= 4/7汉明 码的“噪声”样本:UOOOOCMOIOIOI,0111100。 0 . 7 将 下列矢量译码 ,假设它 们是f t =7/4汉明码的“噪声”样本:1010,0001,011U 0 . 8 证明式OK11)。 0.9 证明式(0.12)。 引 言 9 0 . 10 证明式(U.13)中定义的二进制熵函数& U )具有如下性质: (a) 孖、(x ) = logj(1 - x)/;c 。 (b) Hf\ {x ) - - [ 1 - ^)log2] _l 〇 u ) 私 U )备l ,等式成立当 且仅当X = f : (d ) //2(:r )0 ,lim sKM^ 2(A:) = 0。 (e ) H 2 (^ )=H 2 (l - x )〇 0 . 11 将 可达到取不成达到区域的鸿沟记为B (/〇,对 所有/?0, 它存正在持续的导数吗?计较 B ( /〇 ,并用通信术语注释你的成果。 正文 [ 1 ] 喷鼻农于1916年 4 月 30 P 生于美国密歇根州佩托斯基= 曾就读 于密歇根大学电子 工程和数学系 ,于 1936年获得理学学士学位。1940年正在麻省理工学院获博上学位, 后又正在普林斯顿 大学了一年。之后 ,插手了州普林斯顿的贝尔电线年 ,正在某种程度h 出于和事的需要.喷鼻农对通信问题起头了深切的研究 ,并汇 集他的研究. 于 1948 年颁发了名为 “A Mathematical llieoiy of Communication ”(通 信中的数学理论)的论文f ( 这篇论文正在文献[25]中被全数从头收录 〃) 伴跟着许 多的科学发觉(例如1905年 爱 因斯坦提出狭义),现 正在看来当 时发生科学冲破的 机会曾经成熟了。但正在通信理论范畴却并非如斯。虽 然正在20世 纪 40年代喷鼻农的工做并非取世 ,可是他的理论却很是独树 一帜,以致于其时的 通信专家都无法& 即接管。怛是跟着他的逐 渐被数学/工程界认 可,他的研究 也逐步分立为 一门簇新的学科 ,并有更多的人起头 跻身 这一范畴。开初成长得较缓 慢.但后来这个学科成长得越 来越快 ,庭到现 正在每年都有上百篇佶息理论的论 文 颁发。 喷鼻农凭仗1948年颁发的论文,被认为是独 一无二的消息论之父。除此之外. 他还被 评 为 1948年当前对此范畴做出最大贡献的人! d 从颁发“ A MathemaUcai Tlieory of ComnumicatiorT论文以来. 他的每篇论文儿乎都能够形成其他人科研思惟的无价源 泉^ [例如 ,正在 1973年消息论方面的主要论文集中(拜见文献[25]),援用的49篇论 文里.

  请盲目恪守互联网相关的政策律例,严禁发布、、的言论。用户名:验证码:匿名?颁发评论

  1.本坐不应用户上传的文档完整性,不预览、不比对内容而间接下载发生的问题本坐不予受理。

  《消息论取编码理论(第二版)》【可复制版】(做者)[美]R.麦克伊利斯()李斗 殷悦 罗燕 电子工业2004年2月第1版.pdf