基于Hadoop的某电视台智能监管平台 摘要 电视台随着高清和4K技术的发展，大量的视频数据需要存储、备份、管理以及提供节目制作者进行检索和下载，老的技术平台难已满足爆发式的需求，面对逐渐增加的数据量及越来越严重的网络安全问题，能够实现容灾容错目的，数据保存、管理等技术就必须搭建新的播出管理系统。传统数据备份及管理都是利用单一存储介质实现的，此种方法实现的较为简单，成本比较低，但是缺乏较高的安全性及扩展性。目前发展的分布式技术能够实现数据分布式存储和运算，Hadoop技术属于分布式技术代表，其具备分布式文件系统，能够充分使用节点资源，具备多副本特性和良好的扩展性、安全性及效率。所以，基于数据存储、备份及管理的安全性和效率需求，能够通过Hadoop技术实现数据管理，搭建基于分布式技术的智能监管平台。本文主要工作如下：一是调研hadoop和MapReduce的大数据处理机制和原理，结合虚拟机部署大量的终端。二是分析电视播出各业务的实际需求，以安全快速为目标，能够提供数据的安全检索等功能。三是分析数据处理过程中的异常情况并且和原来老的系统进行比较，观察性能和效率是否得到提高。

本文所设计的智能监管平台在数据备份过程中具有较高的安全性、统一性及整体性，还能够恢复数据。在分配资源过程中具有优先级，并且实现数据恢复操作。和传统系统对比，基于Hadoop技术的智能监管平台具有较高的效率及安全性。

关键词：Hadoop技术；
计算机网络；
网络安全管理；
管理系统 Abstract TV stations with the development of high-definition and 4K technology, a large number of video data needs to be stored, backed up, managed and provided by program makers for retrieval and downloading, the old technology platform has been difficult to meet the needs of explosive, in the face of increasing data volume and increasingly serious network security problems, can achieve disaster tolerance fault-tolerant purposes, data preservation, Management and other technologies will have to build a new broadcast management system. Traditional data backup and management are realized by using a single storage medium, which is simple to implement and has low cost, but lacks high security and extensibility. At present, the developed distributed technology can realize data distributed storage and operation, Hadoop technology belongs to distributed technology representative, it has distributed file system, can fully use node resources, with multi-replica characteristics and good scalability, security and efficiency. Therefore, based on the security and efficiency requirements of data storage, backup and management, we can realize data management through HADOOP technology and build an intelligent supervision platform based on distributed technology. The main work of this paper is as follows: first, to investigate the large data processing mechanism and principle of Hadoop and MapReduce, and to deploy a large number of terminals in combination with virtual machines. The second is to analyze the actual needs of television broadcast business, with the goal of safe and fast, to provide data security retrieval and other functions. Third, analyze the abnormal situation in the data processing process and compare it with the old system to see if the performance and efficiency are improved. The intelligent supervision platform designed in this paper has high security, unity and integrity in the process of data backup, and can also recover data. Prioritize in the allocation of resources and implement data recovery operations. Compared with traditional systems, the intelligent regulatory platform based on HADOOP technology has high efficiency and security. Keywords: Hadoop technology; computer network; network security management; management system 目录 摘要 1 Abstract 2 第一章 绪论 5 1.1研究背景 5 1.2 研究现状 5 1.3 论文主要工作 6 1.4研究内容 6 第二章 关键技术分析 8 2.1 Hadoop云计算平台 8 2.2 HDFS文件操作 8 2.3 HDFS身份认证技术 9 2.4 MapReduce介绍 10 2.5 Hive数据库工具 11 2.6 Hbase开源数据库 12 第三章 计算机网络安全管理系统需求分析 14 3.1 项目概述 14 3.2 系统的需求分析 15 3.2.1 系统的主要功能需求 15 3.2.2系统的非功能性需求 17 第四章 智能监管平台的设计 19 4.1系统的功能架构设计 19 4.2系统的硬件结构设计 20 4.3系统的功能模块设计 21 4.3.1通信模块 21 4.3.2设备管理模块 22 4.3.3事件处理模块 23 4.3.4安全评估模块 24 4.3.5数据备份模块 26 4.4系统的数据备份设计 27 4.4.1用户认证模块 28 4.4.2策略配置模块 29 4.4.3数据备份模块 30 4.5系统的数据恢复设计 31 4.5.1身份认证模块 32 4.5.2数据恢复策略配置模块 32 4.5.3数据恢复模块 32 4.6一次性口令身份认证设计 34 4.6.1符号和标识 35 4.6.2注册过程 35 4.6.3认证过程 35 4.6.4修改口令过程 36 4.6.5方案的安全性 37 第五章 系统的实现和测试 38 5.1 系统主要功能的实现 38 5.1.1 通信模块的实现 38 5.1.2 设备管理模块的实现 39 5.1.3 事件处理模块的实现 40 5.1.4 安全评估模块的实现 40 5.1.5 数据备份模块的实现 41 5.1.6 桌面虚拟化的实现 42 5.2 系统的测试 44 5.2.1 系统部分功能测试 44 5.2.2 系统性能测试 46 5.2.3安全评估 47 第六章 总结和展望 49 6.1 工作总结 49 6.2 研究展望 49 参考文献 50 致谢 54 第一章 绪论 1.1研究背景 目前，由于计算机网络技术发展较为迅速，其已经进入到千家万户中，成为现代人们生活中尤为重要的内容。但是，大规模的使用计算机网络，虽然能够为人们生活带来方便，也成了部分问题，比如网络安全问题，导致用户数据丢失、账户密码被盗等。另外，自然灾害等原因也会导致网络系统信息数据丢失。为了面对天灾人祸导致的数据信息丢失，容灾技术备受重视。数据备份管理技术为容灾技术代表，利用某时间点数据的备份，在系统数据丢失或者被破坏之后，利用数据备份恢复系统。一般，数据备份概念较为简单，也是各个企业及部门首选择的灾备技术方案。传统数据备份都是利用本机存储介质或者单一化的存储服务器实现，此种数据备份主要特点就是廉价、简单，方便实现。但是此种传统数据备份技术也存在部分安全隐患，假如存储介质或者服务器被破坏，那么所备份数据就会失效。另外，对大规模数据来说，使用单一服务器及存储介质方式，对存储介质容量都是严峻考验。

某电视台技术播出部为响应国家广电总局号召发展高清和4K电视技术，需要进行设备和技术方面的更新，包括高清化机房改造，演播室高清化改造等，随后由于高清节目素材的播出，将产生大量的视频存储数据。以前老的播出管理系统由于结构比较单一，无法应对如此大量的数据管理工作，数据备份尤为重要。在数据量不断增加的过程中，如何实现数据的存储、备份及管理，保证数据的一致性及安全性，是目前需要考虑的问题。基于Hadoop搭建的智能监管平台能够解决此问题，其能够通过分布式存储的方式扩大存储容量，并且使读写速度得到提高。分布式文件系统HDFS的主要特点就是需求较低、简单容易使用，属于Hadoop结构主要核心，从而使Hadoop能够在配置较差，并且价格比较低的计算机中部署。因为使用Hadoop技术创建的数据存储及备份模块，就是使系统数据分布备份到另外的设备中，整个级联系统设备存储空间就能够充分使用。另外，利用Hadoop中的HDFS多副本特性，能够使不同副本都放到不同安全管理设备中，使备份安全性得到进一步的提高。

1.2 研究现状 在我国社会不断发展的过程中，企业数据量也在不断的提高，以此现代企业对于海量数据的存储及处理也越来越重视。目前，国内外研究人员对Hadoop云计算平台备受重视，此技术被广泛应用到网络领域中。已经有公司内部已经创建了一万节点以上规模的Hadoop集群对产品使用进行支持，比如广告优化选择、反垃圾邮件系统、大数据处理、搜索排名等。目前，Yahoo还在深度研究Hadoop。Facebook属于世界较为著名的社交网站之一，其中的数据处理量及存储量较大，每天要添加TB以上压缩之后的数据并且扫描，以此对于高性能云平台使用尤为重要。Hadoop能够有效满足Facebook高性能的需求，其被Facebook应用到数据仓储、日志处理及推荐系统中。国外各个科研院所也逐渐重视Hadoop的研究，越来越多的高校都逐渐加入到Hadoop的研究中，比如康奈尔大学、加州大学等。

Hadoop也被广泛应用到国内公司中，比如百度，其提供社区搜索和百度百科等搜素引擎作为基础的产品，要指定时间中实现数据线下分析和处理，并且到平台进行反馈，要求云计算平台具有良好的性能，从而实现处理。Hadoop应用到百度中的主要目的就是存储日志并且对其统计，将网页中的数据充分挖掘，并且实现数据在线反馈和用户的网页聚类。利用1100台机器创建淘宝Hadoop，总存储量位9.3PB，云技术团队能够优化Hadoop，并且实现个性化修改。

在学术研究方面，我国部分高校及科研所也开始研究Hadoop，主要内容为存储数据、优化性能、作业调度、系统安全性及资源管理等。中科院研究人员分析了HDFS数据容灾及小文件问题，并且制定了将纠删码作为基础的解决对策。华北电力大学研究人员将智能电网状态监测数据特征为基础，设计并实现了基于Hadoop平台数据存储系统的设计。

1.3 论文主要工作 随着高清和4K技术的发展，大量的视频数据需要存储、备份、管理以及提供节目制作者进行检索和下载，老的技术平台难已满足爆发式的需求，所以就有必要搭建分布式的管理系统。本文主要工作如下：
一是调研hadoop和MapReduce的大数据处理机制和原理。

二是分析数据管理平台的系统需求，以安全快速为目标，能够提供数据的安全检索等功能。

三是分析数据处理过程中的异常情况并且和原来老的系统进行比较，观察性能和效率是否得到提高。

1.4研究内容 本文以某电视台需求发展趋势，提出了以Hadoop分布式技术的智能监管平台，本文主要研究内容为：
第一章，对本文的研究背景及研究现状进行分析，总结国内外相关工作；

第二章，对系统设计的关键技术进行分析；

第三章，对系统设计的非功能性及功能性需求进行分析；

第四章，详细分析系统设计，包括硬件及模块的设计；

第五章，对设计的系统进行实现和测试；

第六章，对本论文进行总结。

第二章 关键技术分析 2.1 Hadoop云计算平台 Hadoop来源于Apache Lucene子项目中的Nutch，在2004年，谷歌发表了相关论文之后，Doug Cutting等人开始重视MapReduce并行计算框架的研究，并且结合NDFS和MapReaduce，从而支持Nutch引擎算法。之后，Apache在顶级项目中融入hadoop，并且应用到大部分的互联网公司中。用户将Hadoop作为基础实现分布式平台的创建，从而进行分布式计算。其次，还有用户利用Hadoop实现大规模数据的应用程序开发及使用，其主要优势为：
扩展性：在计算机集群中，Hadoop能够实现数据的分配，并且此集群规模还能够实现多节点的扩展。

可靠性：Hadoop是根据位实现数据存储，其数据处理能力能够满足人们需求。

高效性：Hadoop可在不同节点中实现数据状态转移，计算速度相较于其他计算方式而言更快。

容错性：Hadoop可完成多副本数据的保存，对失败任务可完成重新分配。

在Hadoop不断发展的过程中，其中已经具有多子项目集合，虽然分布式文件系统HDFS及MapReduce为主要核心内容，但是其中的Hbase、Avro、Common等其他的子项目也都具有重要的作用，他们具有互补性的服务，或者还能够在核心层中提供更高层次的服务。

2.2 HDFS文件操作 Hadoop分布式文件系统（HDFS）属于Hadoop核心内容，其不同于普通的文件，为专门在MapReduce此种框架中大规模分布式的数据处理所设计，能够使大数据集成为单一文件进行存储。Hadoop还能够对在多台机器中所分布的数据副本进行管理，从而使编程人员不再对其他细节像对单一文件编程进行考虑。

HDFS具备容错性等特点，能够在低廉硬件中部署，使用Master/Slave架构，其中一个HDFS集群主要包括两个节点，分别为节点和节点，节点属主控制服务器范畴，主要功能是实现文件系统的管理和维护，以及对 访问文件进行协调。DataNode节点主要目的就是实现实际数据的存储，对客户读写请求进行处理，根据NameNode命令实现数据块创建、删除及复制等操作。利用HDFS还能够对文件管理，一般的操作包括目录、文件的添加，文件的删除及获取等。此操作具备相应命令行命令，还具有专门提供编程的JavaAPI。Hadoop文件API利用抽象类FlieSystem实现文件系统交互，利用其中的各种子类对HDFS及本地文件系统进行分别处理。在一般系统中，HDFS主要是应用到视频文件存储及处理所生成临时文件中，文件一般以64MB划分成为多个数据块，所有数据块都能够在不同DataNode中存储。

2.3 HDFS身份认证技术 HDFS文件系统在全新Hadoop集群中缺乏用户，整体的HDFS文件系统中只有根目录“/”。在Hadoop超级用户对HDFS上传文件的时候，HDFS就会自动在根目录中创建文件夹，并且在文件夹中再创建将此超级用户名字进行命名的文件夹。假如超级用户的名字是superuser，那么HDFS就会创建/user/superuser文件夹，superuser超级用户中的传输文件存储到此文件夹中。在最新用户对HDFS文件系统使用的时候，超级用户就会为新用户在HDFS中创建用户身份。在此过程中的操作一共有两个：超级用户要实现在/user目录中，并且创建于新用户用户名一样的文件夹，之后将此文件夹所有权对此新用户转移，实现权限的设置。

以此，超级就在HDFS中创建了用户，用户所上传的文件都会在相应目录中存储，用户对于文件夹具有全部权限，其能够在此文件夹中实现文件夹及文件的创建。在默认的事后，Hadoop利用客户端操作系统得到客户端的用户身份。但是由于其他用户都是在远程系统中，远程客户端通过自己名义创建同名账户，以此对HDFS进行访问。那么此身份认证模式就能够应用到合作团队中，但是还不能够应用到互联网中。虽然Hadoop中存在认证机制，但是其无法对MapReduce进行计算，并且其中没有KDC，也就是密钥分配中心，所以要求额外配置及安装，使用不方便。

在利用FileSystem类中方法对HDFS数据读取访问的过程中要先得到FileSystem实例。方法中user变量指的是得到FileSystem实例用户user。所以，能够利用自定义方法认证用户user身份认证，之后利用上述静态方法，使此合法用户能够得到自身FilSystem实例，以此具有足够权限对HDFS实现文件操作访问。

2.4 MapReduce介绍 图2-1 是一种常见的编程模型，应用于数据集计算中。即概念“Map（映射）“和“Reduce（归约）“，主要思想是基于函数编程语言发展而原来的，为编程人员在对分布式并行编程语言和编程方式不熟悉的情况下提供了有效的开发工具，将开发者设计的程序在分布式系统中予以应用。当前软件通过制定Map函数并将一组键值对映射为新的键值对，通过指定并发Reduce函数来保证所有映射键值对共享相同键组。下图为基本原理。

是一种面向大数据的并行处理计算模型，其含义包含如下三个方面：
1.是一个基于集群高性能的计算平台（Cluster Infrastructure）。准许应用上次阿红肿商务服务器构成的并行计算集群。

2.是一个运行软件框架，具有自动化计算任务处理功能，自动划分计算数据以及计算任务，在集群节点中完成任务的分配和计算结果的自动收集，将数据并行计算中涉及的很多复杂细节传递到系统主控模块进行处理，因此这种处理方式在很大程度上降低了开发人员的工作强度。3.时一种函数式程序设计思想，提供了一种简单的程序设计算法，利用两个编程函数来实现对应的复杂计算任务，相对简单、高效的完成大规模数据的编程以及处理 。

提供下述主要功能：
1.数据划分和计算任务调度：
系统将待处理大数据进行划分，得到不同的数据块，分别对应一个计算任务，同时通过对系统计算节点的调度来完成相应数据块的处理工作，作业和任务调度主要实现分配和调度计算节点，除此之外也要完成不同节点运行状态的监控。

2.数据/代码互定位：
为了尽可能减少数据通信，要满足本地化数据处理原则，即对于一个计算节点而言要完后曾本地磁盘上分布数据的计算和处理，当不能满足本地化数据处理原则时，可通过寻找其他节点将数据从网络传输到该节点，但应尽可能从本地机架上寻找可用节点，降低网络通信延迟时间，提升系统响应效率。

3.系统优化：
为了降低数据通信过程中的资源消耗，数据在进入节点之前会实现合并处理，一个节点处理的数据可能来源于多个Map节点，为了防止计算时发生数据相关，在Map节点输出中间结果时要采用合理的策略完成划分，保证相关性数据发送至同一节点。除此之外，系统还需进行计算性能优化处理，例如对最慢计算任务选择最快完成者作为结果进行处理。

4.出错检测和恢复：
利用商用服务器所构成大规模计算集群中，节点硬件出错可能性较大，因此对于而言需要检测并完成出错节点的隔离，调度并分配新的节点，完成出错节点计算任务的执行。除此之外，系统配备有备份冗余机制提升了数据储存过程的可靠性，可完成出错数据信息的及时检测和恢复。

2.5 Hive数据库工具 是基于中的一个数据库仓库工具，可将结构化数据文件映射为数据库并，同时提供数据库查询功能，实现sql语句和任务的相互转换运行，该工具的优点为低成本，可通过这数据库语言实现对的统计，因此无需开发专用工具，适合实现数据库统计分析，是基于 所构建的技术构建，提供一系列工具，可用来完成数据提取和转化加载，可储存、查询和分析大规模数据。对简单类的SQL查询语言进行了定义，可将其称之为，准许用户实现数据查询。除此之外，语言准许熟悉的开发者开发和来处理内建和不能完成的复杂分析工作，未建立专门数据格式，可在Thrift之上工作，完成分隔符控制，准许用户使用指定格式的数据。

为一种低层封装有的数据仓库处理工具，利用不同的数据库语言瓦城数据查询，所有数据均储存于所兼容的文件系统之中。

在完成数据加载过程中不会对数据进行修改，仅将数据移动至HDFS中目录之下，由此可知，不支持数据添加以及改写，所有数据均在加载时确定，设计特点如下。

1.支持创建索引，可实现数据查询的优化。

2.具备不同的储存类型，包含文本文件、中的文件。

3.将元数据保存于关系数据库中，因此减少了数据查询时执行语义检查的时间。

4.可以使用储存于文件系统中的所有数据信息。

5.内置用户函数以及数据挖掘工具，支持用户扩展函数实现其他操作。

6.类SQL查询方式，将SQL 查询转换为的任务在集群中执行 2.6 Hbase开源数据库 HBase是一个分布式的、面向列的开源数据库。图2-2为Hbase所在工作层面。该技术来源于 所撰写的论文“：一种结构化数据分布式储存系统”。就像利用了文件系统提供的数据储存系统相同，在之上具有与相似的能力。是的的子项目。与一般的关系数据库之间具有一定的不同之处，是一个适合非结构化数据储存的数据库。另一个不同之处为模式未基于列而非基于行。

是一种高性能、可伸缩的分布式储存系统，利用技术科在中完后曾结构化储存集群的搭建。与等商用 产品相较而言，是的代码为开源，与 利用GFS作为文件储存系统相类似，利用作为文件存储系统；
运行来对中产生的数据信息进行处理，同样也通过来处理中中所产僧的数据信息；
利用作为协同服务，相应的利用作为协同服务。 [1]  上图描述中不同层系统。其中,位于结构化存储层，为提供储存技术支持，为提供高性能的数据处理和数据计算能力，而了为提供稳定服务以及机制。

图2-2 不仅如此为提供有高层语言支持，因而在上完成数据统计和处理过程十分简单。

为提供数据导入功能，实现过程更为简单，也使传统数据库和中实现数据迁移更为方便快捷。

第三章 计算机网络安全管理系统需求分析 图3-1 3.1 项目概述 传统播控中心通常采用竖井式技术架构，其弹性和扩展性差，无法根据需要进行计算、存储等资源的灵活、动态分配，对媒体融合背景下播出业务的发展形成了制约。如何实现由传统电视业务向融合媒体业务转型是电视台面临的一个新的挑战，图3-1为已建成的某广电总台播出分发平台项目，以前电视台业务只有其中四楼传统频道播出系统一小部分，高清化改造以后技术部门对于整个系统进行了重新的架构，重新搭建了内容服务平台、智能监管平台、五楼高标清一体化播出系统等，江苏广电总台播出分发项目为面向全媒体、可扩展、云架构为基础，率先采用SDVN（软件定义视频网络）技术，引入IP 矩阵来建立传统基带+IP 总控传输分发平台；
并且在平台搭建过程中充分利用大数据技术实现了流程可视化以及智能监管。本文现就智能监管平台这部分展开讨论。

以前电视台的网络传统数据备份都是通过本机存储介质或者单一化的存储服务器实现的，导致网络出现部分安全隐患，如果网络中的存储介质或者服务器被破坏，那么所备份数据就会失效。另外，对电视台此种大规模数据来说，使用单一服务器及存储介质方式，对存储介质容量都是严峻考验。

图3-2 所以，本文就以现代主流需求发展趋势提出了基于Hadoop的网络智能安全监管平台。此系统基于多级网络安全管理系统模型中添加了数据存储中心，利用Hadoop实现。图3-2此数据存储中心能够对多安全管理域数据进行存储，对级联安管数据可用性及一致性进行了保证。另外，此系统任务调度是使用改进之后的Hadoop集群公平调度算法，对一级安管的最高级别安管任务优先级进行保证。通过集群并行计算能力，对全部提交作业完成的速度进行保证。

3.2 系统的需求分析 3.2.1 系统的主要功能需求 （1）管理人员。管理人员通过后台模块，实现设备的监控及管理、检索视频。其主要功能为：对设备和应用进行监控。设置监控设备接入系统，管理人员手动操作，实现设备的实时监控及视频分析，在监测预警内容的时候，就会自动报警。

图3-3 系统管理员用例图 （2）身份认证。图3-3实现用户注册和登录，在视频文件管理中，要求为管理人员提供特殊权限，具备管理权限用户在登录之后才能够到HDFS中上传视频。在视频检索中，由于视频检索操作并不会影响到系统，以此设置低权限用户登录实现检索。

（3）文件查看及管理。如果用户具有管理员权限，能够实现Hadoop分布式文件系统的管理，比如上传全新视频文件，对HDFS文件目录查看等。此模块能够提供视频数据处理基本的存储服务，也是Hadoop框架中的主要核心内容。

(4)能够快速部署虚拟机终端。为了结合部门的实际工作需求，电视业务要保证24小时不间断，所以必须能够快速部署虚拟机终端，方便维护和管理。图3-4为虚拟机软件界面。

图3-4虚拟机远程管理图 3.2.2系统的非功能性需求 系统在对以上功能需求满足以后，并不表示实际业务需求全部满足，要基于性能、安全性、可维护性及可扩展性全面考虑实现系统的方案，也就是非功能性需求。其设计的范围交广，结合智能预警系统，对系统可靠性、易用性、安全性进行考虑。

系统性能：性能关系着系统的处理速度，具有较多的衡量标准，比如系统并发数、响应时间、资源使用率等，要基于此方面考虑系统的设计。由用户参与的操作时间不能够太长，包括系统移动端操作，等待时间在三秒一下。Hadoop集群分布式存储数据要保证各个阶段中的均衡存储，从而提高资源的使用率。

可靠性：可靠性就是系统在出现异常的时候，降低系统的损失。其主要判断指标包括恢复能力、异常能力及容错能力。

易用性：其是将应用角度为基础，对用户在使用过程中的难易程度进行考虑。比如易看、易用及易学等。总体来说，就是要求系统操作简单，重点突出，方便用户快速的寻找信息及操作。本文所设计系统界面较为简单，将重要的操作及信息突出，操作习惯满足一般管理，用户容易上手操作。

安全性：安全性是指系统数据的安全性，在验证数据访问需求以后实现，在没有应用功能的时候访问用户数据。一般系统就是通过数据库服务管理业务数据，包括非关系数据及关系数据库，以此能够降低通过另外方式访问数据库的几率，保证数据的安全性。

第四章 智能监管平台的设计 4.1系统的功能架构设计 此系统是将HDFS分布式文件系统作为底层数据处理，利用统一客户端访问平台，有效实现用户对于存储何本地用户文件数据维护及管理，而且能够利用此系统客户端实现用户指定文件到集群系统中上传，并且还能够实现文件下载。利用此系统平台，还能够将用户本地文件基本操作实现，比如创建文件、删除文件、打开文件等。客户端通诺网络对平台统一访问，此种统一访问平台在于HDFS分布式文件通信系统进行通信的时候要定义通信的接口及协议。那么，用户通过客户端操作底层数据块的实现利用底层及客户端HDFS通信连接过程进行。云存储服务供应商属于云存储服务系统接口模型的管理人员，管理云存储平台，充分发挥此作用，对云存储服务系统框架进行优化，并且还能够提供云存储系统用户接口的开发。以此，使云存储服务系统和用户现实需求更加的接近，使可扩展、高效及安全的存储服务得到实现。图4-1为计算机网络安全管理系统，4-1（a）为计算机网络安全管理系统的架构，4-1（b）为计算机网络安全管理系统的软件流程。

（a）计算机网络安全管理系统的结构 （b） 计算机网络安全管理系统的软件流程 图4-1 计算机网络安全管理系统 通过图4-1表示，系统是将Hadoop分布式文件系统作为基础，和云存储的用户操作及访问客户端平台相互结合，用户在使用过程中不需要对磁盘中文件数据的存储进行掌握和了解。

4.2系统的硬件结构设计 计算机网络安全管理系统硬件主要包括智能分析仪、中心服务器、视频监控摄像头、管理端PC机、Android移动端、计算集群。通过层次划分硬件接口，使其成为数据应用层、采集分析层及存储加工层。图4-2为系统的硬件结构。

图4-2 系统的硬件结构 数据采集分析层中具有智能功能分析仪及视频监控摄像头，也是系统主要信息来源。监控设备在设防背景下就会使实时视频对智能分析仪发送，智能分析仪在对视频内容进行分析过程中，如果遇到不安全内容就会报警。

系统的主要核心就是数据存储加工层，其主要有硬盘录像机、中心服务器和计算集群。在应用层对录像指令进行发送时，硬盘录像机就会得出实时的视频，并且将录像进行保存。在录像结束之后，对媒体服务器及计算集群发送视频录像。媒体服务器能够提录像访问的接口和移动端视频播放数据的来源。在数据服务器实现全新预警信息生成的过程中，触发发送短信及推送消息的指令。

数据应用层是基于系统用户的，主要包括PC管理端及Android移动端。PC端能够和监控设备进行接入，还能够实现设防及登录，录像相应数据，检索上传的图片。移动端会定期接收服务器发送的信息及短信，实现预警视频的播放，对监控实时的查看。

4.3系统的功能模块设计 4.3.1通信模块 通信模块为安全管理系统神经，安全设备通过此模块能够对服务器上报事件及状态。在通信设备设计的过程中，要满足以下需求：首先，对固定端口进行实时监控，对安全设备上报的相应安全信息进行接收；
其次，实现多通信协议的兼容；
然后，使级联关系网络安全管理系统相互通信；
最后，及时将相应管理信息发送到安全设备中。

为了使上述需求得到满足，要对各种通信协议完成封装，因此全部协议通过ICE进行实现，下图为模块构成。

图4-3 通信模块的构成 该模块为事件模块，安全设备可上报为安全状态及事件。设备管理模块能够实现管理命令的下发，每种操作都具备操作及控制反馈结构，方便管理人员或者程序判断，开始接下来的操作。通信模块不仅能够封装底层通信细节，还能够封装不同通信协议。

要充分对使用过程中的便捷性进行考虑，在对通信模块进行设计时可通过面向对象的方式实现通信模块功能，因此系统使用者无需考虑细节部分，只要根据约定对面向对象接口使用就行。为了方便扩展，通信模块能够对模块封装。通信模块可提供程序绑定端口、注册处理例程等功能。通过通信模块完成客户端程序创建，发送业务请求信息，可实现业务处理结果的接收等功能。图4-4为通信模块的功能。

图4-4 通信模块的功能 4.3.2设备管理模块 本文中网络安全管理系统操作都是将安全管理设备作为基础，图4-5如何实现高兼容性，完善功能并且简单管理的安全设备管理模块具有重要的作用。本文系统管理中的安全设备包括主流市场中的安全设备种类，主要类别为：补丁管理类、防火墙类、防病毒类、入侵检测类、漏洞扫描类、接入认证类、一体化防护、网闸类、主机安全管理监控类及数据备份类。基本安全设备管理模块的操作都是将设备的删除及添加为基础，结合设备管理信息及策略完成使用资源配置，除系统确定接口的安全设备、下级可信设备、安全主机和未知设备管理都是设备管理。

图4-5 4.3.3事件处理模块 时间处理模块指的是为用户带来体验的模块，基于通信模块划分成为事件预处理、事件入库及页面展现三部分。

事件收集包括两种，一种为主动上报安全设备，即安全设备管理事件，其二为对服务器评估后出现的，包含设备离线或异常，利用服务器进行判断。在完成安全管理模块设计过程中，主要包括十种安全设备，和网络安管系统自身事件相互结合，一共具有十一种事件。在所有事件中，根据事件的内容又划分成为风险事件、管理日志事件、登录事件、设备离线或者异常事件、策略违规及空策略事件及设备基本信息/实时信息事件。但是，通过事件所收集的信息并不一定都是能用的，要进行判断，将不可用的信息剔除。

事件处理流程在最高级别安全服务器中还添加了事件格式转换的部分，将所有上报事件利用一定格式到本地文件中上报，到hadoop集群中定时的上传。图4-6为具体处理流程。

4.3.4安全评估模块 安全评估模块以安全系统整体为核心，以此能够对此系统的安全性进行判断。本系统通过定性和定量分析相结合的方法，将系统中的安全设备相互结合，利用此种规则网络情况。局域网中的安全事件是利用此系统对原始数据检查的基础，包括登录、管理、状态等事件。利用通信中间件ICE，服务器都能够得到其中的安全事件。该系统利用事件完成网络状况分析并得到相应结果，将结果呈现于客户。安全评估要对设备运行情况、是否部署设备、安全事件信息和其他不安全因素进行判断，图4-7为安全评估的内容。

图4-7 安全评估的内容 但是在设计的过程中要充分考虑，有可能不被程序控制，要人工进行实现。所以安全评估主要包括人工检查及程序检查。利用服务器或者管理人员发起安全评估，通过hadoop中的map/reduce能够将安全评估的流程进行实现，在级联安全管理中，通过对hadoop调度算法予以改进，将最安全评估任务充分展现，为本文系统设计的重点。此系统中的安全评估特点包含下述方面：
其一，计算量大，利用传统业务处理方式要花费十分钟以上的计算时间；

其二，大部分都是定时发送的，一般是在每天下午五点实现日安全检查，每周周五下午六点实现周安全评估，每月的28号晚上八点实现月安全评估等；

其三，在完成计算之后，使结果对管理员进行呈现就行，不需要实时的展现；

其四，在对最高级网络安全管理系统进行安全检查的过程中，大部分都包括级联关系几倍安全检查，由于最高级系统结果要求低级联关系系统进行管理，并基于此对下级系统进行分析。

综合上述结果可知，该系统通过利用改进后的调度算法，在系统中基于不同用户来划分提交作业的级别。若用户 提交作业级别较多，则相应会降低二级、三级用户 级别。也就是这个时候要对作业优先级明确指定，从而代表作业重要程度。基于此，要想使最高级别作业执行时，同级别以及低级别在完成作业提交后不占用资源，对 高级别作业独占集群资源就能保证。在低级别作业运行的过程中，提交高级别作业之后才能够抢占资源，从而保证高级别作业随时随地都能够快速响应。

公平调度器属于实现Hadoop集群资源共享的任务调度器，其不仅具备支持缺额调度、层次调度的功能，同时可实现资源抢占和作业调度策略，队列的不同，能够支持FIFO及公平调度两种不同的调度方式，且作业优先级的改变只能完成作业调度的控制。若利用现代公平调度算法，即使为高级别作业也会被抢占，此时那么就会使高级别作业进度导致拖延，也就是目前调度算法不能实现作业优先级的资源抢占，改进后若最新提价作业中由一次获取时间与当前时间相差在Tmin以上，则该作业后没有minShare量资源，此时调度器此时调度器将自动终止中当前制定的任务。如果在作业最后获得的一半时间与目前的时间差值高于，则本次作业中完成后并未得到资源，此时调度器将自动终止中当前制定的任务。在改进型算法中优先级能够实现资源分配及排序，还能够对资源抢占进行控制。

假如此系统多级能够实现安全评估命令提交，通过已改进的调度算法实现案管系统任务实现，即便是低级别安管系统中评估任务在执行中，提交高级别任务后，能够保证短时间内完成高级别安全评估，低级别安全评估不会受到影响。

4.3.5数据备份模块 数据备份模块能够对数据完整性及一致性进行保证，其为容灾基础，不管服务器中数据是对整体管理系统或者系统个人用户来说都较为重要。图4-8为电视工作业务流程。

图4-8 使用hadoop技术可实现安装数据的一致化，结合数据备份功能，从而实现本系统数据存储中心的创建。图4-9为数据模块的功能。

图4-9 数据模块的功能 通过图4-9可以看出来，数据备份模块主要包括Hadoop集群备份功能及安管备份接口两部分，其中安管备份接口主要实现数据整合，数据信息包含下属两大部分：首先，级联安管信息备份。在全新下级网络安全管理系统到整体级联网络添加的时候就会初始化，从而得出唯一的服务器标识符和网络安全管理域唯一的标识符，此信息和此服务器其他的基本信息到最高级别网络安全管理系统职工擦混熟，比如服务器IP和MAC，之后通过服务器使此部分信息到Hadoop集群中上传，对信息保存的可靠性、稳定性进行保证。目前因为下级网络安全管理系统服务器出现意外的情况，进而将引发重装，其中最高级Hadoop集群信息为唯一凭据信息。其次，在整体内网区域中所发生的数据备份，即出现对应安全事件时候通过格式转换，到指定文件中保存，并且此文件会使文件信息到Hadoop集群中定时的上传。设置Hadoop集群无法实现多用户写入，全部写入操作只能够通过一级安管用户实现，对数据完整性及可用一致性进行保证，全部写入操作只能够通过一级安管用户实现，对数据可用性、完整性及一致性进行保证。集群中能够事先文件写入、管理及读取操作。

4.4系统的数据备份设计 图4-10为系统数据备份的流程，通过图4-10可以看出来，系统数据备份的功能主要为：首先，实现身份认证。由于数据备份是对系统数据副本进行备份，从而就会产生一定量数据，属于整体安管级联系统级操作，那么一般级别操作人员并没有实现此项操作权限，只有特殊系统管理人员才能够实现数据备份操作。以此，不仅避免不明真相操作人员出现误操作，使非正确情况中数据备份可能性降低，还能够使安全性得到提高，避免攻击者对低安全级别操作人员账号备份盗取，还能够避免攻击者利用操作员权限对备份文件盗取。

在实现身份认证之后，就要实现备份配置，也就是配置策略模块。数据备份策略主要包括完全备份、增量备份及差异备份，系统管理人员能够以实际情况下选择使用哪种备份。另外，不仅具有基本备份策略，系统管理人员还能够修改备份副本数量和数据块的大小。

在实现策略配置之后，就实现数据备份模块。此模块为系统核心，利用文件整合、网络传输等操作，使级联结构需要备份数据文件到级联结构HDFS网络中写入。此操作占据大量带宽，在各级安管系统中将此进程启动，对CPU资源及内存资源进行分配。虽然能够使安管服务器运行性能得到暂时降低，但是还会使其他功能正常的使用进行保证。在实现备份之后，就会为其他级联安管服务器发送系统消息，表示完成级联结构备份。

图4-10 系统数据备份的流程 4.4.1用户认证模块 用户认证模块为进入到系统的基础，对数据备份功能来说，因为是对于整体系统级联结构功能，所以一般操作人员并没有此种操作权限，只是使权限赋予到高级别系统管理人员中。在网络安管管理系统中的操作人员及安全管理人员角色并不冲突，简单来说就是一个账号不仅具备操作人员权限，还具备系统管理人员权限。通过网络安全管理和监察系统中的权限控制系统实现数据备份功能身份认证策略的制定，图4-11为用户认证模块的流程。

图4-11 用户认证模块的流程 根据图4-11表示，在具备系统管理人员权限账号能够利用系统管理人员的角色，对网络安全管理平台登录，从而看到数据备份功能操作接口，进入到此操作接口实现数据备份策略配置，然后实现在整体级联系统数据备份。对没有系统管理人员权限使用人员，或者具备系统管理员权限，但是将操作人员角色登录到网络安全管理及监察系统使用人员，能够隐藏数据备份操作接口。

另外，还要实现数据备份操作接口页面的处理。利用任何手段进入到此功能前都要事先身份验证，只有满足条件使用功能人员才能够打开界面，如果使用人员不符合条件，就会返回失败信息。

4.4.2策略配置模块 用户在通过身份认证以后，就能够进入到数据备份策略配置模块中。此模块的主要目的就是配置数据备份操作参数，其中大部分参数都是于HDFS系统配置文件中的字段及参数具有密切关系，具体参数配置为：
其一，数据备份策略。此参数在模块中尤为重要，所以也就决定数据备份要使用哪种备份方式实现操作。备份策略主要包括完全、增量及差异三种备份，不同备份策略都具有有点及在指定场合中使用。目前方案为首次备份只能够使用完全备份方式，实现两种备份文件生成，在安管级联结构的HDFS网络中存储。首次之后数据备份操作能够利用三种不同数据备份策略中的一种，对每次备份使用不同策略，数据备份模块会以实际情况处理。

其二，数据备份分块大小，此参数为可选选项。以HDFS系统需求，数据块默认大小为64MB，此大小在实际操作中是能够改变的。但是在HDFS中要充分考虑降低内存消耗和硬盘寻道时间，此大小的三种选择为64MB、128MB、256MB。

其三，定时备份的方式和时间。为了节约系统管理人员工作量，对系统数据备份操作进行规范，要为用户提供定是备份的功能。系统利用定时分配能够在指定时间中备份，但是此并不是完全备份，只是提高差异备份及增量备份，并且没有通过数据备份级联结构无法实现定时备份操作。

其四，数据备份副本数目。为了满足数据安全需求，使数据可靠性得到提高，实现容灾容错目的，HDFS系统中还具有副本策略内容。一般，HDFS会使文件生成副本。将副本放置到相同DataNode中，其他副本在不同DataNode中放置。利用备份副本数目的设置，操作人员能够选择满足此系统情况副本数量实现数据备份。

4.4.3数据备份模块 确认数据备份的配置，顶级安管为NameNode实现数据备份，图4-12为数据备份模块的流程。

图4-12 数据备份模块的流程 通过图4-12表示，以相应数据备份策略，数据备份模块使用的操作各不相同：
其一，完全备份。其主要指的是全部备份级联结构系统数据，在此要检查是否为首次备份，假如不是首次备份，要将上次完全备份所产生的数据进行删除，之后实现完全备份。完全备份操作实现三份备份的生成，其都是相互独立，每份备份数据中具有多副本。利用三份备份能够保证之后差异备份及增量备份不会出现冲突。

其二，增量备份。增量备份指的是对于上次备份来说的备份方式，此种备份方式所备份数据就是上次备份以后所改变的数据。假如系统管理人员选择此种备份方式，根据时间寻找最近备份实现操作。假如成功增量备份，以此对此份备份副本实现备份操作。假如失败，利用此份备份副本还原，并且实现错误信息返回。

其三，差异备份。差异备份指的是对上次完全备份来说的备份方式，此种备份方式的数据就是上次完全备份以后所改变的数据。假如系统管理人员使用此种备份方式，那么就要寻找上次完全备份实现操作。简单来说，将增量备份改变的备份进行忽略。假如成功备份，就要依次实现备份副本的操作。假如失败，就要还原此份备份副本，并且返回错误信息。

但是，不管使用哪种备份，所产生的数据都在整体级联结构非顶级安管服务器中分布。在成功备份之后，对管理员返回成功信息。

4.5系统的数据恢复设计 在因为某种因素对安管级联系统数据造成损坏之后，利用备份数据鞥能够恢复数据，从而降低损失，实现容灾容错目的。传统数据恢复都是直接到本级安管服务器中备份数据恢复，备份数据会对恢复效果造成限制，恢复的系统会与安管级联结构不匹配，还是需要大量时间与人工实现手工调试，从而使系统安全及安管级联系统相互结合。基于Hadoop数据备份系统数据恢复的功能是根据整体级联结构实现备份，所以使用此备份数据恢复对应某案管系统，使安管系统到整体级联结构中融入。图4-13为数据恢复的流程，通过4-13表示，数据恢复和备份的结构相似，要求身份认证及配置数据恢复策略，能够直接到数据恢复中。

图4-13 数据恢复的流程 4.5.1身份认证模块 此模块与数据备份身份认证模块类似，还是面向将系统管理身份登录系统管理人员操作，主要是由于恢复数据对于某个网络安全管理和监察系统服务器都存在一定的影响，包括整体安管级联结构，所以要重视身份认证。利用身份认证能够避免低级别操作人员随意对系统攻击或者恢复，从而破坏级联服务器。图4-12为身份认证模块的流程。

图4-14 身份认证模块的流程 4.5.2数据恢复策略配置模块 此模块的主要目的就是将数据恢复选项提供给用户，从而了解用户需求，对数据恢复模块传递操作。数据恢复策略配置能够对用户提供以下接口：
其一，使用制定数据备份恢复。只有利用安管级联系统才能实现数据备份以及恢复，安管级联系统要通过一次完全备份，系统已完全备份结果，一共有三份备份，基于此数据备份实现增量备份及差异备份的操作。以此，能够使系统管理人员选择三份备份中的任意数据实现恢复。

其二，数据恢复安管平台。主要包括两种情况。首先，顶级安管能够选择整体安管级联系统中的任意一台或者多台实现数据恢复；
其次，非顶级安管能够将通知发送到顶级安管的方式实现数据恢复操作。

4.5.3数据恢复模块 以系统管理人员所选择的数据恢复模块，此模块实现数据恢复。图4-15为数据恢复模块的流程。

图4-15 数据恢复模块的流程 通过流程图表示，要实现恢复前系统的增量备份实现数据回滚。然后寻找用户指定数据备份文件，以用户选择的安管平台寻找DataNode中相应文件的位置。之后利用Map函数在所有DataNode中部署，将数据取出，之后利用Reduce函数实现汇拢，从而得出此安管系统数据备份文件，利用网络传输实现传输，然后实现数据恢复。假如用户使用多安管平台实现数据恢复，那么其中就会具有优先级问题。NameNode能够保证全部操作不堵塞，使资源对高优先级安管系统进行分配，一般就是使资源尽量对高级别安管系统进行分配。此种方法的主要优势就是高级别安管系统具有更多下级安管级联，具有较大的内部结构，数据也比较多，所以要求更多资源实现，以此，要求改进Hadoop公平调度算法。

对优先级需求来说，已经具有改进公平调度算法。在利用Tmin或者Tshare时长以后分配Jnew资源不足的时候，就会寻找秋天pool中运行作业Jselected，对Jselected与Jnew之间优先级的关系，假如Jselected优先级比Jnew优先级要小，那么就会将Jselected杀掉，使资源到Jnew分配。相反，使Tshare及Tmin作为目前时间，不进行其他操作。但是此种算法具有一定的问题，也就是产生优先级作业阻塞。在提出全新高优先级作业之后，将其他pool中优先级作业Jselected杀掉，并且抢占其他的资源，就会使Jselected只能够在完成高优先级作业之后才能够继续的进行。假如此Jnew大，那么要长时间才能够实现。Jeslected只需要少量资源就能够实现，但是基于此中改进算法，Jselected也只能够在Jnew实现之后才能够继续的运行，浪费了大量的时间。假如Jnew比较大，那么整体Hadoop集群资源都会在其中集中，低优先级作业就无法工作。以此，就要提出改进调度算法，基于公平从而满足高优先级作业处理需求：
首先，对优先级任务到相应pool中规定。在提出作业时，利用及代表资源可满足实际需求，找寻中的作业：
其一，若，那么的中，此时中，对作为当前时间完成修改，进而实现对的标记，不完成其他操作，在下次中实现其他额外资源寻找时不会选择标记后的；

其二，若>，且的中，使为当前时间，同时使中的中资源降低到r*weight，使降低的资源对Jnew进行分配。

在全新任务Jnew提出一段时间之后如果资源无法满足需求，那么就要寻找其他pool中运行 ，对其优先级进行对比。若优先级高，则需对资源占用情况予以考观察。若资源占用低于中权重乘系数，代表此作业资源较低，但是使其能够继续的运行，不抢夺pool中的资源。在通过一段时间之后，Jnew就会继续寻找其他Jselected资源。通过观察表示中比权重乘系数大则需抢夺资源。利用此方法，不仅能够对全部作业都运行，还能够分配高优先级作业资源。通过合理的调度算法在最下级安管系统中实现数据恢复保证系统的正常、稳定运行，除此之外还能利用大量资源完成集中操作。在数据恢复出现问题的死后，以之前增量备份结果实现回滚，对系统管理员返回错误信息，若数据恢复正常，则系统管理员会收到成功信息，并且对相应安管设备进行重启。

4.6一次性口令身份认证设计 人们能够利用数字证书、口令等方法认证用户use身份，只有通过认证的合法用户才能够具有自身FileSystem实例，具备对HDFS访问的权限。在数据库中创建和HDFS用户同名的用户信息记录，利用口令认证方式认证用户身份，用户认证成功就是HDFS中的合法用户。充分考虑静态口令身份会被窃听，并且容易受到字典攻击、重放攻击等问题，一次性口令身份认证的认证安全性较高，并且容易实施，以此就设计一次性口令身份认证方案。

4.6.1符号和标识 为了方便描述方案，约定符号的含义为：
U指的是用户端；

S指的是服务器端；

A→B指的是A对B发送消息；

pwd指的是用户口令，uid指的是用户身份标识；

Ps指的是服务器公钥，ds指的是服务器私钥；

Pu指的是用户公钥，du指的是服务器私钥；

Ps（M）指的是利用公钥实现对消息的加密；

Pu（M）指的是利用公钥实现对消息的加密；

ds（M）指的是利用私钥实现对消息的解密；

du（M）指的是利用私钥实现对消息的解密密；

H（M）指的是使用对于消息M实现Hash运算。

4.6.2注册过程 认证方案用户注册的过程为：
其一，利用安全信道，用户请求进行注册。用户得到服务器公钥Ps，在用户端将口令pwd及uid进行输入，使用功能服务器公钥Ps对uid进行加密，从而到服务器中传输；

其二，服务器在接收自身私钥ds解密之后，就能够得出uid，对数据库中的uid是否相同进行监测。如果相同，那么要求用户重新将全新的uid输入，要不然就执行下一步；

其三，用户利用系统生成自身公钥私钥对，也就是Pu和Du，对私钥dU安全保存，并且对服务器将Pu公开。另外，用户端还能够产生随机数R1，对进行计算，之后使A和R1使用服务器公钥Ps实现加密，对服务器Ps（A，R1）进行传输；

其四，服务器在接收PS（A,R1）之后，利用私钥ds解密之后得出A与R1，使其与相应uid进行保存，在认证的时候进行使用，结束用户注册。

4.6.3认证过程 假如用户为第i次认证，那么服务器端存储认证数据的随机数就是Ri，认证的过程为：
1: U→S:Ps(uid，Ri+1) 2: S→U:Pu（M,Ri，RTi） 3: U→S:H(pwdRi+1)，H(pwdRi)RTj 4: S→U:Success或者Faliure 在第一步中，用户端实现pwd及uid的输出，从而能够产生随机数Ri+1，使uid与Ri+1使用服务器公钥Rs实现加密，对服务器Ps(uid，Ri+1)进行传输；

在第二步中，服务器使用私钥ds解密接收Ps(uid，Ri+1)，能够得出uid及Ri+1，对数据库中是否有uid进行验证。如果没有，那么就表示uid不合法，此次认证的请求失败。如果存在，表示uid合法，对M=H（uidRi+1）进行计算，从而能够得到随机数RTi，将Ri取出来，传输到用户Pu（M,Ri，RTi）中。

在第三步中，用户利用私钥du对Pu（M,Ri，RTi）进行解密，能够得出M、Ri及RTi，以uid及随机数Ri+1，对H(pwdRi+1)进行计算，使其对比M。假如两者不相等，那么表示服务器不合法，将会话终止。如果星等，对B=H(pwdRi+1)、Q=NRTi、N=H（pwdRi）进行计算。使B和Q到服务器中传输。

在第四步中，服务器会接收B和Q，然后使Q和RTi实现异或运算，将N提取，使提取的保存到A，使A对比N。假如两者不相等，表示用户不合法，对用户实现Failure消息的发送，此次的身份认证失败；
要不然，表示用户合法，发送用户Success消息，对服务器存户验证信息A及随机数Ri进行更新，使用功能B替换到A，并且将Ri+1替换到Ri，表示用户能够成功认证。

4.6.4修改口令过程 假设用户之前的口令为pwd，最新的口令为ped1，在对口令修改之前，服务器端中的认证数据随机数为Ri，对口令修改的过程为：
1：U→S:口令修改的请求 2: S→U:Pu（Ri，RWi） 3: U→S:Ps（E,D,Ri+1） 4: S→U:Success或者Faliure 在第一步中，用户对服务器发送口令修改的请求；

在第二步中，服务器将存储的随机数Ri取出，从而能够产生RWi，传送到用户PU（Ri，RWi）中；

在第三步中，用户使用私钥dU对Pu（Ri，RWi）进行解密，从而能够得出Ri及RWi，并且产生Ri+1的随机数，对C=H（pwdRi）、F=Ps（E,D,Ri+1）、E=CRWi、D=H（pwd1Ri+1），使F对服务器传输；

在第四步中，服务器使私钥ds对F进行解密，从而能够得出E、Ri+1及D，使E和RWi实现异或运算，从而能够得出C，使存储中的C和A进行对比，假如不相同，那么表示不是合法用户对密码修改，将Failure消息对用户发送，将此次修改操作进行取消。假如相同，就将Sucess消息对用户发送，使用D替换成为存储的A，使用Ri+1替换成为存储的Ri，成功修改口令。

4.6.5方案的安全性 安全性属于身份认证方案需要充分考虑的问题，利用形式化分析的方法分析设计方案，表示此方案为安全性身份认证的方案，并且实现下述安全性：
其一，方案中用户在认证的过程中都会产生不同的随机数，也就是RTi及Ri+1，保证每次认证传输数据不同，并且也有不同的认证口令，所以即便是攻击者将此数据截获，也无法重放攻击；

其二，假如入侵者冒充服务器S，因为服务器自身具备私钥，并没有传输到网络专供，而且Ri+1都是变化的，所以冒充者无法通过客户端对H（uidRi+1）的验证，以此冒充者就得不到具有价值的信息。假如入侵者冒充用户U，但是因为uid并没有在网络中明文传输，所以冒充者并不了解uid，以此就无法利用服务器实现初步认证。即便是冒充者对Ps（uid，Ri+1）进行截获通过初步认证，但是其并没有用户私钥，无法对信息进行解密并且计算，以此也就是无法实现服务器下一步认证，那么反感就能够抵御冒充攻击。

其三，方案能够有效实现双向认证，服务器端利用对uid中是否存在及QRi及A是否相等进行查询，从而对客户端进行认证，客户端利用对比H（uidRi+1）和M是否相等，对服务器端进行认证。

其四，此方案没有认证序列值及Hash运算反复迭代，能够对小数攻击进行抵抗。

其五，在整体认证中，网络中并没有传输明文信息，以此即便是在进行传输的过程中截获信息，也不会存在信息泄露，入侵者也可能都不知道用户身份表示uid。

第五章 系统的实现和测试 5.1 系统主要功能的实现 5.1.1 通信模块的实现 本文所设计的智能监管平台中通信模块利用Icc中间件予以实现，该部分的主要供是实现十倍系统、系统服务器之间通讯。使全部通信类都朝着虚类完成，并保证业务执行函数定义为虚函数，基于此通过不同模块完成业务执行函数的重写，基于此来重写通信模块的具体通信功能，使通信模块将同步通信模式提供给模块使用者，主要实现代码：
 private void startconn_Click(object sender, EventArgs e)           {               socketWatch = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);               IPAddress ipaddress = IPAddress.Parse(localip.Text.Trim());               IPEndPoint endpoint = new IPEndPoint(ipaddress, int.Parse(porttext.Text.Trim()));               socketWatch.Bind(endpoint);               socketWatch.Listen(10);                  threadWatch = new Thread(WatchingConn);               threadWatch.IsBackground = true;               threadWatch.Start();                  this.Invoke(new Action(() =>               {                   recmsg.AppendText(“开始通信！“ + “＼r＼n“);               }                   ));              }   服务器中存在中间进程icebox，其主要目的就是接收全部调用接口所发送的服务器信息，利用registerTopic函数对良好信息及需要丢弃信息进行区分。在验证接收信息可用性之后，icebox会使信息到其他事件中。事件处理模块的主进程nsmeventd能够处理安全事件，但是nsmsd能够及时判断安全设备状态，显示在页面中。

5.1.2 设备管理模块的实现 在本文所设计的智能监管平台中设备管理器模块的实现相对而言十分简单，但是系统要求设备管理器具有良好的兼容性，因此在具体实现过程中要完成封装管理基类，并具备设备添加管理功能。对于一些功能较为单一的设备管理模块，可实现对父类管理功能的调用，复杂设备对此设备管理功能进行集成。全部设备类均对父类进行集成，通过父类设备处理函数，实现对父类的继承，利用父类设备来实现对流程的简化同时保持一致性。当两级安管系统处于不同位置时会在特殊场合下对某些需求要求使用同一台设备，此时可利用重定向设备功能，在这一过程中没有反复初始化设备标示，除此之外还可保证不同系统中所有的安全设备为相互独立关系。设备管理模块的主要代码为：
This function will perform a variety of control functions on devices. param dev the pointer of device driver structure param cmd the command sent to device param arg the argument of command @return the result / rt_err_t rt_device_control(rt_device_t dev, rt_uint8_t cmd, void *arg) { RT_ASSERT(dev != RT_NULL); /* call device write interface */ if (dev->control != RT_NULL) { return dev->control(dev, cmd, arg); } return RT_EOK; } 5.1.3 事件处理模块的实现 本系统中安全管理设备主要包括十种，不同设备的厂家产品型号也各不相同，系统实现了各种安全设备事件规范制定，按照所设计的事件模块，其他安全事件具有自身规范，可将安全设备将其划分为两种不同的内容事件。任何安全设备在管理系统接入之前都需要通过接口约定时限开发，使其在进入系统后按照相应规范实现设备信息的发送。

另外，在时间处理模块中，安全设备状态较为特殊。在本文系统中，均定时通过安全事件方式进行上报，所有安全设备基本信息相互独立，若其中包含特殊信息，则需予以标注说明。安全设备信息及事件一起被上报，通过nsmsd核心函数对其合法性进行判断，主要包括：
其一，状态信息是否完整可用。其主要指的是是否对全部信息正确上报，对于部分非空字段，如果确实，就要丢失此状态。

其二，是否通过正常设备完成状态信息的发送，该部分通过HandleIPConfice函数实现，函数能够以状态中的唯一标识符通过内存及数据库对设备基本信息进行读取，对比上报基本信息，如果mac及ip信息不符，则需要实现设备状态的转移，不再进行操作。只能够使用完整信息，假如满足两个条件，就会转到相应安全设备模块处理函数中，实现下一步内容。

5.1.4 安全评估模块的实现 安全评估主要目的就是对网络中是否具有安全隐患进行判断，其与被管理安全设备和局域网中的工作机器具有密切的关系。其主要原则就是重复性依次递减，例如防火墙检查规则包含如下内容：
其一，对防火墙的工作状态进行检查，首先对其运行状态进行检测，判断防火墙或一体化安全防护设备是否要按照既定的方式完成部署，对于需按照需求进行部署的可认为防火墙状态为满分，否则则认定为零分；

其二，对防火墙旁路进行检查。对设备边界访问控制模块网络接口状态和内外网交换网络数据包进行检查，判断其是否被旁路，对于在24h内未发生旁路告警的项目可认定为满分，对于在规定时间内发生旁路告警的则认定为零分。

其三，管理员口令检查。对是否缺省进行检查，对于已更改的口令项目认定为满分，对于未更改的则认定为零分。

在上述对防火墙的安全检查中，继承及两个类，并实现及两个函数。函数的主要功能是以安全检查计划分析各安全管理域情况。但是因为文件内容是通过日期作为单位实现的，所以map函数结果是所有安管每天的记录，和其他日独立。函数操作是使函数输出安全检查周期、计划等并实现重新整合，有利于完成页面读取。

5.1.5 数据备份模块的实现 数据备份模块属于系统数据备份过程中的运行部分，此为执行和后台程序。在接受数据备份策略所传递信息以后实现数据备份的操作。首先，实现本级自身数据备份操作。利用数据备份代码表示，利用HDFS自带API，在安管HDFS中写入文件操作。得到配置信息部分是通过数据备份策略，对页面及HDFS默认系统配置实现的。代码：
   public bool BackUPDB(string strDbName, string strFileName)         {             SQLDMO.SQLServer svr = new SQLDMO.SQLServerClass();             try             {                 svr.Connect(ServerName, UserName, Password);                 SQLDMO.Backup bak = new SQLDMO.BackupClass();                 bak.Action = SQLDMO.SQLDMO_BACKUP_TYPE.SQLDMOBackup_Database;                 bak.Initialize = true;                 bak.Files = strFileName;                 bak.Database = strDbName;                 bak.SQLBackup(svr);                 return true;             } if (saveFileDialog.ShowDialog() == DialogResult.OK)             {                 if (sm.BackUPDB(数据名称, saveFileDialog.FileName))                 {                     MessageBox.Show(“数据备份成功！“, “提示！“, MessageBoxButtons.OK);                 }             } 在完成备份之后，将相应目录中的内容删除，之后利用网络传输，顶级安管根据次数实现下级安管及自身发送xml报文，对下级安管实现网络传输工作通知。在备份安管系统之后，顶级安管就会作为NameNode对自身文件映射表进行更新，直到全网都完成备份。在全网都备份完成之后，机会自动调用方法对系统消息数据库写入信息完成备份。假如出现传输失败的情况，那么对此安管系统记录并且跳过，在全部安管系统都完成备份之后重新发送命令字。如果还是失败，就要发送系统消息，表示哪些因为哪些网络原因导致安管备份失败，通过系统管理人员对其进行处理。

5.1.6 桌面虚拟化的实现 将摸拟桌面协议发送到终端设备之后，终端设备通过接收该协议内容获得与传统PC机相同的体验，用户登录到虚拟主机，只需输入正确的口令信息后即可随时完成自己桌面系统的访问，系统操作指令通过网络传送到服务器实现相应的运算处理，同时利用桌面远程协议将桌面视图在终端中予以显示，其交互图如下。

图5-1虚拟桌面系统信息交互 （1）虚拟化桌面服务器端主要由虚拟桌面系统服务器、桌面分发管理等部分组成，虚拟化桌面服务器端的主要功能包含实现数据的储存、系统托管以及虚拟桌面分发管理等等。（2）用户可由此来接收服务器端托管工具，其运行环境要求较低，可在传统计算机中运行何可在移动终端中运行。总体而言，通过服务器、储存等加上虚拟化套件结构服务器端可将实现服务器端的资源托管。对于系统管理员来说，可按照用户的具体需求在服务器端完成资源的高效配置，使用户获取更好的用户 体验，也能使得服务器端资源得到更为合理的利用。

在平台搭建时规划了服务器虚拟化，并将其作为基础服务器来提供计算能力设计。基于业务能力统计结果可知：两种不同的业务类型计算量分布在全天不同时间段，编单业务和播出整备业务计算量峰值未出现叠加，就计算量峰值而言，前者明显小于后者。根据上述分析结果可知，若将后者节目单编排在相同的虚拟化环境中进行部署，而部署虚拟化桌面需要瘦客户机、网络等资源的投入小于原有工控机换代投入，在确定利用虚拟化技术完成基础平台搭建之后，需在相同虚拟化硬件上配置服务器及桌面虚拟化。通过实际调研结果发现，VMware 的虚拟化是解决上述问题最为合适的方案，只需在VMware vSphere 服务器虚拟化环境下配置VMware Horizon View服务即可实现服务器、桌面虚拟化的共同部署。图5-2为虚拟机配置规划。

图5-2虚拟机配置规划 按上图所示虚拟机配置计划可得到虚拟化部署时计算能力的要求，基于此来实现设备采购，本次共采购8台虚拟化主机，2 套 作为存储系统，2 台博科6505光纤交换机作为SAN 存储，4台思科3750 万兆交换机实现VLAN的划分，作为管理和对外服务交换器，一台思科3750 万兆交换机部署于办公区。

将设备房子在不同的楼层可提升系统整体的安全性，因此在完成系统部署时将所有设备平均分布于两个楼层进行部署，通过光纤等进行互联。所采用的虚拟机配置有两对口，分别与光纤交换机连接，进而实现同两台SAN 共享存储的连接；
配置有千兆以太网口8个，每4 个口为一组接入交换机。除此之外，从接入交换机对外服务接口引出一路与办公区设备相连将虚拟化桌面瘦客户机连接入交换机上。在虚拟化桌面管理系统中新建了一个名为智能监管平台的手动桌面池。桌面池中配置有相应的桌面模板，完成桌面模板配置后可应用于编单虚拟机，为每个虚拟桌面分配好相互 独立的账户。用户通过分配用户名和密码即可实现对虚拟化桌面操作系统的配置。系统配置有HP 零终端作为访问虚拟化桌面的客户机。其主要优势体现在利用极简的“零终端”操作系统完成相关协议的运行，具有安全性高、启动速度快等诸多优势。除此之外该终端带有扬声器，实现对音频的监听。系统配置了多个USB 接口用于外设的连接，这种接口连接形式在很大程度上为系统带来了一定的安全风险，通过对HP 零终端产品进行进一步研究可发现通过在工程模式下配置USB 设备接入来执行相应的无线网络设备策略。

5.2 系统的测试 5.2.1 系统部分功能测试 （1）文件导入测试。该测试额主要目的就是对数据导入内容的正确性及是否通过压缩格式完成文件储存，利用三个文件写入，将一个文件压缩格式写入Hadoop中，表5-1为数据写入测试。

表5-1 数据写入测试 测试任务 Hadoop数据写入 输入项 日志数据文件 前置条件 Hadoop集群启动 测试步骤 生成三个日志文件 使写入集群文件到本机下载 使作为源的三个日志文件合并成为一个文件 实现下载日志排序 排序合并日志 启动三个日志写入进程实现日志写入 通过vimdiff对比两份日志 预期结果 原始文件及导入后下载文件一样 测试结果 同预期结果相符 （2）数据处理测试。在数据处理测试时首先使两份测试数据都作为日志输入，为了方便对结果验证要准备简单的数据。图5-1为测试数据1，其中包括三条数据，对数据实现分割，每条数据中具有五个字段，使此日志命名为pv。图5-2为第二份测试数据，其中具有三条数据，实现数据分割，每条数据具有三个字段，使此日志命名成为click。

图5-1 测试数据1 图5-2 测试数据2 之后定义日志解析器，对分隔符进行解析，命名测试数据1中的字段，使其成为A-E，对测试数据2中字段名定义成为a-c。因为框架要具有数据处理才有运行意义，那么框架测试及数据处理任务测试共同实现，在此通过数据报表实现测试，图5-3为数据报表的需求，第一列属需求名称，第二列和第三列分别为来源日志以及计算输出结果，第四列为需求计算类型，第五列指的是计算字段名。表5-2为数据报表生成的测试，此测试能够队自动配置文件进行运行，从而实现任务，使其成为插件部署到运行环境中，从而对是否生成配置文件进行验证。

表5-2 数据报表生成的测试 测试任务 生成数据报表 前置条件 Hadoop集群启动 输入项 日志数据文件，数据报表需求 测试步骤 输入任务脚本及任务配置文件 将A-E作为字段名对pv日志解析器配置 允许click处理任务 将a-c作为字段名对click日志解析器配置 允许pv处理任务 允许uv处理任务 实现本机下载 预期结果 计算结果包括两条数据：
测试结果 和预期相同 5.2.2 系统性能测试 以此系统集群配置，利用不同大小数据量实现系统测试，并且对比单机性能。实验环境:Intel I3处理器 CPU主频3GHz 硬盘为500G 内存使用4GB Hadoop集群是通过三台此种计算机构成，单机服务器是通过一台此种计算机构成。利用对两种平台中服务器所创建索引的时间，对性能进行测试。为了得到精准结果，通过多次试验得到平均值实现对比。图5-1为系统性能测试结果。

图5-1 系统性能测试结果 通过图5-1可以看出来，在数据量比较少的时候，Hadoop集群对数据处理的速度没有单机快。此主要是因为Hadoop分布式特性所决定，假如数据量比较少，那么Hadoop无法将自身的优势充分的发挥出来。在数据量不断增加的过程中，Hadoop性能优势就会更加的明显。通过图5-1表示，在数据量不断增加的过程中，Hadoop平台中对数据处理的时间并没有增加，但是单机处理数据时间在不断增加。通过此实验表示，基于Hadoop平台的系统在大量文档数据处理过程中的优势较为明显。

5.2.3安全评估 现在集群中对不同级安管发起命令后对完成时间进行测试。详见表5-3：
表5-3 各个作业优先级别和独占集群完成时间 名称 优先级别 独占集群作业完成时间 测试1：每级评估提交间隔5s，提交顺序分别为一级、二级、三级，结果详见表5-4：
表5-4 先提交最高级别作业测试结果 名称 原公平调度算法中完成时间 改进后完成时间 测试2：每级评估提交间隔5s，提交顺序分别为二级、一级、三级，结果详见表5-5：
表5-5 先提交中级别作业测试结果 名称 原公平调度算法中完成时间 改进后完成时间 测试3：每级评估提交间隔5s，提交顺序分别为三级、一级、二级，结果详见表5-5：
表5-5 先提交低级别作业测试结果 名称 原公平调度算法中完成时间 改进后完成时间 根据上述结果可知，不同级的安全评估作业类型和大小之间无显著差异，通过公平调查结果表示，作业完成时间和作业提交先后顺序相关。以此表示，本文系统数据存储中心通过改进公平调度方法后可保证一级安管系统发起评估后可实现快速作业，二级、三级安管系统优先级降低。

第六章 总结和展望 6.1 工作总结 本文主要工作如下：一是调研hadoop和MapReduce的大数据处理机制和原理，结合虚拟机部署大量的终端。二是分析电视播出各业务的实际需求，以安全快速为目标，能够提供数据的安全检索等功能。三是分析数据处理过程中的异常情况并且和原来老的系统进行比较，观察性能和效率是否得到提高。

本文所设计的智能监管平台在数据备份过程中具有较高的安全性、统一性及整体性，还能够恢复数据。在分配资源过程中具有优先级，并且实现数据恢复操作。和传统系统对比，基于Hadoop技术的智能监管平台具有较高的效率及安全性。

本文结合hadoop技术的特点以及某电视台实际需求，通过搭建系统实现了基于Hadoop的某电视台智能监管平台。由于以前的计算机管理系统已经跟不上技术的发展，存储、管理能力远远跟不上新的要求，应用Hadoop分布式技术使用简单，并且性能及安全性都比较高。本文在设计过程中通过改进Hadoop算法，避免出现性能瓶颈。通过改进能够使HDFS系统满足安全级联系统分布广泛、设备繁琐及较多的问题。之后，设计数据备份及恢复功能，分子模块给出相应实现方法及代码，使文件分配到整体HDFS系统中。以Hadoop系统API从HDFS系统中取出相应文件实现数据恢复。总体来说，通过研究Hadoop技术，并且结合数据备份需求，设计的智能监管平台能够满足实际需求。

6.2 研究展望 在今后研究中，可以使安管级联系统作为树结构，对于通过此树子节点构成的子树结构，不能够通过其顶级安管对于子树其他节点实现数据备份及恢复操作，要通过整体安管级联结构顶级安管实现。另外，因为系统对于顶级安管较为依赖，如果顶级安管出现问题，那么整个系统就无法实现。所以，可以使用双机热备机的方法，实现所有数据备份，降低系统对于顶级安管的依赖。

参考文献 [1] 肖庆松. 基于Hadoop的网络取证分析系统设计与实现[D]. 山东师范大学, 2015. [2] 张柳. 云环境下网络告警管理系统设计[D]. 南京邮电大学, 2015. [3] 刘芬, 廖荣涛, 余铮. Hadoop下的在线网络日志分析系统设计[J]. 电子技术与软件工程, 2017(22):30. [4] 付伟. 基于Hadoop的Web日志的分析平台的设计与实现[D]. 北京邮电大学, 2015. [5] 辛跃华. 基于Hadoop的云端安全存储系统的研究和设计[J]. 科教文汇, 2016(28). [6] 裴浩. 大数据背景下高职计算机网络专业课程体系改革研究[J]. 物联网技术, 2016(12). [7] Zhang Haishan. Research and Design of Video Surveillance system based on Cloud Storage [D]. Wuhan Institute of Post and Telecommunications Sciences, 2015. [8] 莫加亮. 基于Hadoop技术的电信大数据分析平台的设计分析[J]. 网络安全技术与应用, 2017(6). [9] 张俊杰. 基于Hadoop的电子文件分类系统的设计与实现[D]. 东南大学, 2016. [10] 卞涛, 罗泽, 马永征. 基于Hadoop的分布式视频处理[J]. 科研信息化技术与应用, 2016(4). [11] 杨丕仁. 基于Hadoop下利用Hive进行网络日志存储和分析[J]. 电子技术与软件工程, 2017(2):163-165. [12] 丁文涛. 基于Hadoop的人脸识别系统研究与设计[D]. 江苏科技大学, 2017. [13] 潘乔. 电网监控系统的设计与运行[J]. 中国新技术新产品, 2015(17):3-3. [14] Zhang Ying-ying. Research and implementation of secure cloud storage file system based on SSH framework[D]. Xi ＇an University of Technology, 2016. [15] 王伟, 廖正宇, 张辉, et al. 基于大数据的铁路信号系统数据存储与分析系统设计与实现[J]. 信息网络安全, 2017(1). [16] 郭凯振. 基于Hadoop的分布式计算系统的设计与实现[D]. 大连海事大学, 2015. [17] 陈卓, 王有春, 平佳伟. 基于公钥基础设施的Hadoop安全机制设计[J]. 计算机测量与控制, 2016, 24(4). [18] 李晨, 杨子江, 朱世伟, et al. 基于Hadoop的网络舆情监控平台设计与实现[J]. 计算机技术与发展, 2016(2):144-149. [19] Mr Wang. Design and implementation of cloud computing education resource sharing platform based on Hadoop [D]. Inner Mongolia University, 2015. [20] 卢厅. 基于Hadoop的业务过程模型管理方法研究[D]. 湖南科技大学, 2015. [21] 文燕. 基于Hadoop农业大数据管理平台的设计[J]. 计算机系统应用, 2017(5). [22] 龚志霖, 孙麒. 基于Hadoop的在线考试系统的设计研究[J]. 工业控制计算机, 2016, 29(7):133-134. [23] 陈志华. 基于 Hadoop 的神经网络算法在网络学习评价中的应用研究[J]. 计算机与数字工程, 2016(2). [24] 崔岩. 基于Hadoop的舌部图像预处理时间对比研究[J]. 计算机时代, 2016(11):54-56. [25] 段军红, 张小东, 史庆华. 基于Hadoop的海量数据存储平台设计与开发[J]. 电子技术与软件工程, 2017(16):162-162. [26] Yuan Yaxin. Design and implementation of Yunping platform based on Hadoop traffic information parallel processing [D]. University of Electronic Science and Technology, 2015. [27] 尹飞, 高东, 石建峰, et al. 基于Hadoop的分布式管网仿真平台的设计[J]. 计算机与应用化学, 2016, 33(6). [28] 杨利娟. 基于Hadoop云平台的数据挖掘技术在天气数据的应用研究[D]. 北京邮电大学, 2015. [29] 李莉. 基于云计算平台Hadoop的并行k-means聚类算法设计研究[J]. 网络安全技术与应用, 2017(12):49-50. [30] 姚银锋. 基于Hadoop的应用可视化研究与实现[D]. 北京邮电大学, 2015. [31] 何文婷, 刘健, 袁庆升, et al. 支持Hadoop大数据访问的pNFS框架研究与实现[J]. 计算机应用研究, 2016, 33(11):3340-3344. [32] Zhang Jin. Research on Web crawler Technology based on Hadoop platform [D]. Nanjing University of posts and Telecommunications, 2017. [33] 袁胜. 基于Hadoop的心肌缺血辅助诊断工作站的设计及实现[D]. 华南理工大学, 2016. [34] 郑艳霞. 基于云计算的视频监控系统设计[D]. 成都理工大学, 2015. [35] 陈娟. 基于Hadoop网上购物系统算法的分析与实现[D]. 江西农业大学, 2015. [36] 秦东霞, 韦家骥, 齐迎春. 基于Hadoop的云平台设计与实现[J]. 智能计算机与应用, 2016, 6(4):32-34. [37] 张传勇. 基于hadoop影视碎片云存储的设计与实现[D]. 山东大学, 2015. [38] 杜娟. 基于Hadoop的视频云转码系统的研究与设计[D]. 南京邮电大学, 2017. [39] 李英. Hadoop保护大数据安全9个技巧[J]. 计算机与网络, 2016, 42(1):59-59. [40] 于兆良, 张文涛, 葛慧, et al. 基于Hadoop平台的日志分析模型[J]. 计算机工程与设计, 2016, 37(2):338-344. [41] 施磊磊, 施化吉, 宋玉平, et al. 基于Hadoop的分布式主题网络爬虫的设计与实现[J]. 信息技术, 2015(7):109-112. [42] 张效尉, 陈亚峰, 秦东霞. 基于 Hadoop 的云存储系统研究与实现[J]. 商丘师范学院学报, 2015(9):60-64. [43] 尹飞. 基于Hadoop的管道网络分布式实时计算及应用[D]. 北京化工大学, 2016. [44] 谭雄飞, 钱建良, 陈亚. 搭建基于Hadoop的云计算平台  [J]. 江苏第二师范学院学报, 2016(12):32-36,共5页. [45] 邹倩颖. 基于Hadoop的倒排索引的研究与实现[J]. 福建电脑, 2016(1):124-124. [46] Wang Pugang. Design and implementation of Industrial Log system based on HBase [D]. Dalian University of Technology, 2016. [47] 卢厅, 刘建勋, 文一凭, et al. 基于Hadoop的业务过程模型管理方法研究[J]. 计算技术与自动化, 2015(4):115-121. [48] 杨志伟. 基于Hadoop的大规模网络入侵检测技术研究[D]. 新疆大学, 2015. [49] 李甲帅, 彭长根, 朱义杰, et al. 面向Hadoop的风险访问控制模型[J]. 网络与信息安全学报, 2016, 2(1). [50] 艾超. 针对在线产品支撑数据的过滤和分析系统的研究与设计[D]. 电子科技大学, 2015. [51] 蒋云霞, 符琦. 基于Hadoop的云教学资源平台的研究[J]. 当代教育理论与实践, 2016, 8(4):111-113. [52] 王研, 张岩. 基于Hadoop的云平台的实现与基准测试[J]. 沈阳师范大学学报(自然科学版), 2016, 34(2):240-245. [53] 吴真. 基于Hadoop平台构建数据仓库关键技术的研究[D]. 华北电力大学, 2017. [54] Li Rongrong. Research on big data Mining platform based on Hadoop [J]. Southern Agricultural Machinery, 2017,48 (22): 111-111. [55] Tu Zhu-song. Research on data sharing Model based on Hadoop [D]. Hefei University of Technology, 2015. [56] 范孟可, 王攀. 基于Hadoop的固网宽带终端识别技术研究和实现[J]. 计算机技术与发展, 2017(11). [57] 于万钧, 沈斌, 周兰凤. 基于角色与信任的访问控制及其在Hadoop上的实现[J]. 现代电子技术, 2017(24):17-19+22. [58] 刘珊珊. 基于云计算平台Hadoop的聚类神经网络算法的研究与实现[D]. 贵州大学, 2016. [59] Yang Peng. Analysis of Network Node behavior based on Hadoop [D]. Beijing University of posts and Telecommunications, 2015. [60] 申剑博. 基于Hadoop面向社交网络的好友推荐系统的研究与应用[D]. 西安工程大学, 2015. 致谢 半年过去了，论文经历了选题、开题、撰写等阶段，期间在导师的指导下也曾作多次修改，几易其稿。至此，论文已经接近尾声，回首整个过程，既有艰辛也有收获，既有汗水也有喜悦。

这篇论文是在我的导师的多次指导下完成的，感谢您给了我如此宝贵的学习机会。作为您的学生，我从您那里学到了宽广的胸襟，学到了敏锐的思维，宽阔的视野。我深信，这一路艰辛和累累收获的过程将对我日后的工作实践奠定必要的基础。

在这里，我还要感谢学院所所有的老师们。我的每一步成长都是在你们的悉心指导下完成的。再次对老师道一声：老师，您辛苦了，谢谢您！此外，本文最终得以顺利完成，也是与给我提供参考文献的学者们离不开的。感谢你们为我提供了宝贵的文献资料，使我在写论文的过程中有了参考依据。

学友情深，情同兄妹。几年来，我们朝夕相处，我的记忆里时常浮现我们在一起的点点滴滴，同窗之情，必将终生难忘。

在此还要感谢在我论文评审和答辩中给予我无私帮助的老师们，感谢你们为我指出不足，促我成长。

同时，在我的学习过程中，有亲情的陪伴，有他们的付出，衷心的感谢和我的家人。

最后，感谢这几年来所有关心和帮助我的人，谨以此文铭记你们的似海深情，谨以此文献给你们我无尽的祝福和感恩。