結合雲端分散儲存與Nutch搜尋引擎之影音網站
### 相关知识点 #### 一、结合云端分散储存与Nutch搜索引擎的视频网站 - **背景介绍**:本项目由台湾东海大学资讯工程学系高效能计算实验室完成,杨朝栋教授领导,团队成员包括郑陈嶸、骆彦呈、梁峻瑞、李哲成、刘建安。该研究旨在探讨如何构建一个基于Hadoop平台的视频分享网站,重点在于利用开源技术和云端分散存储来实现视频的存储、搜索和分享功能。 #### 二、云计算服务概述 - **基础设施即服务 (IaaS)**:提供基础计算资源(如服务器、存储、网络)的服务模式,典型例子为Amazon EC2。 - **平台即服务 (PaaS)**:提供开发、测试和部署应用程序所需的环境和服务,例如Hadoop、Google App Engine和Facebook App等。 - **软件即服务 (SaaS)**:通过互联网提供软件应用的服务模式,用户无需安装即可使用,如Google Apps、Facebook等。 #### 三、视频云面临的挑战 - **视频云特性**:当前主流视频网站大多采用封闭技术栈,而本项目的目标是构建一个全开源组件组成的视频分享平台。 - **主要挑战**:视频的搜索、存储、分享以及上传等环节面临诸多技术难题。 #### 四、关键技术及组件 - **Apache Hadoop项目**:分布式计算框架,适用于大数据处理任务。 - **Web架构**:操作系统选用Linux;Web服务器选择Lighttpd和Tomcat;数据库使用MySQL;多媒体框架采用FFmpeg;嵌入式视频播放器为FlowPlayer;开发者元素包括JavaScript、PHP、JSP、jQuery、CSS3以及HDFS API等。 - **Hadoop实验平台配置**:项目使用Hadoop Distributed File System (HDFS)进行数据存储,并且在实验平台中进行了相应的配置。 - **Nutch搜索引擎**:建立在Hadoop之上的开源搜索引擎,利用HDFS作为存储索引数据的数据库,并运用Map/Reduce算法进行索引构建和搜索操作。 #### 五、Hadoop与Nutch集成架构 - **Nutch架构**:Nutch作为Hadoop的上层应用,利用HDFS存储索引数据,并通过Map/Reduce实现数据的分布式处理。 - **Filesystem in Userspace (FUSE)**:一种让用户空间程序创建自定义文件系统的机制,允许非特权用户创建自己的文件系统,而无需修改内核代码。Hadoop通过FUSE挂载HDFS到用户空间中,实现对HDFS文件夹的访问。 #### 六、系统架构与云架构设计 - **系统架构**:从底层硬件设施到顶层应用层面,依次为物理环境、Linux操作系统、Tomcat/Lighttpd Web服务器、Nutch搜索引擎、MySQL数据库、FFmpeg多媒体框架、FlowPlayer视频播放器以及最终的应用网站。 - **云架构**:通过云服务实现分布式存储、数据备份等功能,同时利用开源技术降低成本、提高灵活性并促进创新。 #### 七、结论与未来展望 - **成果总结**:成功实现了基于Hadoop的视频分享网站,利用开源技术和云服务解决了视频云中的搜索、存储和分享等挑战。 - **未来发展**:项目的成功实施表明,通过合理利用云计算资源和技术可以有效解决视频云中存在的问题,提高用户体验的同时降低运营成本。 - **易用性与管理**:该方案易于管理和部署,能够快速响应用户需求变化。 - **开放性与扩展性**:开源技术的应用不仅降低了成本,还提供了更高的灵活性和扩展性。 #### 八、问答环节 - 在项目结束时,团队还预留了问答时间以便观众提问,这表明团队对于观众反馈的重视,也展现了他们对于项目细节掌握的自信。
- wangpanyang2014-07-16挺好的,适合我这样的新手看
- 大羊肖恩2013-06-28不错啊 看了几页 没全看完
- 粉丝: 5
- 资源: 11
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助