結合雲端分散儲存與Nutch搜尋引擎之影音網站

### 相关知识点 #### 一、结合云端分散储存与Nutch搜索引擎的视频网站 - **背景介绍**：本项目由台湾东海大学资讯工程学系高效能计算实验室完成，杨朝栋教授领导，团队成员包括郑陈嶸、骆彦呈、梁峻瑞、李哲成、刘建安。该研究旨在探讨如何构建一个基于Hadoop平台的视频分享网站，重点在于利用开源技术和云端分散存储来实现视频的存储、搜索和分享功能。 #### 二、云计算服务概述 - **基础设施即服务 (IaaS)**：提供基础计算资源（如服务器、存储、网络）的服务模式，典型例子为Amazon EC2。 - **平台即服务 (PaaS)**：提供开发、测试和部署应用程序所需的环境和服务，例如Hadoop、Google App Engine和Facebook App等。 - **软件即服务 (SaaS)**：通过互联网提供软件应用的服务模式，用户无需安装即可使用，如Google Apps、Facebook等。 #### 三、视频云面临的挑战 - **视频云特性**：当前主流视频网站大多采用封闭技术栈，而本项目的目标是构建一个全开源组件组成的视频分享平台。 - **主要挑战**：视频的搜索、存储、分享以及上传等环节面临诸多技术难题。 #### 四、关键技术及组件 - **Apache Hadoop项目**：分布式计算框架，适用于大数据处理任务。 - **Web架构**：操作系统选用Linux；Web服务器选择Lighttpd和Tomcat；数据库使用MySQL；多媒体框架采用FFmpeg；嵌入式视频播放器为FlowPlayer；开发者元素包括JavaScript、PHP、JSP、jQuery、CSS3以及HDFS API等。 - **Hadoop实验平台配置**：项目使用Hadoop Distributed File System (HDFS)进行数据存储，并且在实验平台中进行了相应的配置。 - **Nutch搜索引擎**：建立在Hadoop之上的开源搜索引擎，利用HDFS作为存储索引数据的数据库，并运用Map/Reduce算法进行索引构建和搜索操作。 #### 五、Hadoop与Nutch集成架构 - **Nutch架构**：Nutch作为Hadoop的上层应用，利用HDFS存储索引数据，并通过Map/Reduce实现数据的分布式处理。 - **Filesystem in Userspace (FUSE)**：一种让用户空间程序创建自定义文件系统的机制，允许非特权用户创建自己的文件系统，而无需修改内核代码。Hadoop通过FUSE挂载HDFS到用户空间中，实现对HDFS文件夹的访问。 #### 六、系统架构与云架构设计 - **系统架构**：从底层硬件设施到顶层应用层面，依次为物理环境、Linux操作系统、Tomcat/Lighttpd Web服务器、Nutch搜索引擎、MySQL数据库、FFmpeg多媒体框架、FlowPlayer视频播放器以及最终的应用网站。 - **云架构**：通过云服务实现分布式存储、数据备份等功能，同时利用开源技术降低成本、提高灵活性并促进创新。 #### 七、结论与未来展望 - **成果总结**：成功实现了基于Hadoop的视频分享网站，利用开源技术和云服务解决了视频云中的搜索、存储和分享等挑战。 - **未来发展**：项目的成功实施表明，通过合理利用云计算资源和技术可以有效解决视频云中存在的问题，提高用户体验的同时降低运营成本。 - **易用性与管理**：该方案易于管理和部署，能够快速响应用户需求变化。 - **开放性与扩展性**：开源技术的应用不仅降低了成本，还提供了更高的灵活性和扩展性。 #### 八、问答环节 - 在项目结束时，团队还预留了问答时间以便观众提问，这表明团队对于观众反馈的重视，也展现了他们对于项目细节掌握的自信。