大数据平台技术框架选型.pdf

大数据平台技术框架选型是构建高效、稳定且可扩展的数据处理基础设施的关键步骤。在这个过程中，我们需要考虑多个方面，包括需求分析、技术组件选择、产品业务流程、选型要求以及潜在的陷阱。 理解需求是至关重要的。一个城市大数据平台需要具备数据存储和检索的能力，同时，对于海量和多样性的数据，需要强大的数据接入和标准化处理功能。此外，平台还需要支持信息统计、分析挖掘和全文检索等高级服务，以提供增值洞察。考虑到可能的上层应用集成商，平台必须提供灵活的数据接口服务。 大数据平台的技术组件通常包括ETL（数据抽取、转换、加载）、非关系型数据仓库、大数据处理引擎、服务协调、商业智能（BI）分析以及平台监控。这些组件的选择需要满足核心功能需求，同时兼容性和扩展性也是评估的重要因素。 选型时，应考虑以下要求： 1. 平台需满足所有核心功能，若无法全部满足，至少需提供相应服务支持。 2. 选择国内外资料丰富、组件成熟度和流行度高的产品。 3. 平台的核心功能应有深入理解，API易用，便于源码开发。 4. 商业服务性价比高，尽量减少对外部商业技术服务的依赖。 5. 需明确非功能性需求，如集群规模、数据处理量和安全性。 选型过程中，亲自试用大数据套件是非常必要的，以评估其易用性、兼容性和适用性。同时，检查其是否支持广泛使用的开源标准，如Hadoop及其生态系统，以及SOAP和REST Web服务的数据集成。此外，考虑套件的特性，确保它们涵盖所有必要的功能，但也要避免过度功能导致的复杂性和成本增加。 在选择方案时，需要分析不同提供商的优缺点。例如， Hortonworks是100%开源的，提供培训服务和授权支持，适用于大规模数据处理。然而，安装和操作可能需要专业培训。另一方面，国产套件可能提供更灵活的商业服务和支持，但可能在文档和社区资源上相对较少。 了解潜在的陷阱，比如数据驱动的付费模式，可能带来高昂的费用。同时，某些解决方案可能限制了对Hadoop的使用范围，只支持特定的场景，如ETL。 在研究了Presto、Phoenix、Stinger（Tez）、YARN、Pig、Spark等开源工具后，可以根据具体需求和场景选择合适的技术栈。例如，Presto是一个快速的分布式SQL查询引擎，适合大规模数据分析；Tez和Spark提供了高效的计算框架，而Phoenix则为HBase提供了SQL接口。 总结来说，大数据平台技术框架选型是一个综合了业务需求、技术能力、社区支持、商业服务和成本效益的复杂决策过程。通过全面的评估和测试，才能确保选择的框架能够满足当前及未来的大数据挑战。