藏经阁-From a single droplet to a full bottle, our journey to Hadoo

Coca-Cola East Japan的Hadoop之旅 随着大数据和云计算技术的飞速发展，企业开始意识到数据分析的重要性，Coca-Cola East Japan也不例外。通过本篇文章，我们将探索Coca-Cola East Japan的Hadoop之旅，从最初的试点阶段到全面生产阶段的整个过程。 数据治理的重要性 Coca-Cola East Japan意识到数据治理的重要性，特别是在数据silos、P2P接口、批处理和缺乏元数据管理的情况下。为了解决这些问题，Coca-Cola East Japan决定采用Hadoop来改进数据治理。 Hadoop之旅Genesis Coca-Cola East Japan的Hadoop之旅始于2015年7月，启动了试点阶段。该阶段使用了5个节点，100GB的存储空间，70GB的RAM，Azure A1到A4的云服务，并由1个人组成的团队负责。该阶段使用了Hive、KNIME、WEKA、Tez等工具，实现了数据的处理和分析。 Hadoop之旅Stability 在试点阶段的成功后，Coca-Cola East Japan继续推进Hadoop之旅，进入稳定阶段。该阶段使用了6个节点，1TB的存储空间，336GB的RAM，Azure A4到D/DS13的云服务，并由2个人组成的团队负责。该阶段引入了Ranger、Python Notebook、NiFi等工具，实现了数据的安全、监控和处理。 Hadoop之旅Production 在稳定阶段的成功后，Coca-Cola East Japan正式进入生产阶段。该阶段使用了8个节点，3TB的存储空间，64个CPU核心，Azure D/DS13的云服务，并由一个大型团队负责。该阶段引入了Spark、BW on Hana、Zeppelin等工具，实现了大规模数据分析和处理。 Hadoop的优势 通过Hadoop之旅，Coca-Cola East Japan获得了许多优势，包括数据治理的改进、数据分析的加速、数据安全的增强等。 结论 Coca-Cola East Japan的Hadoop之旅是一个成功的案例，展示了Hadoop在企业中的应用和优势。通过Hadoop，企业可以改进数据治理，提高数据分析效率，增强数据安全，并提高企业的竞争力。