面向物联网的数据基础设施白皮书

现在，是时候思考物联网时代的企业关键业务挑战与机遇。在过去的近十年中，EMQ 一直围绕物联网的「连接」与「数据」开发开源基础设施软件。如今，EMQ X 中间件已解决了 「海量连接」的挑战，HStreamDB 流数据库则正试图解决海量物联网数据的存储、处理与实时分析。在多年为企业交付物联网基础软件过程中，我们 发现企业大多以场景优先的方式构建单一物联网应用。 EMQ 始终认为，物联网场景与应用的核心逻辑是以「数据」为中心，从数据获取到业务洞察，从而创造价值。特别是中大型企业，更应以「数据」为中心，从「数据」出发思考物联网业务，在融合物联网数据与传统的企业经营数据基础上，灵活构建多样化的创新型业务，以实现企业的数字化、实时化、智能化转型。在本白皮书中，EMQ 正式提出「面向物联网的数据基础设施」架构范式，与产业一起迎接物联网时代企业的关键业务挑战，实现企业业务创新与价值创造 延迟流存储，高效处理大规模物联网数据流............................................... 14分析 – 在线分析处理，实时洞察业务状况................................................................. 15智能 – AI 模型集成，自动化决策支持................................................................. 15治理 – 数据安全与隐私保护，合规管理................................................................. 16 物联网(IoT)时代的到来，对企业提出了全新的挑战与机遇。传统的信息化建设主要围绕企业内部流程与事务处理，而物联网的兴起，将数据的维度扩展到了物理世界的感知和交互，使得企业必须重新审视其数据基础设施的构建方式。EMQ作为一家专注于物联网领域的软件开发商，已经通过EMQ X中间件解决了大规模设备连接的问题，并通过HStreamDB流数据库来应对海量物联网数据的存储、处理和实时分析需求。 在物联网时代，数据成为核心驱动力，企业需要以数据为中心，构建灵活且具有扩展性的业务体系。中大型企业尤其需要这样的转型，整合物联网数据与传统企业数据，实现数字化、实时化和智能化的运营模式，推动业务创新和价值增值。 技术趋势方面，云计算从最初的集中式服务转变为云原生，强调容器化、微服务化和DevOps，以适应快速迭代和弹性伸缩的需求。同时，边缘计算的兴起，使得数据处理更靠近数据源头，减少了延迟，提高了响应速度。这些变化推动了数据处理和分析范式的转变： 1. 生产主体：物联网设备持续感知物理世界，记录和传递状态信息，取代了过去主要依赖人类行为产生的数据。 2. 产生方式：数据不再是周期性或偶发的，而是持续稳定的生成，需要实时处理。 3. 数据类型：传统的事务型表数据向实时分析型流数据转变，更适合处理连续不断的数据流。 4. 数据体量：随着物联网设备的广泛部署，数据量呈指数级增长，从TB跃升至PB甚至EB级别。 5. 处理方式：传统的批处理模式难以满足实时需求，流式计算成为主流，允许实时分析和决策。 6. 架构模型：Schema on Write（写时定义模式）逐渐被Schema on Read（读时定义模式）取代，更加灵活地应对变化的数据结构。 为了应对这些挑战，EMQ提出了面向物联网的数据基础设施架构范式，它包含以下几个关键组成部分： 1. 连接：采用弹性、可靠的多协议连接，确保大规模物联网设备的接入和通信稳定性。 2. 移动：实时消息引擎负责双向数据移动与分发，实现数据的高效流转。 3. 存储：低延迟的流存储解决方案，优化对大规模物联网数据流的处理能力。 4. 分析：在线分析处理能力，使企业能够实时洞察业务状况，快速响应市场变化。 5. 智能：集成AI模型，实现自动化决策支持，提升业务智能化水平。 6. 治理：强化数据安全与隐私保护，确保合规性，降低业务风险。 这个架构设计原则旨在为物联网应用提供一个高效、灵活和可扩展的基础，帮助企业轻松应对数据爆炸带来的挑战，挖掘潜在的商业价值，并加速企业向数字化、智能化的转型。通过这一面向物联网的数据基础设施，企业可以更好地应对物联网时代的业务挑战，实现创新并创造更多价值。