基于 Eclipse Vert.x 和 Apache Ignite 实现的 MQTT 协议服务器详细文档+全部资料.zip

# Stuart #### 介绍 Stuart 是一个基于 [Eclipse Vert.x](https://vertx.io) 和 [Apache Ignite](https://ignite.apache.org) 实现的 MQTT 协议服务器，具备以下特性： 1. 支持 MQTT 3.1 和 MQTT 3.1.1 2. 支持 QoS0，QoS1 和 QoS2 3. 支持订阅包含通配符(+/#)的主题 4. 支持 transient session 和 persistent session 5. 支持 persistent session 的消息持久化 6. 支持 retained 和 will 消息 7. 支持服务器集群 8. 支持基于用户名/密码的连接认证管理 9. 支持基于用户名、IP地址和主题的访问控制列表 10. 支持 Web 管理界面 11. 支持 MQTT over WebSocket #### 安装教程 1. 运行环境<br> JDK：Oracle JDK 8 或 OpenJDK 8<br> 操作系统：Linux、Mac OS X(10.6以上)、Windows(XP以上)、Windows Server(2008以上)<br> 2. 下载 release 版本，使用如下命令直接运行：`java -jar stuart-0.1.0-fat.jar`<br> 运行后会在 stuart-0.1.0-fat.jar 文件的同级目录下创建 storage 和 log 两个目录，在未使用 --cfg 指定配置文件时，Stuart 将使用 jar 包中自带的 cfg.properties 进行启动<br> 如果想查看启动命令的具体参数，可以使用如下命令：`java -jar stuart-0.1.0-fat.jar -h`<br> 3. 通过 maven 编译，使用 `git clone https://gitee.com/x87/stuart.git` 或 `git clone https://github.com/xyangwang/stuart.git` 命令，或者在 Stuart 项目页面直接下载源码，使用自己熟悉的 IDE 导入工程进行二次开发（需安装 lombok 插件），并使用 `mvn install` 命令编译打包。由于新增的 MQTT over WebSocket 功能修改了依赖包 `vertx-mqtt` 中的代码，如果需要自己编译，请同时到 `https://gitee.com/x87/vertx-mqtt.git` 或 `https://github.com/xyangwang/vertx-mqtt.git` 下载修改的依赖包，并 checkout `3.6` 分支代码 4. 成功启动后，就可以使用 `mosquitto_sub` 和 `mosquitto_pub` 命令或者其他 Client Library 进行开发测试 #### 系统架构 1. 系统存储 <img src="https://images.gitee.com/uploads/images/2019/0227/151339_7fcb9c6f_581533.png" /> <br> <img src="https://images.gitee.com/uploads/images/2019/0227/151424_0ef59029_581533.png" /> 系统使用 [Apache Ignite](https://ignite.apache.org) 原生持久化功能对信息进行存储<br> 存储包括：节点信息、监听器信息、连接信息、会话信息、路由信息、Will 消息、Retain 消息、管理员信息、连接用户信息和访问控制信息。<br> 节点信息、监听器信息和连接信息使用纯内存模式存储，其他信息采用持久化模式存储。<br> 路由信息包括两部分：<br> A. topic 到 node 与 client 的映射关系；<br> B. wildcard topic 的前缀树结构。<br> 针对持久化和非持久化两种 Session，分别采用两套不同的存储结构：<br> A. 对于非持久化 Session，基于这类 Session 的消息不需要持久化，所以使用 On-Heap 内存对消息进行存储；<br> B. 对于持久化 Session， 则使用 [Apache Ignite](https://ignite.apache.org) 的 IgniteCache 和 IgniteQueue 进行存储。<br> 2. 节点架构 <img src="https://images.gitee.com/uploads/images/2019/0306/094542_5482931c_581533.png" /> 系统主要分成五大服务模块：<br> A. Cache Service：为其他模块提供持久化服务；<br> B. Auth Service：提供连接用户的认证，订阅/发布的访问控制，以及针对 local 模式下相关信息的管理配置；<br> C. Session Service：管理连接到服务的 Session；<br> D. Verticle Service：管理各类 Verticle 和 Service，Verticle 是各 Listener 的具体实现，为各类客户端提供连接访问；<br> E. Metrics Service：针对 MQTT 协议的包/消息数/消息有效载荷字节数，以及 Session 运行信息的收集和统计。<br> 备注：由于 Restful API 暂时没有实现，所以上图中这部分用虚线标识。 3. 集群架构 <img src="https://images.gitee.com/uploads/images/2019/0227/151458_64ce6a04_581533.png" /> Stuart 目前可以使用两种方式组建集群：<br> A. 静态 IP 列表；<br> B. ZooKeeper 服务发现。 系统先通过上述方式将 [Apache Ignite](https://ignite.apache.org) 组成集群，然后再使用 [Eclipse Vert.x](https://vertx.io) 通过 [Apache Ignite](https://ignite.apache.org) 组成集群，这样就可以使用 [Eclipse Vert.x](https://vertx.io) 提供的高效的 Event Bus 在节点间进行通讯。 #### 配置文件 ``` # instance configuration # 服务器实例唯一标识 instance.id=stuart@127.0.0.1 # 服务器启动监听地址 instance.listen-address=0.0.0.0 # 服务器运行统计信息更新时间间隔 instance.metrics-period-ms=60000 # 存储路径 instance.storage.dir=./storage # 存储写同步模式，包括：primary_sync 和 full_sync instance.storage-write-sync-mode=primary_sync # 预写日志模式，包括：fsync、log_only 和 background instance.storage.wal-mode=log_only # background 预写日志模式下缓冲区刷新到磁盘的频率 instance.storage.wal-flush-frequency-ms=2000 # 日志路径 instance.log.dir=./log # 日志级别 instance.log.level=info # port configuration # MQTT 端口 mqtt.port=1883 # SSL MQTT 端口 mqtt.ssl-port=8883 # MQTT over WebSocket 端口 websocket.port=8080 # MQTT over WebSocket path websocket.path=/mqtt # MQTT over SSL WebSocket 端口 websocket.ssl-port=8083 # MQTT over SSL WebSocket path websocket.ssl-path=/mqtt # Web 端口 http.port=18083 # max connections configuration # MQTT 最大连接数 mqtt.max-connections=102400 # SSL MQTT 最大连接数 mqtt.ssl-max-connections=1024 # MQTT over WebSocket 最大连接数 websocket.max-connections=64 # MQTT over SSL WebSocket 最大连接数 websocket.ssl-max-connections=64 # mqtt configuration # mqtt packet max size (fixed header + variable header + payload) # 客户端 ID 最大长度 mqtt.client.max-len=1024 # 客户端连接超时时间 mqtt.client.connect-timeout-s=30 # 客户端限制超时时间 mqtt.client.idle-timeout-s=30 # MQTT Packet 最大限制(fixed header + variable header + payload) mqtt.packet.max-size-kb=64 # 保存 retained 消息的最大数量 mqtt.retain.max-capacity=1000000 # retained 消息 payload 最大限制 mqtt.retain.max-payload-kb=64 # retained 消息过期时间，`0`标识没有过期限制 mqtt.retain.expiry-interval-s=0 # 是否开启 SSL mqtt.ssl-enable=false # SSL Key 路径 mqtt.ssl-key-path=./server-key.pem # SSL Cert 路径 mqtt.ssl-cert-path=./server-cert.pem # 是否开启节点和会话的监控 mqtt.metrics-enable=true # session configuration # 发送消息时，是否对 QoS 进行升级处理，默认做降级处理，即消息与主题两者的 QoS 取较小者 session.upgrade-qos=false # 服务器端会话等待 QoS2 消息 PUBREL 指令的最大容量 session.await-rel.max-capacity=1000 # 服务器端会话等待 QoS2 消息 PUBREL 指令的过期时间 session.await-rel.expiry-interval-s=20 # 服务器端会话队列最大容量 session.queue.max-capacity=1000 # 服务器端会话队列是否存储 QoS0 消息 session.queue.store-qos0=false # 服务器端会话飞行窗口最大容量 session.inflight.max-capacity=32 # 服务器端会话飞行窗口中消息的过期时间 session.inflight.expiry-interval-s=20 # 服务器端会话飞行窗口中消息的重试次数 session.inflight.max-retries=3 # authentication and authorization basic configuration # system use md5(auth.aes-key) value as AES Algorithm's Key # 连接用户加解密秘钥 auth.aes-key=1234567890 # 是否允许匿名链接访问 auth.allow-anonymous=false # 是否允许不匹配访问控制列表的访问 auth.acl-allow-nomatch=true # 认证鉴权方式，包括：local、redis、mysql、postgre 和 mongo # 只有在 local 模式下，才可以使用 Web 管理界面中的“连接用户”和“访问控制”界面 auth.mode=local # authentication and authorization redis configuration auth.redis.host=127.0.0.1 auth.redis.port=6379 auth.redis.pass= auth.redis.select=0