基于springboot以及ChatGPT接口的智能BI(Business Intelligence)项目 ,

# hxBI 基于springboot以及ChatGPT接口的智能BI(Business Intelligence)项目 , 用户只需要输入分析诉求并导入XLS数据, 即可通过AI进行图表生成与数据分析 , 实现数据分析的降本增效。 线上地址 ： http://bi.dhx.icu 测试用户: testuser@163.com adorabled4 ## 版本信息 包含了主要项的版本信息，更多内容请参考**pom.xml** | 项 | 版本 | | ------------ | ------ | | JDK | 1.8 | | springboot | 2.5.7 | | MySQL | 5.7.32 | | Redis | 6.2.6 | | Maven | 3.8.6 | | Mybatis-plus | 3.5.3 | | MongoDB | 7.0.1 | ## 主要内容 1. 通过**MongoDB**进行生成图表结果存储 , 原始数据量较大 , 通过对原始数据与图表结果的**分库存储** , 一方面减小MySQL压力, 另一方面也可以提高原始数据的安全性(默认用户删除图表是删除生成的结果 , 对于原始数据需要走单独的删除接口) 2. 通过**策略模式**以及反向压力思想, 根据当前系统负载进行策略选择 3. 通过**Spring-Retry**进行失败重试 4. 通过对生成图表JSON数据进行**压缩** , 实测平均节约**35+%**空间 5. 通过**Docker**进行项目部署, 同时通过Github Actions实现**Docker镜像构建与推送到阿里云镜像仓库的自动化** 6. 通过**WebSocket**进行图表生成结果的实时推送 7. 通过阿里云**OSS**进行用户图表存储(主要是头像) 8. 更改用户注册登录方式为**邮箱** 9. JWT + Redis**双Token单点登录** 10. **Logback**日志配置以及基于**AOP**的日志处理 项目地址 : - 后端 : https://github.com/adorabled4/hxBI - https://github.com/adorabled4/hxBI-frontend 目前的主要业务流程 <img src="C:/Users/dhx/Desktop/image-20230831165848356.png" style="zoom:67%;" /> **下面我简单描述下部分扩展点的实现细节** ### MongoDB MongoDB是一个面向文档的NoSQL数据库，它以JSON样式的文档存储数据。这种灵活的数据模型使得可以轻松地存储和检索不同结构的数据 对于生成的图表, 主要的操作更多是查询 , 也就是 `读>>写` 这里使用MongoDB进行信息存储 , 数据库查询速度提高了 3~4倍 , 接口响应速度快了`40%+` , 因此我认为这一点还是十分有必要的。 要点在于我们如果去做好图表生成的CRUD操作以及MySQL与图表之间的数据一致性 关于CRUD操作 ， 建议参考`spring-data-mongodb`的官方文档 , 这里给出地址 https://docs.spring.io/spring-data/mongodb/docs/3.3.10/reference/html/ <u>**另外, 十分建议直接使用docker去进行服务搭建 (只需要就记住一次命令 , 基本是属于一劳永逸)**</u> 还有一点需要注意的就是MongoDB的id , 这里我使用的是MongoDB自带的Object ID , 实际在查询的过程中仍然使用我们业务中的ChartId , 好处是这样用户生成图表会更加的方便 > 如果使用chartId作为主键 , 对于一些生成失败的图表就会占用主键 , 会大大增加编码的复杂性 只需要添加一个version字段用来标记即可 --- 关于数据一致性 , 做法是在生成图表成功的时候进行数据的同步 , 这样也十分契合我们进行数据隔离存储的目的 , 也就是说我们的MySQL中不再存储图表生成的结果 ### 反向压力与策略模式 反向压力的思想鱼总在直播的过程中已经介绍过了, 这里不再重复 详细内容可以查看 https://blog.csdn.net/weixin_41701290/article/details/119994997 使用的是`java.lang.management`包下的工具类 这里给出代码 ```java public class ServerMetricsUtil { private static OperatingSystemMXBean osBean = ManagementFactory.getPlatformMXBean(OperatingSystemMXBean.class); private static MemoryMXBean memoryBean = ManagementFactory.getMemoryMXBean(); private static ThreadMXBean threadBean = ManagementFactory.getThreadMXBean(); /** * 获取当前服务器CPU使用占比 * * @return CPU usage percentage. */ public static double getCpuUsagePercentage() { return osBean.getProcessCpuLoad() * 100; // Convert to percentage } /** * 获取当前服务器内存使用占比 * * @return Memory usage percentage. */ public static double getMemoryUsagePercentage() { long usedMemory = memoryBean.getHeapMemoryUsage().getUsed(); long maxMemory = memoryBean.getHeapMemoryUsage().getMax(); return ((double) usedMemory / maxMemory) * 100; // Convert to percentage } /** * 判断当前使用同步还是异步进行服务 * based on CPU and memory usage. * * @return true for synchronous, false for asynchronous. */ public static boolean shouldProvideSync() { double cpuUsagePercentage = getCpuUsagePercentage(); double memoryUsagePercentage = getMemoryUsagePercentage(); // Threshold values for CPU and memory usage double cpuThreshold = 70.0; // Example threshold value double memoryThreshold = 80.0; // Example threshold value if (cpuUsagePercentage < cpuThreshold && memoryUsagePercentage < memoryThreshold) { return true; // Provide service synchronously } else { return false; // Provide service asynchronously } } public static ServerLoadInfo getLoadInfo() { double cpuUsagePercentage = getCpuUsagePercentage(); double memoryUsagePercentage = getMemoryUsagePercentage(); return new ServerLoadInfo(cpuUsagePercentage,memoryUsagePercentage); } } ``` 这里我的实现并不好 , 每次服务都需要去查询负载 , 并且这个方法执行很慢 , 并且仅仅是通过CPU以及内存占用来进行负载判断 > 更好的应该是结合更多的参数, **比如磁盘I/O 网络I/O等** 如果不熟悉策略模式 , 建议浏览 https://www.runoob.com/design-pattern/strategy-pattern.html 简单来讲就是通过一个接口统一方法的各项信息(参数 , 名称, 返回值等) , 然后我们定义不同的策略去实现接口中的执行方法 由于在进行图表生成的过程中会使用到大量的Spring控制的Bean , 于是我把所有的策略实现类都交给了Spring管理 通过`@Compoennet(value="xxxx")` 来指明Bean的名称 , 然后在 **策略选择器**的代码中通过注入`Map<String, Strategy>` 来获取具体的执行策略 > **通过枚举类枚举了策略的Bean名称 , 便于代码维护** ```java @Component public class StrategySelector { /** * Spring会自动将strategy接口的实现类注入到这个Map中，key为bean id,value值则为对应的策略实现类 */ @Resource Map<String, GenChartStrategy> strategyMap; /** * 选择对应的生成图表执行策略 * * @param info 服务器当前负载信息 * @return {@link GenChartStrategy} */ public GenChartStrategy selectStrategy(ServerLoadInfo info) { if (info.isVeryHighLoad()) { return strategyMap.get(GenChartStrategyEnum.GEN_REJECT.getValue()); } else if (info.isHighLoad()) { return strategyMap.get(GenChartStrategyEnum.GEN_MQ.getValue()); } else if (info.isMediumLoad()) { return strategyMap.get(GenChartStrategyEnum.GEN_THREAD_POOL.getValue()); } else { return strategyMap.get(GenChartStrategyEnum.GEN_SYNC.getValue()); } } } ``` 那么具体的执行策略也就是原本我们生成图表的方式 1. 同步 2. 线程池异步 3. RabbitMQ异步 这里我新加了一条 **拒绝策略** , 只会在服务器负载特别高的时候去执行 ### 图表结果压缩 我们在开发的过程中大多经常与JSON打交道, 那么常用的JSON网站大家应该都有印象 <img src="http://oss.dhx.icu/dhx/image-20230831174722917.png" style="zoom:67%;" /> 图表生成的JSON数据中是有很多的**制表符**以及**空格**的 ,