# BigData
大数据-电商项目
## 架构图
## 项目架构：
Spring MVC + Spring + Hibernate+maven+nginx+tomcat+flume+kafka+hdfs+hive+sqoop+mysql
## 项目描述：
用户访问页面，将用户及其访问的资源进行记录并统计，
## 技术实现：
##### web部分使用ssh框架。客户端访问网页经过nginx做反向代理（动态资源到达tomcat，静态资源到达nginx）。
##### Linux开启周期性调度任务，实现日志滚动。
##### flume进行日志收集。
##### kafka同一主题不同组创建两个消费者：消费者1将原生数据写入hdfs上；kafka消费者2将原生数据清洗并保存在hive的分区表中。
##### hive中执行hiveQL脚本进行统计
##### 通过sqoop将统计结果导出到mysql（也使用Linux周期调度任务）
##### 使用jf生成饼图。
## 责任描述：
全程负责，独立完成
大数据电商项目-BigData.zip
需积分: 0 166 浏览量
2023-11-06
21:45:13
上传
评论
收藏 216KB ZIP 举报
大数据电商项目-BigData.zip （184个子文件） 
mycss.css 189B
iphone7.html 732B huawei.html 213B note7.html 209B mi.html 202B EshopConsumer.iml 9KB eshop.iml 5KB BigData.iml 335B HDFSRawConsumer.java 3KB UserController.java 3KB BaseDaoImpl.java 2KB AdminController.java 2KB StatController.java 2KB BaseServiceImpl.java 1KB User.java 1KB StringUtil.java 1KB UserServiceImpl.java 846B HDFSWriter.java 822B Test.java 781B StatServiceImpl.java 718B TestUserService.java 660B Stat.java 600B BaseService.java 520B ValidateUtil.java 461B BaseDao.java 428B HomeController.java 421B UserService.java 327B StatDaoImpl.java 263B UserDaoImpl.java 229B StatService.java 198B js.js 39B userList.jsp 1KB editUser.jsp 931B userReg.jsp 898B viewUser.jsp 773B index.jsp 767B login.jsp 563B statList.jsp 504B Hello.jsp 305B README.md 1KB
架构图.png 72KB 数据库.png 33KB huawei.png 6KB iphone7.png 6KB mi.png 6KB note7.png 6KB jdbc.properties 294B 9ca27222-f54a-409c-a1dc-f620e1765326.xml 33KB uiDesigner.xml 9KB eshop_war_exploded.xml 4KB beans.xml 4KB pom.xml 3KB hdfs-site.xml 3KB core-site.xml 2KB web.xml 1KB webmvc.xml 1KB pom.xml 1KB Maven__org_thymeleaf_thymeleaf_Release2.xml 887B Maven__org_thymeleaf_thymeleaf_Release3.xml 887B Maven__org_thymeleaf_thymeleaf_Release1.xml 887B dataSources.xml 887B Maven__org_thymeleaf_thymeleaf_Release.xml 886B Maven__org_thymeleaf_thymeleaf_spring4_Release1.xml 848B Maven__org_thymeleaf_thymeleaf_spring4_Release.xml 847B Maven__org_thymeleaf_thymeleaf_spring4_Latest1.xml 846B Maven__org_thymeleaf_thymeleaf_spring4_Latest.xml 845B Maven__org_jboss_spec_javax_transaction_jboss_transaction_api_1_2_spec_1_0_0_Final.xml 775B User.hbm.xml 745B Maven__org_hibernate_common_hibernate_commons_annotations_4_0_5_Final.xml 720B compiler.xml 713B Maven__org_hibernate_javax_persistence_hibernate_jpa_2_1_api_1_0_0_Final.xml 708B Maven__org_apache_hadoop_hadoop_mapreduce_client_jobclient_2_7_3.xml 694B Maven__org_apache_directory_server_apacheds_kerberos_codec_2_0_0_M15.xml 692B Maven__org_scala_lang_modules_scala_parser_combinators_2_11_1_0_4.xml 686B Maven__org_springframework_spring_context_support_4_3_3_RELEASE.xml 681B Maven__org_apache_hadoop_hadoop_mapreduce_client_shuffle_2_7_3.xml 680B Maven__org_jboss_logging_jboss_logging_annotations_1_2_0_Beta1.xml 680B Maven__org_apache_hadoop_hadoop_mapreduce_client_common_2_7_3.xml 673B Maven__org_apache_hadoop_hadoop_mapreduce_client_core_2_7_3.xml 659B misc.xml 656B Maven__org_apache_hadoop_hadoop_mapreduce_client_app_2_7_3.xml 652B Maven__org_springframework_spring_expression_4_3_3_RELEASE.xml 646B Maven__org_apache_hadoop_hadoop_yarn_server_common_2_7_3.xml 638B Maven__org_springframework_spring_context_4_3_3_RELEASE.xml 625B Maven__org_apache_directory_server_apacheds_i18n_2_0_0_M15.xml 622B Maven__org_springframework_spring_webmvc_4_3_3_RELEASE.xml 618B Maven__commons_beanutils_commons_beanutils_core_1_8_0.xml 617B Maven__org_apache_htrace_htrace_core_3_1_0_incubating.xml 617B Maven__commons_configuration_commons_configuration_1_6.xml 612B Maven__org_springframework_spring_beans_4_3_3_RELEASE.xml 611B Maven__org_codehaus_jackson_jackson_mapper_asl_1_9_13.xml 608B Maven__commons_collections_commons_collections_3_2_2.xml 604B Maven__org_springframework_spring_jdbc_4_3_3_RELEASE.xml 604B Maven__org_springframework_spring_core_4_3_3_RELEASE.xml 604B Maven__org_apache_directory_api_api_asn1_api_1_0_0_M20.xml 603B Maven__org_springframework_spring_aop_4_3_3_RELEASE.xml 597B Maven__org_springframework_spring_orm_4_3_3_RELEASE.xml 597B Maven__org_springframework_spring_web_4_3_3_RELEASE.xml 597B Maven__org_codehaus_jackson_jackson_core_asl_1_9_13.xml 594B Maven__org_springframework_spring_tx_4_3_3_RELEASE.xml 590B共 184 条
- 1
- 2
资源评论
