Spark_Hive:小笔记

数据湖 Spark2-Shell $ spark2-shell-驱动程序内存25G --executor-内存25G --executor-cores 20 $ spark-shell --master local [*] --driver-memory 15G --executor-memory 15G --executor-cores 20 Sqoop引入MySQL历史资料到Hive $ sqoop import --connect jdbc：mysql：//120.109.150.175：3306 / power --username hpc -P --table PowerMinute --hive-import --hive-table powerminute --target-dir / user / hive /仓库/电源分钟--不分-m 8 Kafka创作主题 $ k