没有合适的资源？快使用搜索试试~ 我知道了~

文库首页安全技术网络安全第18单元 CMS系统中Kafka应用1

第18单元 CMS系统中Kafka应用1

kafka

需积分: 0 0 下载量 100 浏览量 2022-08-08 21:35:11 上传评论收藏 235KB DOCX 举报

温馨提示

试读

16页

第18单元 CMS系统中Kafka应用1

资源推荐

资源详情

资源评论

论文研究-Kafka在呼叫中心系统中的应用 .pdf

Kafka在呼叫中心系统中的应用，张家江，詹舒波，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。它是一个分布式的，可划分的，冗�

microservice-scaffold：基于Spring Cloud（Greenwich.SR2）构建的微服务脚手架（适用于在线系统），已集成注册中心（Nacos Config），配置中心（Nacos Discovery），认证授权（Oauth 2 + JWT），日志处理（ELK + Kafka），限流熔断（AliBaba Sentinel），应用指标监控（Prometheus + Grafana），调用链监控（Pinpoint），以及Spring Boot Admin

微服务支架基于Spring Cloud（Greenwich.SR2）构建的微服务脚手架，已集成注册中心（Nacos Config），配置中心（Nacos Discovery），认证授权（Oauth 2 + JWT），日志处理（ELK + Kafka），限流熔断（AliBaba Sentinel），应用指标监控（Prometheus + Grafana），调用链监控（Pinpoint），以及Spr

unit18.md

第十八单元 CMS系统中Kafka应用

【授课重点】

1. Jsoup工具的使用

2. CMS系统中Kafka生产者的使用

3. CMS系统中Kafka消费者的使用

【考核要求】

1. Jsoup工具的使用

2. CMS系统中Kafka生产者的使用

3. CMS系统中Kafka消费者的使用

【教学内容】

18.1 课程导入

在CMS系统中，如何使用Kafka导入数据？本节主要使用Jsoup工具爬取文章，通过Kafka

将文章数据导入到数据库中。

18.2 Jsoup工具的使用

jsoup 是一款Java

的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的A

PI，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

创建maven项目

配置pom.xml

<groupId>org.jsoup</groupId>

<artifactId>jsoup</artifactId>

</dependency>

<groupId>junit</groupId>

<artifactId>junit</artifactId>

</dependency>

</dependencies>

创建测试类

package com.bawei;

import java.io.IOException;

import java.util.regex.Pattern;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import org.junit.Test;

public class JSoupTest {

@Test

public void test163() throws IOException {

记录文章数

int count = 0;

获取连接对象

Connection connect = Jsoup.connect("https://news.163.com/");

获取文档对象

Document document = connect.get();

获取当前文档的所有超链接

Elements ahrefs = document.select("a[href]");

遍历元素对象

for (Element href : ahrefs) {

超链接的

url

地址

String url = href.attr("href");

定义表达式

https://news.163.com ***** html

// String regex = "https://news\\\\.163\\\\.com.*html$";

以

https://news.163.com

开头，以

html

结尾

//https://news\\.163\\.com.*html$

特殊要求

if (url != null && url.startsWith("https://news.163.com")

&& url.endsWith("html")) {

// if (url != null && Pattern.matches(regex, url)) {

连接的文本内容

String title = href.text();

System.out.println(url + "@@@@@@@@@" + title);

count++;

获取文章的文档对象

Document articleDoc = Jsoup.connect(url).get();

获取文章的内容元素对象

Element articleContentElement =

articleDoc.getElementById("content");

判断元素是否为空

if (articleContentElement != null) {

获取纯文本内容

String content = articleContentElement.text();

去除标题中的特殊符号

title = title.replace("?", "").replace("\"",

"").replace(":", "").replace("/", "").replace("\\", "");

写入到文件中

FileUtil.writeFile("D:\\1706EJsoup\\" + title +

".txt", content, "utf8");

}

System.out.println("首页中找到了复合条件的网址有：" + count +

"篇文章");

}

导入工具类

package com.bawei;

import java.io.BufferedWriter;

import java.io.File;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.OutputStreamWriter;

/**

public class FileUtil {

/***

* @Title: writeFile * @Description: 按照指定的编码把内容写入指定的文件中

* @param path * @param

* content * @param charset * @throws IOException * @return:

void

public static void writeFile(String path, String content, String

charset) throws IOException {

创建写入的文件

File file = new File(path);

创建输出流对象

BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(new

FileOutputStream(file), charset));

bw.write(content);

bw.flush();

bw.close();

}

运行测试类结果为

剩余15页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

养生的控制人

粉丝: 18
资源: 333

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

第18单元 CMS系统中Kafka应用1

论文研究-Kafka在呼叫中心系统中的应用 .pdf

浅谈Kafka_Streams在实时跟踪和监控系统中的应用.pdf

基于Kafka的管理系统源码.zip

第12单元 Kafka producer拦截器与Kafka Streams1

Kafka实例Kafka实例

linux系统的kafka监控

Kafka在SpringBoot中的应用

kafka 官方中文文档

Kafka审计系统Chaperone.zip

kafka kafka kafka kafka kafka

Kafka应用 PDF 下载

Flink+Kafka的JavaAPI应用

KAFKA分布式消息系统

kafka kafka kafka kafka

KAFKA分布式消息系统（window）

第9单元 Kafka概述1

kafkatool 连接kafka工具

kafka 监控工具

Kafka应用.pdf

9、NIFI综合应用场景-通过NIFI配置kafka的数据同步

BurpLoaderKeygen.jar.zip

最新版ISO/IEC 27001:2022、ISO 27002:2022中英文合集

Goby红队版-win-x64-2.4.7版本

Chrome Header Editor 插件

ISO SAE 21434-2021 中文版.pdf

网络安全+《2024网络安全报告》

OpenVAS GVM 中文翻译补丁

最新资源