如何解决将事件直接从kafka存储到数据库中吗？何时或为何使用S3 / HDFS？
我正在学习事件流/事件管道。
我知道普通（简单）管道的外观，让我们说这样的话，在互联网上很容易找到它：
DECLARE @SQL nvarchar(MAX),@ColumnName sysname = N'YourColumnName',@CRLF nchar(2) = CHAR(13) + CHAR(10);
DECLARE @Delimiter nvarchar(30) = @CRLF + N'UNION ALL' + @CRLF
SET @SQL = (SELECT STRING_AGG(N'SELECT N' + QUOTENAME(s.[name],'''') + N' AS SchemaName,N' + QUOTENAME(t.[name],'''') + N' AS TableName,' + QUOTENAME(c.[name]) + N' FROM ' + QUOTENAME(s.[name]) + N'.' + QUOTENAME(t.[name]),@Delimiter) WITHIN GROUP (ORDER BY t.object_id)
FROM sys.schemas s
JOIN sys.tables t ON s.schema_id = t.schema_id
JOIN sys.columns c ON t.object_id = c.object_id
WHERE c.[name] = @ColumnName)
EXEC sys.sp_executesql @SQL;
我的问题是下一个，为什么我看不到这种架构？
Kafka-> S3/HDFS/... -> database/datawarehouse
我知道为什么在我的公司中我们使用S3来存储事件，然后再去数据库，但是我只想得到一些其他意见或观点，因为我在具有事件流管道的公司中工作不多 谢谢！
解决方法
这是我创建的架构图之一：
,注意：在这里，我将数据从Kafka推送到MongoDB，Hive和HBase
Kafka具有连接器，如果您只是想将数据从Kafka流式传输到其他存储库（接收器连接器），反之亦然（源连接器），则应利用该连接器。
在此处查看文档。
https://docs.confluent.io/current/connect/managing/connectors.html
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。