柚子快報邀請碼778899分享：大數(shù)據(jù) UDP到Kafka

http://yzkb.51969.com/

UDP 到卡夫卡（已棄用）

UDP 到卡夫卡源從一個或多個 UDP 端口讀取消息，并將每條消息直接寫入卡夫卡。但是，到 Kafka 源的 UDP 現(xiàn)已棄用，并將在將來的版本中刪除。我們建議使用可以使用多個線程的 UDP 多線程源源，以啟用來自多個 UDP 端口的數(shù)據(jù)的并行處理。

使用 UDP 到卡夫卡源從多個 UDP 端口讀取大量數(shù)據(jù)，并立即將數(shù)據(jù)寫入卡夫卡，無需額外處理。

以下是使用 UDP 到卡夫卡源的推薦體系結(jié)構(gòu)示例：

如果需要在將數(shù)據(jù)寫入 Kafka 之前對其進(jìn)行處理，需要寫入 Kafka 以外的目標(biāo)系統(tǒng)，或者源不需要處理大量數(shù)據(jù)，請使用 UDP 源源源。

UDP 到卡夫卡可以處理收集到的消息、網(wǎng)絡(luò)流 5 和網(wǎng)絡(luò)流 9 消息以及以下類型的系統(tǒng)日志消息：

目錄 5424

目錄 3164

非標(biāo)準(zhǔn)常見消息，例如沒有版本數(shù)字的 RFC 3339 日期

處理網(wǎng)絡(luò)流消息時，該階段會根據(jù)網(wǎng)絡(luò)流版本生成不同的記錄。處理網(wǎng)絡(luò)流 9 時，將根據(jù)網(wǎng)絡(luò)流 9 配置屬性生成記錄。有關(guān)詳細(xì)信息，請參閱?NetFlow 數(shù)據(jù)處理。

將 UDP 配置為卡夫卡時，可以指定要使用的 UDP 端口、卡夫卡配置信息和高級屬性，如最大寫入請求數(shù)。

您可以根據(jù)需要添加卡夫卡配置屬性并啟用卡夫卡安全性。

管道配置

在管線中使用 UDP 到 Kafka 原點時，請將該原點連接到廢紙簍目標(biāo)。

UDP 到卡夫卡源將記錄直接寫入卡夫卡。源不會將記錄傳遞到其輸出端口，因此您無法執(zhí)行其他處理或?qū)?shù)據(jù)寫入其他目標(biāo)系統(tǒng)。

但是，由于管道需要目標(biāo)，因此應(yīng)將原點連接到廢紙簍目標(biāo)以滿足管道驗證要求。

具有 UDP 到卡夫卡源的管道應(yīng)如下所示：

其他卡夫卡屬性

您可以將自定義卡夫卡配置屬性添加到 UDP 到卡夫卡源。

添加 Kafka 配置屬性時，請輸入確切的屬性名稱和值。該階段不驗證屬性名稱或值。

默認(rèn)情況下定義了多個屬性，您可以根據(jù)需要編輯或刪除這些屬性。

注意：由于舞臺使用多個配置屬性，因此它會忽略以下屬性的用戶定義值：

密鑰序列化程序.class

元數(shù)據(jù).代理列表

分區(qū)程序.class

生產(chǎn)者類型

序列化程序.class

啟用卡夫卡安全

您可以將 UDP 配置為卡夫卡源，以便通過 SSL/TLS 和/或 Kerberos 安全地連接到卡夫卡。

啟用 SSL/紅綠燈系統(tǒng)

執(zhí)行以下步驟，使 UDP 到卡夫卡源站能夠使用 SSL/TLS 連接到卡夫卡。

要使用 SSL/TLS 進(jìn)行連接，請首先確保按照卡夫卡文檔中所述，將卡夫卡配置為使用 SSL/TLS。

在舞臺的“常規(guī)”選項卡上，將“舞臺庫”屬性設(shè)置為相應(yīng)的“卡夫卡”版本。

在“卡夫卡”選項卡上，添加“卡夫卡”配置屬性并將其設(shè)置為?SSL。

然后添加并配置以下 SSL 卡夫卡屬性：

信任庫位置

信任庫

當(dāng) Kafka 代理需要客戶端身份驗證時 - 當(dāng) ssl.client.auth 代理屬性設(shè)置為“必需”時 ， 添加并配置以下屬性：

位置

密碼

.key密碼

某些代理可能還需要添加以下屬性：

ssl.enabled.協(xié)議

柚子快報邀請碼778899分享：大數(shù)據(jù) UDP到Kafka

http://yzkb.51969.com/

推薦鏈接