掌握 Vector 的 vector Sink将日志、指标与 Trace 中继到下游 Vector 实例【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vector在构建分布式可观测性管道时常常需要一个汇聚层多台边缘节点或 K8s 内的 agent先把日志、指标与 Trace 集中到少数几台聚合器上再由聚合器统一投递到后端存储。Vector 的vectorsink 正是为此设计的组件——它通过 Vector 原生协议基于 gRPC 的 Vector source 接口把可观测性数据中继到另一台下游 Vector 实例。读完本篇你将掌握 vector sink 的完整配置项routing多端点路由、压缩、批处理、请求并发、TLS、HTTP/2 keepalive、acknowledgements、健康检查与重试机制以及其 gRPC 发送路径的源码级实现细节。组件概览vector sink 是什么vector sink 的定位是实例到实例的桥接器instance-to-instance relay其组件元数据website/cue/reference/components/sinks/vector.cue声明了以下关键属性属性值含义deliverybest_effort尽力而为的投递语义配合磁盘缓冲可提升可靠性developmentstable稳定版组件egress_methodbatch以批量方式发送请求statefulfalse组件本身无状态acknowledgements支持可开启端到端确认下游成功落盘/投递后才 ackhealthcheck默认开启sink 初始化时检查下游可达性输入类型logs / metricscounter、gauge、summary、histogram、distribution、set/ traces三类遥测数据全支持传输出站 sockethttp协议族TLS 可选对应 gRPC over HTTP/2从源码结构看该 sink 的实际发送走的是 gRPC 通道事件先被编码为 protobuf 的PushEventsRequest定义在 proto/vector/vector.proto再通过 tonicgRPC 客户端发出见 src/sinks/vector/sink.rs 中proto_vector::PushEventsRequest的构造过程。这也是它与httpsink 的本质区别——vector sink 使用 Vector 的私有二进制协议而非文本编码天然保留日志、指标、Trace 的完整语义且编码效率更高。配置详解以下所有字段均来自 src/sinks/vector/config.rs 中VectorConfig的定义字段注释即文档。address 与 routing指向一个或多个下游端点address与routing二者互斥必须且只能配置其一required_one_of address_or_routingsinks: downstream: type: vector inputs: [my-source] # 方式一单端点已废弃保留兼容 address: http://127.0.0.1:6000address已被标记为废弃官方注释明确提示userouting.endpointsinstead。它接受 IP 或主机名但必须带端口新的推荐写法是routing块支持端点列表、路由策略与健康配置sinks: downstream: type: vector inputs: [my-source] routing: endpoints: - https://aggregator-1.example.com:6000 - https://aggregator-2.example.com:6000 strategy: load_balance # strategy: failover health: # 仅在 strategy 为 load_balance 时生效 # 控制不健康端点的退避与探测行为strategy是EndpointStrategy枚举源码中定义了三档语义见 src/sinks/vector/config.rsload_balance默认通过 Tower 分布式服务在多个健康端点之间分配请求端点健康状态由routing.health跟踪不健康的端点会按配置退避并周期性探测。该模式不保持单一活跃端点也不偏向前缀配置的端点failover一次只使用一个端点活跃端点失败后从下一个配置端点继续。它持续使用最后一个成功的端点直到其失败为保证同一时刻只有一个活跃端点该策略下请求会被串行化忽略所配置的并发度failover_primary与 failover 类似但发生可重试失败时会重新从第一个配置的主端点开始检查适合有明确主备关系的场景。需要注意两点实现细节只配置一个端点时sink 走标准的单端点服务路径策略语义不生效健康检查范围上负载均衡模式会在启动时检查所有端点而 failover 模式默认只检查初始活跃端点即列表第一个除非显式设置了healthcheck.uri。compression传输压缩compression: gzip # 取值none默认/ gzip / zstd对应 src/sinks/vector/compression.rs 中的VectorCompression枚举它直接映射到 tonic 的CompressionEncodingGzip / Zstd。对文本型日志这类高压缩比数据zstd通常能在吞吐与 CPU 之间取得较好平衡组件元数据中该功能默认关闭compression: enabled: false即默认none。batch批处理vector sink 默认启用批处理组件元数据中send.batch.enabled: true配置默认值max_bytes: 10_000_000、timeout_secs: 1.0即批量事件总字节数达到 10 MB或距批次开始超过 1 秒满足其一即发送。类型上它使用BatchConfigRealtimeEventBasedDefaultBatchSettings因此除了max_bytes、timeout_secs外还支持max_events、max_event_size、partition_n等通用批量选项。这与文档中Buffers and batches的通用说明一致website/cue/reference/components/sinks.cueVector 把缓冲与批量视为sink 级别的私有概念而非全局概念从而隔离各 sink 的故障域、兑现各自的投递保证。request请求并发、限流与重试request字段类型是TowerRequestConfig覆盖三类控制request: # 静态并发显式指定后关闭自适应并发 # concurrency: 10 # 请求速率限制对自适应与静态并发均生效 rate_limit_duration_secs: 1 rate_limit_num: 10 # 重试策略 retry_attempts: 3 retry_backoff_secs: [0.2, 0.5, 1, 2, 5]自适应请求并发ARCVector 默认启用基于反馈回路的自适应并发控制受 TCP 拥塞控制启发根据下游响应自动优化 HTTP 并发无需额外配置显式设置request.concurrency即切换为静态并发限流rate_limit_duration_secsrate_limit_num限制整体请求吞吐量重试官方文档明确的策略是——仅对状态码[408, 429]、 500且! 501的响应重试其余不重试retry_attempts与retry_backoff_secs控制重试次数与退避节奏。tls传输安全vector sink 支持 TLSenabled_by_scheme: false即tls.enabled与 URL scheme 均可触发可校验证书与主机名。典型配置tls: enabled: true ca_file: /path/to/ca.pem key_file: /path/to/client-key.pem cert_file: /path/to/client-cert.pem或直接在端点使用https://scheme。组件文档同时说明Vector 基于 OpenSSL 实现 TLS可通过tls.*选项或 OpenSSL 配置文件调整行为配置文件位置默认为/usr/local/ssl/openssl.cnf也可用OPENSSL_CONF环境变量指定。keepaliveHTTP/2 空闲连接保活这是 vector sink 特有的配置项因为它是 gRPC/HTTP/2 客户端keepalive: interval_secs: 60 # 空闲连接发送 PING 的间隔默认 60 timeout_secs: 20 # PING 未确认即判定连接死亡默认 20对应VectorKeepaliveConfig见 src/sinks/vector/config.rs。其设计动机写在源码注释里keepalive 默认关闭启用后 sink 会在空闲连接上发送 HTTP/2 PING 帧用于检测并驱逐已死的池化连接下游崩溃、重启或被网络分区切断保证重试总是落在存活的连接上。默认间隔 60 秒对齐 gRPC 社区指引避免触发中间代理的too_many_pings策略默认超时 20 秒与 hyper 的默认值一致。acknowledgements端到端确认acknowledgements字段使用bool_or_struct反序列化即可以简单写true也可以写成结构体开启细选项。开启后只有当下游 Vector 实例确认数据已被成功处理其自身 sink 侧投递成功后上游才会释放对应的 finalizer。配合上游的磁盘缓冲可以实现跨实例的可靠传输链。完整配置示例sinks: downstream: type: vector inputs: [my-remap] routing: endpoints: - http://agg-1.internal:6000 - http://agg-2.internal:6000 strategy: load_balance compression: zstd batch: max_events: 1000 timeout_secs: 1.0 acknowledgements: true healthcheck: uri: http://agg-1.internal:6000/health request: retry_attempts: 5 retry_backoff_secs: [0.2, 0.5, 1, 2, 5] keepalive: interval_secs: 60 timeout_secs: 20健康检查机制vector sink 默认执行健康检查sink 初始化时探测下游服务是否可访问并处于就绪状态。检查失败只会记录错误日志Vector 仍会继续启动。两个逃生口要求启动必须通过健康检查——传--require-healthy标志失败则立即退出vector --config /etc/vector/vector.yaml --require-healthy完全禁用——将healthcheck设为false或按结构体写法关闭。在routing多端点模式下健康检查还与端点策略联动负载均衡检查全部端点failover 默认只查初始活跃端点见上文address 与 routing小节。源码实现走读vector sink 的实现集中在 src/sinks/vector/ 目录共五个文件职责清晰config.rsVectorConfig、RoutingConfig、EndpointStrategy、VectorKeepaliveConfig等全部配置类型deny_unknown_fields保证未知字段会被配置校验直接拒绝sink.rs核心发送逻辑。把Event批次转换为proto_vector::PushEventsRequest包装进VectorRequest交给 Tower 服务链源码中还有一个值得注意的防御性检查——事件嵌套成本nesting cost超过 protobuf 预算时会被拒绝防止深层嵌套事件击穿下游解码service.rsVectorService等 Tower 服务实现负责把请求序列化为 gRPC 调用compression.rsVectorCompression到 tonic 压缩编码的映射mod.rs错误类型与模块入口。从源码结构看请求经过的管线是典型 Tower 中间件栈批处理 → 重试retry_attempts/retry_backoff_secs→ 限流/自适应并发 → 端点路由单端点或分布式→ gRPC 传输TLS 与代理hyper_proxy::ProxyConnector在 config.rs 中被引入在连接层生效。ACK 路径则由EventFinalizers携带下游处理完成后finalizer 被回收上游缓冲才能安全释放对应事件。适用场景与限制典型场景K8s 内 agent 汇聚到集群内 aggregator 再统一出口混合云/多区域节点先汇聚到中心机房利用failover_primary构建主备聚合链语义边界组件交付语义为best_effort若需要严格不丢数据请在 sink 上启用磁盘缓冲buffer.type: disk并开启acknowledgements对端要求下游必须运行 Vector 并开启 Vector sourcegRPC端点地址必须包含端口兼容性提示address字段虽仍可用但已废弃新配置应一律使用routing.endpoints。参考路径组件元数据website/cue/reference/components/sinks/vector.cue通用 sink 文档模板缓冲/批量、健康检查、限流、重试、TLS 说明website/cue/reference/components/sinks.cue配置类型定义src/sinks/vector/config.rs发送实现src/sinks/vector/sink.rs、src/sinks/vector/service.rs压缩实现src/sinks/vector/compression.rs协议定义proto/vector/vector.proto【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 掌握 Vector 的 vector Sink：将日志、指标与 Trace 中继到下游 Vector 实例
掌握 Vector 的 vector Sink将日志、指标与 Trace 中继到下游 Vector 实例【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vector在构建分布式可观测性管道时常常需要一个汇聚层多台边缘节点或 K8s 内的 agent先把日志、指标与 Trace 集中到少数几台聚合器上再由聚合器统一投递到后端存储。Vector 的vectorsink 正是为此设计的组件——它通过 Vector 原生协议基于 gRPC 的 Vector source 接口把可观测性数据中继到另一台下游 Vector 实例。读完本篇你将掌握 vector sink 的完整配置项routing多端点路由、压缩、批处理、请求并发、TLS、HTTP/2 keepalive、acknowledgements、健康检查与重试机制以及其 gRPC 发送路径的源码级实现细节。组件概览vector sink 是什么vector sink 的定位是实例到实例的桥接器instance-to-instance relay其组件元数据website/cue/reference/components/sinks/vector.cue声明了以下关键属性属性值含义deliverybest_effort尽力而为的投递语义配合磁盘缓冲可提升可靠性developmentstable稳定版组件egress_methodbatch以批量方式发送请求statefulfalse组件本身无状态acknowledgements支持可开启端到端确认下游成功落盘/投递后才 ackhealthcheck默认开启sink 初始化时检查下游可达性输入类型logs / metricscounter、gauge、summary、histogram、distribution、set/ traces三类遥测数据全支持传输出站 sockethttp协议族TLS 可选对应 gRPC over HTTP/2从源码结构看该 sink 的实际发送走的是 gRPC 通道事件先被编码为 protobuf 的PushEventsRequest定义在 proto/vector/vector.proto再通过 tonicgRPC 客户端发出见 src/sinks/vector/sink.rs 中proto_vector::PushEventsRequest的构造过程。这也是它与httpsink 的本质区别——vector sink 使用 Vector 的私有二进制协议而非文本编码天然保留日志、指标、Trace 的完整语义且编码效率更高。配置详解以下所有字段均来自 src/sinks/vector/config.rs 中VectorConfig的定义字段注释即文档。address 与 routing指向一个或多个下游端点address与routing二者互斥必须且只能配置其一required_one_of address_or_routingsinks: downstream: type: vector inputs: [my-source] # 方式一单端点已废弃保留兼容 address: http://127.0.0.1:6000address已被标记为废弃官方注释明确提示userouting.endpointsinstead。它接受 IP 或主机名但必须带端口新的推荐写法是routing块支持端点列表、路由策略与健康配置sinks: downstream: type: vector inputs: [my-source] routing: endpoints: - https://aggregator-1.example.com:6000 - https://aggregator-2.example.com:6000 strategy: load_balance # strategy: failover health: # 仅在 strategy 为 load_balance 时生效 # 控制不健康端点的退避与探测行为strategy是EndpointStrategy枚举源码中定义了三档语义见 src/sinks/vector/config.rsload_balance默认通过 Tower 分布式服务在多个健康端点之间分配请求端点健康状态由routing.health跟踪不健康的端点会按配置退避并周期性探测。该模式不保持单一活跃端点也不偏向前缀配置的端点failover一次只使用一个端点活跃端点失败后从下一个配置端点继续。它持续使用最后一个成功的端点直到其失败为保证同一时刻只有一个活跃端点该策略下请求会被串行化忽略所配置的并发度failover_primary与 failover 类似但发生可重试失败时会重新从第一个配置的主端点开始检查适合有明确主备关系的场景。需要注意两点实现细节只配置一个端点时sink 走标准的单端点服务路径策略语义不生效健康检查范围上负载均衡模式会在启动时检查所有端点而 failover 模式默认只检查初始活跃端点即列表第一个除非显式设置了healthcheck.uri。compression传输压缩compression: gzip # 取值none默认/ gzip / zstd对应 src/sinks/vector/compression.rs 中的VectorCompression枚举它直接映射到 tonic 的CompressionEncodingGzip / Zstd。对文本型日志这类高压缩比数据zstd通常能在吞吐与 CPU 之间取得较好平衡组件元数据中该功能默认关闭compression: enabled: false即默认none。batch批处理vector sink 默认启用批处理组件元数据中send.batch.enabled: true配置默认值max_bytes: 10_000_000、timeout_secs: 1.0即批量事件总字节数达到 10 MB或距批次开始超过 1 秒满足其一即发送。类型上它使用BatchConfigRealtimeEventBasedDefaultBatchSettings因此除了max_bytes、timeout_secs外还支持max_events、max_event_size、partition_n等通用批量选项。这与文档中Buffers and batches的通用说明一致website/cue/reference/components/sinks.cueVector 把缓冲与批量视为sink 级别的私有概念而非全局概念从而隔离各 sink 的故障域、兑现各自的投递保证。request请求并发、限流与重试request字段类型是TowerRequestConfig覆盖三类控制request: # 静态并发显式指定后关闭自适应并发 # concurrency: 10 # 请求速率限制对自适应与静态并发均生效 rate_limit_duration_secs: 1 rate_limit_num: 10 # 重试策略 retry_attempts: 3 retry_backoff_secs: [0.2, 0.5, 1, 2, 5]自适应请求并发ARCVector 默认启用基于反馈回路的自适应并发控制受 TCP 拥塞控制启发根据下游响应自动优化 HTTP 并发无需额外配置显式设置request.concurrency即切换为静态并发限流rate_limit_duration_secsrate_limit_num限制整体请求吞吐量重试官方文档明确的策略是——仅对状态码[408, 429]、 500且! 501的响应重试其余不重试retry_attempts与retry_backoff_secs控制重试次数与退避节奏。tls传输安全vector sink 支持 TLSenabled_by_scheme: false即tls.enabled与 URL scheme 均可触发可校验证书与主机名。典型配置tls: enabled: true ca_file: /path/to/ca.pem key_file: /path/to/client-key.pem cert_file: /path/to/client-cert.pem或直接在端点使用https://scheme。组件文档同时说明Vector 基于 OpenSSL 实现 TLS可通过tls.*选项或 OpenSSL 配置文件调整行为配置文件位置默认为/usr/local/ssl/openssl.cnf也可用OPENSSL_CONF环境变量指定。keepaliveHTTP/2 空闲连接保活这是 vector sink 特有的配置项因为它是 gRPC/HTTP/2 客户端keepalive: interval_secs: 60 # 空闲连接发送 PING 的间隔默认 60 timeout_secs: 20 # PING 未确认即判定连接死亡默认 20对应VectorKeepaliveConfig见 src/sinks/vector/config.rs。其设计动机写在源码注释里keepalive 默认关闭启用后 sink 会在空闲连接上发送 HTTP/2 PING 帧用于检测并驱逐已死的池化连接下游崩溃、重启或被网络分区切断保证重试总是落在存活的连接上。默认间隔 60 秒对齐 gRPC 社区指引避免触发中间代理的too_many_pings策略默认超时 20 秒与 hyper 的默认值一致。acknowledgements端到端确认acknowledgements字段使用bool_or_struct反序列化即可以简单写true也可以写成结构体开启细选项。开启后只有当下游 Vector 实例确认数据已被成功处理其自身 sink 侧投递成功后上游才会释放对应的 finalizer。配合上游的磁盘缓冲可以实现跨实例的可靠传输链。完整配置示例sinks: downstream: type: vector inputs: [my-remap] routing: endpoints: - http://agg-1.internal:6000 - http://agg-2.internal:6000 strategy: load_balance compression: zstd batch: max_events: 1000 timeout_secs: 1.0 acknowledgements: true healthcheck: uri: http://agg-1.internal:6000/health request: retry_attempts: 5 retry_backoff_secs: [0.2, 0.5, 1, 2, 5] keepalive: interval_secs: 60 timeout_secs: 20健康检查机制vector sink 默认执行健康检查sink 初始化时探测下游服务是否可访问并处于就绪状态。检查失败只会记录错误日志Vector 仍会继续启动。两个逃生口要求启动必须通过健康检查——传--require-healthy标志失败则立即退出vector --config /etc/vector/vector.yaml --require-healthy完全禁用——将healthcheck设为false或按结构体写法关闭。在routing多端点模式下健康检查还与端点策略联动负载均衡检查全部端点failover 默认只查初始活跃端点见上文address 与 routing小节。源码实现走读vector sink 的实现集中在 src/sinks/vector/ 目录共五个文件职责清晰config.rsVectorConfig、RoutingConfig、EndpointStrategy、VectorKeepaliveConfig等全部配置类型deny_unknown_fields保证未知字段会被配置校验直接拒绝sink.rs核心发送逻辑。把Event批次转换为proto_vector::PushEventsRequest包装进VectorRequest交给 Tower 服务链源码中还有一个值得注意的防御性检查——事件嵌套成本nesting cost超过 protobuf 预算时会被拒绝防止深层嵌套事件击穿下游解码service.rsVectorService等 Tower 服务实现负责把请求序列化为 gRPC 调用compression.rsVectorCompression到 tonic 压缩编码的映射mod.rs错误类型与模块入口。从源码结构看请求经过的管线是典型 Tower 中间件栈批处理 → 重试retry_attempts/retry_backoff_secs→ 限流/自适应并发 → 端点路由单端点或分布式→ gRPC 传输TLS 与代理hyper_proxy::ProxyConnector在 config.rs 中被引入在连接层生效。ACK 路径则由EventFinalizers携带下游处理完成后finalizer 被回收上游缓冲才能安全释放对应事件。适用场景与限制典型场景K8s 内 agent 汇聚到集群内 aggregator 再统一出口混合云/多区域节点先汇聚到中心机房利用failover_primary构建主备聚合链语义边界组件交付语义为best_effort若需要严格不丢数据请在 sink 上启用磁盘缓冲buffer.type: disk并开启acknowledgements对端要求下游必须运行 Vector 并开启 Vector sourcegRPC端点地址必须包含端口兼容性提示address字段虽仍可用但已废弃新配置应一律使用routing.endpoints。参考路径组件元数据website/cue/reference/components/sinks/vector.cue通用 sink 文档模板缓冲/批量、健康检查、限流、重试、TLS 说明website/cue/reference/components/sinks.cue配置类型定义src/sinks/vector/config.rs发送实现src/sinks/vector/sink.rs、src/sinks/vector/service.rs压缩实现src/sinks/vector/compression.rs协议定义proto/vector/vector.proto【免费下载链接】vectorA high-performance observability data pipeline.项目地址: https://gitcode.com/GitHub_Trending/vect/vector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考