Amazon Kinesis Firehose
Amazon Kinesis Firehose
Amazon Kinesis Data Firehose API 把流式数据自动 buffer 并 deliver 到 S3/Redshift/OpenSearch/Splunk，无需写代码。
真正零运维（不像 Kinesis Data Streams 要管 shard）
有最小 buffer 时间（60 秒），不真正实时
CreateDeliveryStream 创建 stream，指定目标（S3/Redshift/OpenSearch/Splunk）。PutRecord / PutRecordBatch 写入数据。
可用率 · 30 天窗口
GitHub 活跃度
关于这个 API
Firehose 是 AWS 流式数据管线的「即取即用」选项。和 Kinesis Data Streams 的区别很关键：Data Streams 是底层流式平台（要管 shard、消费者、checkpoint），适合自定义流处理；Firehose 是托管 delivery 服务，只能把数据按 buffer 规则推到固定下游（S3、Redshift、OpenSearch、Splunk、自定义 HTTP endpoint）。最常见用法是「日志/事件 → Firehose → S3 数据湖」——应用程序往 Firehose 写 JSON 事件，Firehose 自动 buffer 5 分钟或 5MB（取先到的）然后写一个文件到 S3，按时间 partition。配合 Lambda 转换还能在 deliver 前做 ETL（过滤、enrich、change format）。完全零运维，对「我有大量小事件，想集中存到 S3 但不想自己写消费者」场景是最佳选择。
你可以做什么
- 1日志流式写入 S3 数据湖
- 2实时事件落地到 Redshift 做分析
- 3应用 metrics 写入 OpenSearch 做可视化
- 4CloudTrail/VPC Flow Logs 集中归档
优劣对比
优点
- 真正零运维（不像 Kinesis Data Streams 要管 shard）
- 自动 buffer + 批量写入下游
- 内置 Lambda 转换支持
- 按数据量计费
注意事项
- 有最小 buffer 时间（60 秒），不真正实时
- 不支持消费者重读（数据 deliver 后就走了）
快速开始
CreateDeliveryStream 创建 stream，指定目标（S3/Redshift/OpenSearch/Splunk）。PutRecord / PutRecordBatch 写入数据。
常见问题
Firehose vs Kinesis Data Streams 怎么选？+
只要把数据存到 S3/Redshift/OpenSearch：Firehose。需要自定义实时处理：Data Streams。
真正实时（<1s）能做吗？+
不能。Firehose 最小 buffer 是 60s。要 sub-second，用 Kinesis Data Streams + Lambda。
技术细节
- 认证方式
- unknown
- 计费
- unknown
- 协议
- REST
- SDK
- python, javascript, go, java, csharp
- 响应时间
- 42 ms
- 上次巡检
- 2026/6/26 06:22:16
更多来自 Amazon Web Services 的 API
AWS IAM Access Analyzer API 分析 IAM 资源策略找潜在的过度授权或外部访问，主动识别安全风险。
Alexa for Business帮助企业在组织内使用Alexa设备和服务。
Amazon API Gateway帮助开发者构建安全且可扩展的移动和网页应用后端。
用于创建、管理和快速部署应用配置的服务。
Amazon AppFlow 提供云端数据流管理和集成服务。支持不同云服务间的数据传输和同步。
Amazon AppIntegrations 服务用于配置和重用与外部应用的连接。
Amazon AppStream 2.0 提供云端应用程序流式传输服务，支持远程访问和管理。
Amazon Athena 是一种交互式查询服务，允许使用标准 SQL 直接分析存储在 Amazon S3 中的数据。