Amazon Kinesis Firehose
Amazon Kinesis Firehose
Amazon Kinesis Data Firehose API 把流式数据自动 buffer 并 deliver 到 S3/Redshift/OpenSearch/Splunk，无需写代码。
真正零运维（不像 Kinesis Data Streams 要管 shard）
有最小 buffer 时间（60 秒），不真正实时
CreateDeliveryStream 创建 stream，指定目标（S3/Redshift/OpenSearch/Splunk）。PutRecord / PutRecordBatch 写入数据。
可用率 · 30 天窗口
GitHub 活跃度
关于这个 API
Firehose 是 AWS 流式数据管线的「即取即用」选项。和 Kinesis Data Streams 的区别很关键：Data Streams 是底层流式平台（要管 shard、消费者、checkpoint），适合自定义流处理；Firehose 是托管 delivery 服务，只能把数据按 buffer 规则推到固定下游（S3、Redshift、OpenSearch、Splunk、自定义 HTTP endpoint）。最常见用法是「日志/事件 → Firehose → S3 数据湖」——应用程序往 Firehose 写 JSON 事件，Firehose 自动 buffer 5 分钟或 5MB（取先到的）然后写一个文件到 S3，按时间 partition。配合 Lambda 转换还能在 deliver 前做 ETL（过滤、enrich、change format）。完全零运维，对「我有大量小事件，想集中存到 S3 但不想自己写消费者」场景是最佳选择。
你可以做什么
- 1日志流式写入 S3 数据湖
- 2实时事件落地到 Redshift 做分析
- 3应用 metrics 写入 OpenSearch 做可视化
- 4CloudTrail/VPC Flow Logs 集中归档
优劣对比
优点
- 真正零运维（不像 Kinesis Data Streams 要管 shard）
- 自动 buffer + 批量写入下游
- 内置 Lambda 转换支持
- 按数据量计费
注意事项
- 有最小 buffer 时间（60 秒），不真正实时
- 不支持消费者重读（数据 deliver 后就走了）
示例请求
curl https://github.com/mermade/aws2openapi/<endpoint>快速开始
CreateDeliveryStream 创建 stream，指定目标（S3/Redshift/OpenSearch/Splunk）。PutRecord / PutRecordBatch 写入数据。
常见问题
Firehose vs Kinesis Data Streams 怎么选？+
只要把数据存到 S3/Redshift/OpenSearch：Firehose。需要自定义实时处理：Data Streams。
真正实时（<1s）能做吗？+
不能。Firehose 最小 buffer 是 60s。要 sub-second，用 Kinesis Data Streams + Lambda。
技术细节
- 认证方式
- unknown
- 计费
- unknown
- 协议
- REST
- SDK
- python, javascript, go, java, csharp
- 响应时间
- 12 ms
- 上次巡检
- 2026/5/12 07:36:33
更多来自 Amazon Web Services 的 API
AWS IAM Access Analyzer API 分析 IAM 资源策略找潜在的过度授权或外部访问，主动识别安全风险。
Amazon Chime SDK API 给应用嵌入实时音视频通话和聊天能力（meeting、消息、PSTN 通话）。
Amazon CloudFront 是 AWS 的 CDN 与 edge 服务，加速静态/动态内容分发，是网站性能优化的标准方案。
Amazon CloudSearch 是 AWS 的搜索引擎托管服务（已逐渐被 OpenSearch Service 取代）。
CloudWatch Application Insights API 自动监测应用问题：智能识别异常（如 SQL 慢查询、内存泄漏），减少人工配 alarm。
AWS Cognito Identity Pools API 给前端应用临时 AWS 凭证：身份联邦、guest 用户、AWS 资源直接访问。
Amazon Cognito 用户池提供托管的用户注册、登录、密码重置、MFA 等身份认证能力。
Amazon Connect Contact Lens API 用 AI 实时分析 Amazon Connect 通话：情感、关键词、合规检测、自动摘要。