
Amazon EMR Containers
Amazon EMR Containers
EMR on EKS API 在 Kubernetes(EKS)集群上跑 Spark/Hive/Presto 大数据作业,统一容器化 EMR 体验。
共享 EKS 集群资源提高利用率
必须先有 EKS 集群
CreateVirtualCluster 在 EKS namespace 注册为 EMR virtual cluster。StartJobRun 提交 Spark 作业。
可用率 · 30 天窗口
GitHub 活跃度
关于这个 API
EMR on EKS 是 2020 年推出的 EMR 变体,让你在 K8s 集群(EKS)上跑 EMR 兼容的 Spark/Hive/Presto 作业。它解决的问题是:传统 EMR 是给每个集群单独开 EC2,资源利用率低(作业跑完资源也得保留一段);如果公司已经用 EKS 跑应用,又想跑大数据,开两套集群浪费。EMR on EKS 让你「我有一个 EKS 集群,里面起一个 namespace 给数据团队,他们用 EMR API 提交 Spark 作业,作业以 pod 形式跑」。资源池统一,按需 scale,多团队共享。适合「已经深度 K8s 化的公司」做大数据。如果不用 K8s,传统 EMR(on EC2)或 EMR Serverless 更省心。
你可以做什么
- 1用现有 EKS 集群跑 Spark 作业(不开单独 EMR 集群)
- 2统一 K8s 资源管理(数据处理和应用同集群)
- 3多租户大数据平台
优劣对比
优点
- 共享 EKS 集群资源提高利用率
- 统一 K8s 工具链(kubectl、Argo)管理 Spark 作业
- 细粒度资源隔离(namespace)
注意事项
- 必须先有 EKS 集群
- K8s 学习曲线(不像传统 EMR 简单)
- 某些 EMR 高级特性(Notebook)受限
快速开始
CreateVirtualCluster 在 EKS namespace 注册为 EMR virtual cluster。StartJobRun 提交 Spark 作业。
常见问题
EMR on EKS vs EMR Serverless 怎么选?+
已有 K8s 平台 + 想统一管理:EMR on EKS。完全不想管基础设施:EMR Serverless。
技术细节
- 认证方式
- unknown
- 计费
- unknown
- 协议
- REST
- SDK
- python, javascript, go, java
- 响应时间
- 43 ms
- 上次巡检
- 2026/6/26 06:22:16
更多来自 Amazon Web Services 的 API
AWS IAM Access Analyzer API 分析 IAM 资源策略找潜在的过度授权或外部访问,主动识别安全风险。
Alexa for Business帮助企业在组织内使用Alexa设备和服务。
Amazon API Gateway帮助开发者构建安全且可扩展的移动和网页应用后端。
用于创建、管理和快速部署应用配置的服务。
Amazon AppFlow 提供云端数据流管理和集成服务。支持不同云服务间的数据传输和同步。
Amazon AppIntegrations 服务用于配置和重用与外部应用的连接。
Amazon AppStream 2.0 提供云端应用程序流式传输服务,支持远程访问和管理。
Amazon Athena 是一种交互式查询服务,允许使用标准 SQL 直接分析存储在 Amazon S3 中的数据。