- 轻松实时收集、处理和分析流数据
- Kinesis Data Stream: 抓取，处理和存储数据量
- Kinesis Data Firehose: 将数据流加载到AWS数据存储中
- Kinesis Data Analytic: 使用SQL或Apache Flink分析数据流
- Kinesis Video Stream: 抓取，处理和存储视频流
Kinesis Data Stream
- 和Amazon Managed Streaming for Kafka同一个产品线
- 数据持久性可以1天 – 365天
- 一旦数据插入到这里，就无法删除或更改（immutable ）
- 数据按照接收的顺序存储一段时间，并且可以在此期间无限期重播。
- Capacity Mode有Provision Mode和On-demand Mode
- Provision Mode是你知道你有多少用量了，然后购买，根据每个Shard每小时来付费，每个shard吞吐量最高，进：1mb/s或1000条信息每秒， 出：2mb/s
- On-demand Mode是你不知道自己的用量，默认吞吐量4mb/s或每秒4000条数据，付费模式：按每小时流和按 GB 数据输入/输出付费
- 以下可以获取数据的数据源
Kinesis Data Stream Security
- 可以使用KMS加密
- HTTPS in flight加密
- 使用VPC Endpoint在同一个VPC内进行访问
- API call将会被CloudTrail记录
Kinesis Data Firehose
- Kinesis Data Firehose 不存储数据。它将数据传输到其他存储服务，例如Amazon S3或Amazon Redshift。
- transform数据或compress数据，然后把数据存入aws服务或第三方服务
- 和Elastic公司的Logstash同一个产品线
Facebook评论