题目
简述Lambda架构的核心组成及各层作用
信息
- 类型：问答
- 难度：⭐
考点
Lambda架构,批处理层,速度层,服务层
快速回答
Lambda架构是一种大数据处理框架，包含三层：
- 批处理层（Batch Layer）：处理全量历史数据，生成批处理视图
- 速度层（Speed Layer）：实时处理增量数据，生成实时视图
- 服务层（Serving Layer）：合并批处理和实时视图，提供低延迟查询
核心目标：平衡准确性（批处理）与低延迟（实时处理）。
解析
1. 原理说明
Lambda架构由Nathan Marz提出，通过分层处理解决大数据场景中全量数据准确性与实时数据低延迟的矛盾：
- 批处理层：使用MapReduce、Spark等处理历史全量数据，生成高准确性的批处理视图（如HDFS存储）
- 速度层：用Storm/Flink等处理实时增量数据，生成临时实时视图（如Redis存储）
- 服务层：合并两层视图（如批处理视图+实时增量），通过API提供统一查询（常用Druid、Cassandra）
2. 工作流程示例
以网站访问统计为例：
# 伪代码示意
# 批处理层（每小时运行）
def batch_layer():
full_data = load_from_hdfs("all_visits") # 读取历史全量数据
batch_view = full_data.group_by("page").count() # 生成批处理视图
save_to_hbase(batch_view) # 存储到服务层
# 速度层（持续运行）
def speed_layer():
stream = kafka.consume("realtime_visits") # 消费实时数据流
realtime_view = stream.window("1min").count() # 生成分钟级实时视图
save_to_redis(realtime_view) # 存储临时结果
# 服务层（查询时合并）
def query(page):
batch_count = hbase.query("batch_view", page) # 获取批处理结果
realtime_delta = redis.query("realtime_view", page) # 获取实时增量
return batch_count + realtime_delta # 返回最终结果3. 最佳实践
- 数据不可变性：原始数据永久存储，避免覆盖
- 分层解耦：各层独立开发部署，如批处理用Spark，速度层用Flink
- 查询优化：服务层预聚合数据，避免直接查原始数据
- 容错机制：批处理层可重算修复错误，速度层需额外日志回溯
4. 常见错误
- 数据不一致：批处理与速度层逻辑不一致导致结果冲突
- 过度复杂：维护两套处理逻辑增加开发成本
- 实时层积压：Kafka堆积时实时视图延迟剧增
- 存储冗余：相同数据在HDFS/Kafka/Redis重复存储
5. 扩展知识
- Kappa架构：Lambda的简化版，仅用流处理层+消息回溯（如Kafka保留7天数据）
- 混合架构：批流一体引擎（如Spark Structured Streaming、Flink）逐渐取代分层架构
- 适用场景对比：
场景 Lambda Kappa 历史数据量 PB级优先 TB级优先 实时性要求 分钟级 秒级 开发成本 高（两套逻辑） 中（需处理回溯）
