web | Java

Spark

千锋教育

1. driver端:通过反射获取主类执行main方法

-> 创建sparkconf和sparkContext,创建通信环境、后端调度器(负责向master发送注册信息、向excutor发送task的调度器)、task调度器、DAG(根据宽窄依赖划分stage)调度器 ->封装任务信息提交给Master


2. Master端:缓存任务信息并将其放入任务队列

-> 轮到该任务时,调用调度方法进行资源调度

->发送调度信息给对应的worker


3. Worker端:worker将调度信息封装成对象

-> 调用对象的start方法,启动excutor进程


4. Excutor进程:启动后向driver端反向注册(driver端拿到信息后注册excutor,向其发送任务)

-> 创建线程池,封装任务对象 -> 获取池中线程执行任务 -> 反序列化TastSet,执行给定的各种算子步骤