监控Spark应用有很多种方法。Web接口每一个SparkContext启动一个web UI用来展示应用相关的一些非常有用的信息，默认在4040端口。这些信息包括：任务和调度状态的列表RDD大小和内存使用的统计信息正在运行的executor的信息环境信息你可以在浏览器中打开http://<driver-node>:4040网址来访问这些信息。如...
Spark RPC系列： Spark RPC框架源码分析（一）运行时序 Spark RPC框架源码分析（二）运行时序 Spark RPC框架源码分析（三）运行时序 一. Spark rpc框架概述 Spark是最近几年已经算是最为成功的大数据计算框架，那么这次我们就来介绍它内部的一个小点，Spark RPC框架。 在介绍之前，我们需要先说明什么是RPC...
前情提要： Spark RPC框架源码分析（一）简述 一. Spark RPC概述 上一篇我们已经说明了Spark RPC框架的一个简单例子，Spark RPC相关的两个编程模型，Actor模型和Reactor模型以及一些常用的类。这一篇我们还是用上一篇的例子，从代码的角度讲述Spark RPC的运行时序，从而揭露Spark RPC框架的运行原理。我们主要...
大数据 spark 研究（0基础入门)一 背景 1 基础 Scala 语言基础：Scala详细总结(精辟版++) spark 介绍 : spark介绍 二 环境 1 部署spark <![if !supportLists]>1、<![endif]>环境准备（1）配套软件版本要求： Java 6+ Python...
一、大数据架构 并发计算： 并行计算： 很少会说并发计算，一般都是说并行计算，但是并行计算用的是并发技术。并发更偏向于底层。并发通常指的是单机上的并发运行，通过多线程来实现。而并行计算的范围更广，他是散布到集群上的分布式计算。 Spark内存计算比hadoop快100倍，磁盘计算快10倍，在worker节点主要基于内存进行计算，避免了不必要的磁盘io。...
1. 写在前面 之前零散的写了一些spark在某一块的性能优化，比如sparkstreaming的性能优化，参数优化，sparkSQL的优化。本篇博文针对spark一些基本的核心优化做一个介绍分享，当然这里的介绍适合rdd,sparkstreaming,sparkSQL等。当然个人认为不管什么样的优化方案和方式都只是为了提供一个优化参考。具体实际的业务中，...