简介 Tomcat 是什么 Tomcat 是由 Apache 开发的一个 Servlet 容器，实现了对 Servlet 和 JSP 的支持，并提供了作为Web服务器的一些特有功能，如Tomcat管理和控制平台、安全域管理和Tomcat阀等。 由于 Tomcat 本身也内含了一个 HTTP 服务器，它也可以被视作一个单独的 Web 服务器。但是，不能将 T...
传统的创建任务、驱动任务的方式 1.继承Thread类 通过继承Thead类，并重写run方法，在run方法里面编码具体的任务，调用对象的start方法驱动任务。 public class TestThread extends Thread{ private int count = 5; //创建介绍String形参的构造器，一般...
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和...
什么时候需要调节Executor的堆外内存大小？ 当出现一下异常时： shuffle file cannot find，executor lost、task lost，out of memory 出现这种问题的现象大致有这么两种情况： Executor挂掉了，对应的Executor上面的block manager也挂掉了，找不到对应的shuffle ma...
在网络应用开发的过程中，直接使用JDK提供的NIO的API，比较繁琐，而且想要进行性能提升，还需要结合多线程技术。 由于网络编程本身的复杂性，以及JDK API开发的使用难度较高，所以在开源社区中，涌现出来了很多对JDK NIO进行封装、增强的网络编程框架，比如Netty、Mina等。 一、Netty简介 https://netty.io/官网 Netty...
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： 1.运行速度快,Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供...
前言 在使用tomcat时，经常会遇到连接数、线程数之类的配置问题，要真正理解这些概念，必须先了解Tomcat的连接器（Connector）。 在前面的文章详解Tomcat配置文件server.xml中写到过：Connector的主要功能，是接收连接请求，创建Request和Response对象用于和请求端交换数据；然后分配线程让Engine（也就是Ser...
调试资源分配Spark 的用户邮件邮件列表中经常会出现 “我有一个500个节点的集群，为什么但是我的应用一次只有两个 task 在执行”，鉴于 Spark 控制资源使用的参数的数量，这些问题不应该出现。但是在本章中，你将学会压榨出你集群的每一分资源。推荐的配置将根据不同的集群管理系统（YARN、Mesos、Spark Standalone）而有所不同，我们...
写在前面 MyBatsi 的拦截器模式是基于代理的代理模式。并且myBatis 的插件开发也是以拦截器的形式集成到myBatis 当中。 MyBatis 的拦截器已经插件是在org.apache.ibatis.plugin包下面。 MyBatis拦截器可以拦截的类，Executor（执行器）,ParameterHandler（参数处理器）,R...
https://docs.python.org/3/library/concurrent.futures.html 17.4.1 Executor Objects class concurrent.futures.Executor #concurrent.futures.Executor类 An abstract class that provides m...