简单介绍 DataStage 使用了 Client-Server 架构，server端存储全部的项目和元数据，client DataStage Designer 为整个 ETL 过程提供了一个图形化的开发环境。用所见即所得的方式设计数据的抽取清洗转换整合和载入的过程。Datastage 的可执行单元是 Datastage Job ，用户在 Designe...
https://github.com/zeyangli 目录： 1、Jenkinsfile基础(声明式) 2、声明式流水线基本语法 3、JenkinsShareLibrary 4、Groovy基础--jenkinsfile中常用的 1、Jenkinsfile基础(声明式) 以下面一个简单模板为例讲解。这里只是框架讲解，不是代表全部，比如post中条件块不止...
StackGAN 周枫 少年，愿有一天，你能用内心的沉稳安宁，洗去身上的躁动和铅华 已关注 12 人赞同了该文章 未经授权，严禁任何形式转载！能力有限，欢迎指正批评！ 参考 StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversa...
使用 paazmaya/shuji: Reverse engineering JavaScript and CSS sources from sourcemaps 可以从 sourcemap 中获取源码。 一个故事： 今天同事在完全没将代码加到过 stage 的情况下按了 VSCode 的Discard All Changes，然后这个版本的所有代码都丢失...
索引的操作 数据库百分之八十的工作基本上都是查询,而索引能帮我们更快的查询到想要的数据.但是其降低了数据的写入速度,所以要权衡常用的查询字段,不必在太多字段上建立索引. 在mongoDB中默认是用btree来组织索引文件,并且可以按字段升序/降序来创建,便于排序. 数据准备 for (var i = 1; i <100000; i++) { db...
一、安装 gitlab-runner sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64 sudo chmod +x /usr/local/bi...
一、调度分类 调度分为两种，一是应用之间的，二是应用内部作业的。 （一）应用之间 我们前面几章有说过，一个spark-submit提交的是一个应用，不同的应用之间是有调度的，这个就由资源分配者来调度。如果我们使用Yarn，那么就由Yarn来调度。调度方式的配置就在$HADOOP_HOME/etc/hadoop/yarn-site.xml中 [html...
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： 1.运行速度快,Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供...
【原文地址】https://docs.mongodb.com/manual/ CRUD操作（四） 1 查询方案（Query Plans） MongoDB 查询优化程序处理查询并且针对给定可利用的索引选择最有效的查询方案。然后每次执行查询时，查询系统使用此查询方案。 查询优化程序仅缓存可能有多种切实可行的方案的查询计划。 对于每一个查询，查询规划者在查询方案...
libgdx中的Action类能够有效的帮助我们实现位移、旋转、缩放、淡入淡出等效果，对游戏的设计很有用。 Action是一个抽象类，本身不可以实例化。一般使用的它的继承类，常用的有 MoveToAction、MoveByAction、RotateToAction、RotateByAction、ScaleToAction、ScaleByAction、Fad...