高通量计算框架HTCondor(一)——概述

摘要:
HTCondor提供以下功能:发布任务:根据集群中设置的计算资源条件将任务发布到集群计算机。HTCondor自带文件传输机制,在发布任务时可以自动将数据发送到相应的机器进行操作。

目录
1. 正文

HTCondor是威斯康星大学麦迪逊分校构建的分布式计算软件和相关技术,用来处理高通量计算(High Throughput Computing )的相关问题。高通量计算中的Throughput应该是吞吐量的意思,也就是调度计算机资源的能力。与高性能计算(HPC)不同,高通量计算(HTC)应对的问题是在高性能的同时能够长时间稳定运行的能力,并充分利用集群或网络内计算资源。长时间计算时,集群或网络内计算资源往往是不可靠的,这中间蕴含了计算资源管理和任务调度的问题。

具体来说,HTC的思想就是将规模的密集运算拆分成一个个的子任务,交给集群计算机运算。HTCondor提供了如下功能:

  1. 发布任务:根据设定的集群内计算资源条件,将任务发布到集群计算机。
  2. 调度任务:任务能够发送到满足条件计算机中运行,或者迁移到另外一台计算机。
  3. 监视任务:随时监视任务运行的情况和计算资源的情况。
    注意拆分任务这一步还是需要用户自己控制的,拆分合适粒度的并行任务,有助于最大程度的负载均衡。

除此之外,一个不能忽视的的问题就是磁盘IO的问题。HTC往往伴随着海量数据,巨量数据的磁盘IO必定会造成性能瓶颈。HTCondor自带了一种文件传输机制,发布任务的时候能够自动将数据发送到对应的机器中运行。当然,也可以尝试搭配分布式文件系统如hdfs进行计算。

准备在这一系列博文中,通过一个具体的实例,总结下HTCondor的使用过程,也算对分布式计算或者集群计算有个感性的认识。

2. 目录

1.高通量计算框架HTCondor(一)——概述
简要介绍了高通量分布式计算与HTCondor。
2.高通量计算框架HTCondor(二)——环境配置
详细展示了HTCondor环境的搭建过程。
3.高通量计算框架HTCondor(三)——使用命令
介绍了HTCondor的使用环境,以及经常使用的命令。
4.高通量计算框架HTCondor(四)——案例准备
准备一个实际案例做分布式计算。
5.高通量计算框架HTCondor(五)——分布计算
使用一个实例进行简单的分布式计算。
6.高通量计算框架HTCondor(六)——拾遗
总结了使用HTCondor过程中的一些问题与建议。

3. 参考

[1]. 说说高通量计算(HTC)、高性能计算(HPC)和多任务计算(MTC)
[2]. HTCondor官网
[3]. Hadoop到底是干什么用的?
[4]. condor 使用详解

4. 相关

代码和数据地址

下一篇

免责声明:文章转载自《高通量计算框架HTCondor(一)——概述》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇通过jpa getResultList 获取查询到的内容C++ RS-485通讯示例下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

XNA框架基础——获取免费的XNA Game Studio Express

获取免费的XNA Game Studio Express 要立刻开始编码,你必须确定你安装了恰当的工具,IDE是快速起步的一个尤其重要的工具。如果你已经完成了XNA Game Studio Express的安装和配置,你可以越过这一个章节。 写这个部份仅仅以防有人需要另外的技巧和窍门。例如,如何在Visual Studio 2005 Profession...

Winform布局开源框架,Winform控件框架,插件化框架

  什么是Winform框架?   Winform框架是基于.NET开发平台研发的用于快速开发软件项目的软件模板或开发平台,常用的程序语言有C#.NET, VB.NET。   通常Winform框架界面组件使用第三方控件,如:DevExpress,该控件功能强调,用户体验友好。 若全部采用.NET原生组件,开发效率低,界面不美观,用户体验差,特别是基于数...

9款Android经常使用的高速开发框架

1、Afinal框架 项目地址:https://github.com/yangfuhai/afinal 项目地址:http://www.oschina.net/p/afinal 主要有四大模块: (1) 数据库模块:android中的orm框架,使用了线程池对sqlite进行操作。 (2) 注解模块:android中的ioc框架,全然注解方式就能够进行...

Gerapy框架的安装

Gerapy 框架 安装其实很简单,但是网上有很多内容都都没有关键的一步,导致我们登录进去的时候没有内容,至此记录一下,有助于记忆。 gerapy安装: pip install gerapy 检查gerapy的安装是否成功: gerapy gerapy的初始化: gerapy init 初始化完毕以后,我们的目录中就会生成一个gerapy的文件 cd ge...

grpc使用记录(三)简单异步服务实例

grpc使用记录(三)简单异步服务实例 目录 grpc使用记录(三)简单异步服务实例 1、编写proto文件,定义服务 2、编译proto文件,生成代码 3、编写服务端代码 async_service.cpp async_service2.cpp 编写异步服务和编写同步服务的基本流程都差不多,稍有点区别。 同步服务你只需要实现相关服务接口...

antd框架tree树动态插入,解决新版Antd无法使用TreeNodes问题

本文主要解决: iview树形组件使用问题,已经有后台数据,请问如何对应treeData的字段? 如下所示 { title: 'child 1-1', expand: true, children: [ { title: 'leaf 1-1-1...