Go:创建新进程(os.StartProcess源码解读)

摘要:
首先我们来看一段代码proc,_:=os.StartProcessiferr!=nil{fmt.Println}我们来看看这个os.StartProcess里面到底做了什么东西?//StartProcessstartsanewprocesswiththeprogram,argumentsandattributes//specifiedbyname,argvandattr.////StartProcessisalow-levelinterface.Theos/execpackageprovides//higher-levelinterfaces.////Ifthereisanerror,itwillbeoftype*PathError.funcStartProcess{returnstartProcess}注释是说,这个函数依照提供三个参数来实现开启新进程的操作,它是一个低级接口,而os/exec包装提供高级接口。下一步我们探究startProcess是什么?下面我们看下*syscall.SysProcAttr结构。typeSysProcAttrstruct{Chrootstring//Chroot.Credential*Credential//Credential.Ptracebool//Enabletracing.Setsidbool//Createsession.Setpgidbool//SetprocessgroupIDtonewpidSetcttybool//Setcontrollingterminaltofd0Nocttybool//Detachfd0fromcontrollingterminal}//Credentialholdsuserandgroupidentitiestobeassumed//byachildprocessstartedbyStartProcess.typeCredentialstruct{Uiduint32//UserID.Giduint32//GroupID.Groups[]uint32//SupplementarygroupIDs.}可以看到这里面所涉及到的属性。Ptrace是否允许tracingSetsid是否开启sidSetpgid是否设定组id给新进程Setctty是否可以使用终端访问Noctty将终端和fd0进行分离。

关于如何使用go语言实现新进程的创建和进程间通信,我在网上找了不少的资料,但是始终未能发现让自己满意的答案,因此我打算自己来分析这部分源代码,然后善加利用,并且分享给大家,期望大家能从中获得启发。

首先我们来看一段代码

proc, _ := os.StartProcess(name, args, attr)

if err != nil {

fmt.Println(err)

}

_, err = proc.Wait()

if err != nil {

fmt.Println(err)

}

我们来看看这个os.StartProcess里面到底做了什么东西? 而proc.Wait()又做了什么?跟我一起深入进去吧。

// StartProcess starts a new process with the program, arguments and attributes

// specified by name, argv and attr.

//

// StartProcess is a low-level interface. The os/exec package provides

// higher-level interfaces.

//

// If there is an error, it will be of type *PathError.

func StartProcess(name string, argv []string, attr *ProcAttr) (*Process, error) {

return startProcess(name, argv, attr)

}

注释是说,这个函数依照提供三个参数来实现开启新进程的操作,它是一个低级接口,而os/exec包装提供高级接口。如果这里出现报错,应该会是一个指针型路径错误。

下一步我们探究startProcess是什么?

func startProcess(name string, argv []string, attr *ProcAttr) (p *Process, err error) {

sysattr := &syscall.ProcAttr{

Dir: attr.Dir,

Env: attr.Env,

Sys: attr.Sys,

}

for _, f := range attr.Files {

sysattr.Files = append(sysattr.Files, f.Fd())

}

pid, h, e := syscall.StartProcess(name, argv, sysattr)

if e != nil {

return nil, &PathError{"fork/exec", name, e}

}

return newProcess(pid, h), nil

}

首先我们看到sysattr被赋予一个&syscall.ProcAttr指针,这个syscall里面的ProcAttr是什么结构呢,要先理解它,这样有助于理解我们利用它来启动后面的syscall

// ProcAttr holds the attributes that will be applied to a new process

// started by StartProcess.

type ProcAttr struct {

// If Dir is non-empty, the child changes into the directory before

// creating the process.

Dir string

// If Env is non-nil, it gives the environment variables for the

// new process in the form returned by Environ.

// If it is nil, the result of Environ will be used.

Env []string

// Files specifies the open files inherited by the new process. The

// first three entries correspond to standard input, standard output, and

// standard error. An implementation may support additional entries,

// depending on the underlying operating system. A nil entry corresponds

// to that file being closed when the process starts.

Files []*File

// Operating system-specific process creation attributes.

// Note that setting this field means that your program

// may not execute properly or even compile on some

// operating systems.

Sys *syscall.SysProcAttr

}

第一句简单明了,说明了ProcAttr结构中包含了我们启动进程过程中使用的多项属性值,

1)Dir是目录的意思,相当于新进程的工作目录,如果配置了就会跳转目录。

2)Env是指新的进程的环境变量列表。

3)Files前三项对应标准输入,标准输出和标准错误输出。每个实现可以支持其他条目,如果传入的条目是nil,该进程启动时,file就是关闭的。

4)最后一个*syscall.SysProcAttr就是系统属性,不过作者也提醒道有些参数在跨平台过程中有可能不起作用。

下面我们看下*syscall.SysProcAttr结构。

type SysProcAttr struct {

Chroot string // Chroot.

Credential *Credential // Credential.

Ptrace bool // Enable tracing.

Setsid bool // Create session.

Setpgid bool // Set process group ID to new pid (SYSV setpgrp)

Setctty bool // Set controlling terminal to fd 0

Noctty bool // Detach fd 0 from controlling terminal

}

// Credential holds user and group identities to be assumed

// by a child process started by StartProcess.

type Credential struct {

Uid uint32 // User ID.

Gid uint32 // Group ID.

Groups []uint32 // Supplementary group IDs.

}

可以看到这里面所涉及到的属性。(部分属性跨平台不起作用)

1)Chroot

2) Credential包括uidgidgroups设定

3)一些bool属性,参与设定新进程的使用过程。

Ptrace 是否允许tracing

Setsid 是否开启sid

Setpgid 是否设定组id给新进程

Setctty 是否可以使用终端访问

Noctty 将终端和fd0 进行分离。

OK,现在我们了解了这么多之后,还是谁去看看前面的代码吧。如下:

func startProcess(name string, argv []string, attr *ProcAttr) (p *Process, err error) {

sysattr := &syscall.ProcAttr{

Dir: attr.Dir,

Env: attr.Env,

Sys: attr.Sys,

}

for _, f := range attr.Files {

sysattr.Files = append(sysattr.Files, f.Fd())

}

pid, h, e := syscall.StartProcess(name, argv, sysattr)

if e != nil {

return nil, &PathError{"fork/exec", name, e}

}

return newProcess(pid, h), nil

}

继续看startProcess

sysattr := &syscall.ProcAttr{

Dir: attr.Dir,

Env: attr.Env,

Sys: attr.Sys,

}

Dir工作目录,Env环境变量、Sys 内容被赋予了sysattr。

for _, f := range attr.Files {

sysattr.Files = append(sysattr.Files, f.Fd())

}

文件Files属性被安排加入到sysattr中,这样我们就把attr *ProcAttr参数的整体内容都赋予了sysattr ,下面看如何利用这个sysattr

pid, h, e := syscall.StartProcess(name, argv, sysattr) sysattr作为第三项参数传入了新的

syscall.StartProcess(name, argv, sysattr)

注意:这里我们注意到一个问题,看看我们期初的代码

proc, _ := os.StartProcess(name, args, attr)

if err != nil {

fmt.Println(err)

}

这一行代码和我们的期初的代码是多么相像啊,于是我们明白调用os的StartProcess就是调用syscall.StartProcess,因此我们明白,syscall.StartProcess属于底层调用。os.StartProcess是上层调用。os.StartProces只是在syscall.StartProcess外面包装了一层而已,因此,我们明白,当我们想新创建一个进程的时候,只要参数都已经输入完毕,我们既可以使用os.StartProcess来实现,也可以使用syscall.StartProcess来实现。只不过需要注意的是,两者返回的对象不相同。

怎么个不相同呢?

我们看到了os.StartProcess 返回的是return newProcess(pid, h), nil,而

syscall.StartProcess返回的是pid, h, e

也就是说os.StartProcess 返回的是syscall.StartProcess返回值对pid和h的包装的结果。

// Process stores the information about a process created by StartProcess.

type Process struct {

Pid int

handle uintptr

isdone uint32 // process has been successfully waited on, non zero if true

}

func newProcess(pid int, handle uintptr) *Process {

p := &Process{Pid: pid, handle: handle}

runtime.SetFinalizer(p, (*Process).Release)

return p

}

通过观察这个包装的过程我们明白,之所以返回这个结果的目的是为了处理一些程序在进行时过程中的问题。下面我们就得了解下程序运行时的概念。

runtime.SetFinalizer(p, (*Process).Release)这一行在做什么呢?

这部分就是难点了,如果理解了这部分就会了解程序为什么包装了这一层,它的目的何在。

下面则是一大段英文。我门来试着理解一下。该段英文引用自 malloc.go.

// SetFinalizer sets the finalizer associated with x to f.

// When the garbage collector finds an unreachable block

// with an associated finalizer, it clears the association and runs

// f(x) in a separate goroutine. This makes x reachable again, but

// now without an associated finalizer. Assuming that SetFinalizer

// is not called again, the next time the garbage collector sees

// that x is unreachable, it will free x.

//

// SetFinalizer(x, nil) clears any finalizer associated with x.

//

// The argument x must be a pointer to an object allocated by

// calling new or by taking the address of a composite literal.

// The argument f must be a function that takes a single argument

// to which x's type can be assigned, and can have arbitrary ignored return

// values. If either of these is not true, SetFinalizer aborts the

// program.

//

// Finalizers are run in dependency order: if A points at B, both have

// finalizers, and they are otherwise unreachable, only the finalizer

// for A runs; once A is freed, the finalizer for B can run.

// If a cyclic structure includes a block with a finalizer, that

// cycle is not guaranteed to be garbage collected and the finalizer

// is not guaranteed to run, because there is no ordering that

// respects the dependencies.

//

// The finalizer for x is scheduled to run at some arbitrary time after

// x becomes unreachable.

// There is no guarantee that finalizers will run before a program exits,

// so typically they are useful only for releasing non-memory resources

// associated with an object during a long-running program.

// For example, an os.File object could use a finalizer to close the

// associated operating system file descriptor when a program discards

// an os.File without calling Close, but it would be a mistake

// to depend on a finalizer to flush an in-memory I/O buffer such as a

// bufio.Writer, because the buffer would not be flushed at program exit.

//

// It is not guaranteed that a finalizer will run if the size of *x is

// zero bytes.

//

// It is not guaranteed that a finalizer will run for objects allocated

// in initializers for package-level variables. Such objects may be

// linker-allocated, not heap-allocated.

//

// A single goroutine runs all finalizers for a program, sequentially.

// If a finalizer must run for a long time, it should do so by starting

// a new goroutine.

我这里不是想照抄英文,只是为了文章的完整性,我们来看看它说了什么吧。下面是以上大段英文的简单理解。在垃圾回收机制中,有两种回收方式,其中一种是自动方式,另外一种是手动方式,自动方式是将长期未使用的数据自动回收掉,还有一种是必须手工强制回收的方式,而runtime.SetFinalizer属于后者。

这个方法是有两个参数,前面那个是一个变量,后面紧跟着一个这个变量的释放函数。

因此我们明白runtime.SetFinalizer(p, (*Process).Release)就是当进程运行完毕之后,将这个进程释放掉的意思。其中

(*Process).Release指的是这个函数

func (p *Process) Release() error {

return p.release()

}

func (p *Process) release() error {

// NOOP for Plan 9.

p.Pid = -1

// no need for a finalizer anymore

runtime.SetFinalizer(p, nil)

return nil

}

把该进程的进程号设定为-1 然后见p释放掉。

这就不难理解为什么从os下面要包装住syscall的原因了。我可以这么理解,os属于系统级别的,因此包含了对垃圾处理的过程,而syscall属于简单系统调用未能实现这部分。

好了我们继续理解,syscall的startProcess过程吧。

pid, h, e := syscall.StartProcess(name, argv, sysattr)

这个过程调用是调用了startProcess内部函数。

// StartProcess wraps ForkExec for package os.

func StartProcess(argv0 string, argv []string, attr *ProcAttr) (pid int, handle uintptr, err error) {

pid, err = startProcess(argv0, argv, attr)

return pid, 0, err

}

这就是startProcess内部函数。

func startProcess(argv0 string, argv []string, attr *ProcAttr) (pid int, err error) {

type forkRet struct {

pid int

err error

}

forkc := make(chan forkRet, 1)

go func() {

runtime.LockOSThread()

var ret forkRet

ret.pid, ret.err = forkExec(argv0, argv, attr)

// If fork fails there is nothing to wait for.

if ret.err != nil || ret.pid == 0 {

forkc <- ret

return

}

waitc := make(chan *waitErr, 1)

// Mark that the process is running.

procs.Lock()

if procs.waits == nil {

procs.waits = make(map[int]chan *waitErr)

}

procs.waits[ret.pid] = waitc

procs.Unlock()

forkc <- ret

var w waitErr

for w.err == nil && w.Pid != ret.pid {

w.err = Await(&w.Waitmsg)

}

waitc <- &w

close(waitc)

}()

ret := <-forkc

return ret.pid, ret.err

}

这个函数我们看一下。先定义了一个供返回的结构forkRet。然后创建了一个channel用于存放返回结构体。然后启动一个携程走fork的过程。这个过程如下:

1)先锁住程序runtime.LockOSThread

2)执行 fork过程ret.pid, ret.err = forkExec(argv0, argv, attr)

3)通过

var procs struct {

sync.Mutex

waits map[int]chan *waitErr

}

这样一个结构加锁,然后将获得的pid作为key存放到一个waits 的map里面,然后解锁。

4)将结果传到go协程之外。forkc <- ret

5)单独处理waitErr流程,await是用来等待进程执行完毕之后关闭进程用的,相关的代码在开始时就存在,以下是一开始时的代码,也是通过系统调用syscall来实现的。虽然这部分也有很多底层代码,但是我觉得还是需要读者按照以上分析思路自己去探究一下,这里就不做分析了。

_, err = proc.Wait()

if err != nil {

fmt.Println(err)

}

至此,如何启动一个新的进程的部分已经分析完毕,根据我的总结,我们发现在创建进程和销毁进程使用进程的过程中,os包起到了包装底层调用的作用。因此我们日常中无需刻意分析这么多源代码,只需要明白os 进程部分提供给我们的api就可以了。鉴于此,下一篇文章则开始介绍如何启动和使用进程,进行详细描述。以便让初学者完成这一部分的操作。

免责声明:文章转载自《Go:创建新进程(os.StartProcess源码解读)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇报错:无法截断表 '某表',因为该表正由 FOREIGN KEY 约束引用Eclipse+php插件+Xdebug搭建PHP完美开发/调试环境指南下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

C#操作Xml:XmlSerializer 对象的Xml序列化和反序列化

这篇随笔对应的.Net命名空间是System.Xml.Serialization;文中的示例代码需要引用这个命名空间。 为什么要做序列化和反序列化? .Net程序执行时,对象都驻留在内存中;内存中的对象如果需要传递给其他系统使用;或者在关机时需要保存下来以便下次再次启动程序使用就需要序列化和反序列化。 范围:本文只介绍xml序列化,其实序列化可以是二进...

java过滤特殊字符的正则表达式

// 过滤特殊字符 public staticString StringFilter(String str) throws PatternSyntaxException { // 只允许字母和数字 // String regEx ="[^a-zA-Z0-9]"; // 清除掉所有特殊字符 String regEx="[`~!@#$%^&*()+...

rabbitMQ第二篇:java简单的实现RabbitMQ

前言:在这里我将用java来简单的实现rabbitMQ。下面我们带着下面问题来一步步的了解和学习rabbitMQ。 1:如果消费者连接中断,这期间我们应该怎么办 2:如何做到负载均衡 3:如何有效的将数据发送到相关的接收者?就是怎么样过滤 4:如何保证消费者收到完整正确的数据 5:如何让优先级高的接收者先收到数据 一:"Hello RabbitMQ" 下面...

ASP.Net Core 中使用Zookeeper搭建分布式环境中的配置中心系列一:使用Zookeeper.Net组件演示基本的操作

前言:马上要过年了,祝大家新年快乐!在过年回家前分享一篇关于Zookeeper的文章,我们都知道现在微服务盛行,大数据、分布式系统中经常会使用到Zookeeper,它是微服务、分布式系统中必不可少的分布式协调框架。它的作用体现在分布式系统中解决了配置中心的问题,以及解决了在分布式环境中不同进程之间争夺资源的问题,也就是分布式锁的功能以及分布式消息队列功能等...

[转]C#中用NamedPipe进程间通信

转自:http://blog.csdn.net/jinjazz/archive/2009/02/03/3861143.aspx 本文只是一个测试例子,核心代码是kernel32.dll中的一组windows api函数,这里不深入研究,代码都在codeproject上。 http://www.codeproject.com/KB/threads/dotne...

RocketMQ 参数详解

    NameServer配置属性 参数名 参数类型 描述 默认参数(时间为单位ms,数据单位为byte) rocketmqHome String RockerMQ主目录,默认用户主目录   namesrvAddr String NameServer地址   kvConfigPath String kv配置文件路径,包含顺序...