golang 热更新技巧 负载均衡才是正道啊

摘要:
所有代码都已翻译成相应的机器指令,并在运行时加载到内存中。毕竟,在没有客户意识的情况下,在线添加新功能并修复bug是完美的。本文主要讨论如何使用Golang 1.8中新添加的插件来更新业务。它可以动态加载并执行导出方法,但pluginpath仍然会报告错误。3.在不同的so文件中定义的结构不能使用类型断言进行转换。

golang plugin热更新尝试 - 呵大官人的鱼塘 - 开源中国 https://my.oschina.net/scgywx/blog/1796358

golang plugin热更新尝试 
发布于 04/16 17:47

当我们在使用php开发的时候,基本不需要关心热更新这件事的,因为PHP本身已经帮我处理好了,只需要提交代码,PHP重新解释一遍即可。而go则是静态语言,编译后得到的是直接被机器执行的,所有代码已经翻译成相对应的机器指令并且在运行时已经加载到内存,不能动态更新。那么如果想热更新就成了件麻烦的事,但是作为后端开发人员,很渴望支持这种功能,毕竟在线上能新增功能、修复bug客户端完全无感知是多么完美的事。
 

本文暂不讨论http这种无状态服务更新,网上能搜索到很多文章关于如何利用fd继承实现优雅重启。这里主要讨论使用golang 1.8新增的plugin来实现业务的更新,并且业务是类似游戏的有状态服务。官方文档中对plugin的描述比较简单,他可以动态的加载so和执行导出的方法,并且仅仅提供了两个方法:打开模块和提取符号,甚至连关闭都没有(-_-)。


一个程序包含两部分:数据和算法,那么既然是有状态服务,数据部分肯定不能动,那么热更就只能动算法部分了。这时我们需要一个容器,将这两部分隔离开,一方面是存储数据,另一方面要动态加载so。隔离了数据和算法,只要数据存在,我们就可以随意更新算法了。在开始编码之前,要先解决几个问题:

1、同一个so文件只会被打开一次

2、每个so有一个pluginpath用来标识是否重复,如果两个so文件不一样,但pluginpath一样还是会报错

3、不同so文件定义的结构体不能使用类型断言进行转换

对于上面的问题,有如下解决方案:

1、每次生成的so带一个版本号比如game.1001.so

2、编译的时候新增--ldflags="-pluginpath=xxx"参数

3、使用unsafe进行转换(下面还会有注意事项)

代码地址:https://github.com/scgywx/myplugin

1、编译engine,这就是我们上面说的容器,他负责数据存储和so的加载与执行。

sh build.sh

2、编译第1个版本so(注意后面有个参数)

sh build_so.sh 1

3、将src/logic/main.go里面的modelVersion和modelName分别改成1002和game2(这里主要是测试两个版本的内容区别)

4、编译第2个版本so

sh build_so.sh 2

5、运行容器

./engine

6、浏览器输入127.0.0.1:12345/hello,会看到如下显示(这是使用的第一个版本so)

hello test, this is golang plugin test!, version=1001, name=game1, oldversion=0, oldName=

7、浏览器输入127.0.0.1:12345/load?name=plugin2.so(这里输出done,就说明加载so成功了)

8、再次输入127.0.0.1:12345/hello,会看到如下显示。

hello test, this is golang plugin test!, version=1002, name=game2, oldversion=1001, oldName=game1

到这里,我们的热更新效果已经达成,但是还是有一些限制

1、每个so不能单独保存数据,因为当另一个so加载后,前面so的数据是没办法访问到,并且由于so不能被关闭,可能会出现多个so引用同一个变量,gc没办法释放,所以需要透过容器来共享数据,那么我们就不能在模块内使用全局变量来保存数据。

2、go里面两个类型即使一样,也不能直接转换,所以两个so内定义的结构体也不能直接转换,要使用unsafe.Pointer来进行强转(见src/logic/main.go),既然是强转,那么两个版本的so使用的结构体定义就不能有区别,否则转换后数据可能会出现异常,也就是说热更新不能修改结构体。

本文只是技术尝试,没有线上验证,还有多少坑还不知道,热更新不是必须,如若支持,便是好事。。

 golang 热更新技巧 - Go语言中文网 - Golang中文社区 https://studygolang.com/articles/9732

## 序言

Golang标准库的http部分提供了强大的web应用支持,再加上negroni等中间件框架的支持,可以开发高性能的web应用(如提供Restful的api服务等)。
通常这些web应用部署在多台Linux操作系统的应用服务器上,并用Nginx等做为反向代理,实现高可用的集群服务。当应用版本升级时,如何实现比较优雅的多态服务器的版本更新呢?

## 问题分析
 Web应用的更新,我觉得可能需要考虑几个方面的问题:
1. 编译好的应用二进制文件、配置文件上传到服务器上;
2. 应用服务器能感知到有新的版本上传;
3. 在没有停止服务的情况下,热更新版本;
4. 最好所有的更新过程,可以脚本化,减少手动操作的错误。

## 方案
其实,go社区有一些开源项目,可以自动检测web应用的改变,并实现自动的更新,但这些应用都是检测源码、资源文件的更新,启动build过程,实现自动的编译和重启,例如 [gin](https://github.com/codegangsta/gin)和 [fresh](https://github.com/pilu/fresh),这些应用适合应用于开发和测试阶段,可能并不适合应用的部署和更新,但提供了良好的思路。

部署环境的目录及版本的上传
我将发布的应用二进制文件和配置文件,存放在某个目录下,如 ~/app/release,每个版本都保留在这个目录中,例如 app.1.0、app.1.1、app.2.0,一旦发现有问题,可以及时的回滚。
同时,在~/app目录下,利用软链接文件,指向到最新版本,如 
```
ln -s ~/app/release/app.2.0 ~/app/app.bin
```
此外,利用一个保存在 ~/app/release 下的文本文件,来指明当前应用的版本,如current.conf:
```
{
    "bin.file": "~/app/release/app.2.0",
    "cfg.file": "~/app/release/cfg.2.0"
}
```
当需要更新服务器的版本时,可以通过脚本调用scp,将新版本上传到release目录下,然后更新current.conf文件。
监控current.conf文件,获知版本更新
current.conf文件中是当前的版本,一旦这个文件发生变化,即表示有版本需要更新(或者回滚),我们只需要监控这个文件的变化,一旦发生变化,则做相应的处理。文件的监控,可以通过 [fsnotify](https://github.com/howeyc/fsnotify)来实现。
```
func watch() {
    watcher, err := fsnotify.NewWatcher()
    if err != nil {
        logger.Fatal(err)
    }
    defer watcher.Close()

    go func() {
        for {
                select {
                case event := <-watcher.Events:
                    logger.Println("event:", event)
                    if event.Op&fsnotify.Write == fsnotify.Write {
                        logger.Println("notify runner to do the ln -s and restart server.")
                        restartChan <- true
                    }
                case err := <-watcher.Errors:
                    logger.Println("error:", err)
            }
        }
    }()

    err = watcher.Add("/path/to/current.conf")
    if err != nil {
        logger.Fatal(err)
    }

    <- make(chan bool)
}
```
重启服务
监控到current.conf文件的变化后,接下来就是重启服务。
为了让服务不中断,优雅的进行重启,可以利用 [endless](https://github.com/fvbock/endless) 来替换标准库net/http的ListenAndServe:
```
 n := negroni.New()
    n.Use(middleware.NewRecovery())
    n.Use(middleware.NewMaintainMiddleware())
    n.Use(middleware.NewLogMiddleware())
    n.Use(middleware.NewStatic(http.Dir("static")))
    n.UseHandler(router.NewRouter())

    log.Fatal(endless.ListenAndServe(":3000", n))
```
在current.conf变更后,首先将~/app下的软链接文件指向最新版本,然后利用
```
kill -HUP
```
通知应用重启。
```
func run() {
    for {
        <- restartChan

        c, err := ioutil.ReadFile("/path/to/current.conf")
        if err != nil {
            logger.Println("current.conf read error:", err)
            return
        }

        var j interface{}
        err = json.Unmarshal(c, &j)
        if err != nil {
            logger.Println("current.conf parse error:", err)
            return
        }

        parsed, ok := j.(map[string]interface{})
        if !ok {
            logger.Println("current.conf parse error: mapping errors")
            return
        }

        exec.Command("rm", "app.bin").Run()
        exec.Command("ln", "-s", parsed["bin.file"].(string), "app.bin").Run()

        exec.Command("rm", "app.conf").Run()
        exec.Command("ln", "-s", parsed["cfg.file"].(string), "app.cfg").Run()

        if !started {
            cmd := exec.Command("./app.bin", "-c", "app.cfg")
            started = true
        } else {
            processes, _ := ps.Processes()
            for _, v := range processes {
                if strings.Contains(v.Executable(), parsed["bin.file"]) {
                    process, _ := os.FindProcess(v.Pid())
                    process.Signal(syscall.SIGHUP)
                }
            }
        }
    }
}
```

golang - 请问go有没有热更新的机制?如果没有,如何设计一个热更新机制? - SegmentFault 思否 https://segmentfault.com/q/1010000012965370

负载均衡才是正道啊

免责声明:文章转载自《golang 热更新技巧 负载均衡才是正道啊》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Nginx深度优化NOIP 2000 计算器的改良下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

PyTorch 之 DataLoader

DataLoader DataLoader 是 PyTorch 中读取数据的一个重要接口,该接口定义在 dataloader.py 文件中,该接口的目的: 将自定义的 Dataset 根据 batch size 的大小、是否 shuffle 等封装成一个 batch size 大小的 Tensor,用于后面的训练。 通过 DataLoader,使得我们在准...

【转】linux 定时执行shell脚本

在oracle 中可以利用dbms_job包定时执行pl/sql、sql过程,在像备份等需要在操作系统级定时任务只能采用crontab来完成 本文讲述crontab具体用法,以供备忘. 在oracle 中可以利用dbms_job包定时执行pl/sql、sql过程,在像备份等需要在操作系统级定时任务只能采用crontab来完成 利用crontab来定时执行任...

微信app支付,完整流程,完整代码 (转)

微信app支付流程 需要的配置参数 private function wechat($body,$indent_id,$cou,$user_id,$total_fee,$ip,$domain,$nonce_str){ //微信配置信息和初始逻辑 $appid= WxPayConfig::APPID; //appid (微信开放平台的应用appid) $bo...

Swing之JList的使用

大家在使用Swing的JList的时候一定会关心几个问题常见问题: 1:怎么把JList弄到界面上去 2:怎么往JList上放数据 3:怎么监听JList里的项的双击事件,然后取出数据 4:数据太多,怎么添加滚动条。 这是几个常用功能,今天在这里做个总结。 ==================================================...

Python环境的安装

参考官方文档 http://www.runoob.com/python/python-install.html Python已经被移植在许多平台上(经过改动使它能够工作在不同平台上)。 您需要下载适用于您使用平台的二进制代码,然后安装Python。 如果您平台的二进制代码是不可用的,你需要使用C编译器手动编译源代码。 编译的源代码,功能上有更多的选择性,...

ftp命令

ftp命令是标准的文件传输协议的用户接口。ftp是在TCP/IP网络上的计算机之间传输文件的简单有效的方法。它允许用户传输ASCII文件和二进制文件。 在ftp会话过程中,用户可以通过使用ftp客户程序连接到另一台计算机上。从此,用户可以在目录中上下移动、列出目录内容、把文件从远程机拷贝到本地机上、把文件从本地机传输到远程系统中。需要注意的是,如果用户没有...