Proxy

代理池——代理采集,测试,保存和接口使用

代理池的设置主要有四部 获取代理 代理测试 数据存储 API接口 1.1先设置需要获取的代理的网站和解析规则 config.py # 所有网站得解析方式 parse_list = [ { 'urls': ['http://www.66ip.cn/{}.html'.format(n) for n in range(1, 10)]...

tomcat支持 https

 首先 安装nginx  ,在nginx.conf 中引入 include /app/conf/nginx/vhosts/*.conf; 配置 并在conf/vhosts 目录 中配置virtual.conf (代理了tomcat8080)   ssl.conf(代理tomcat并支持https)  并在conf下加入 proxy.conf   virt...

Nginx 出现504 Gateway Time-out的解决方法

nginx+tomcat后端为tomcat,nginx代理报504超时错误。 问题处理:1、修改/etc/nginx/nginx.conf,添加如下信息: http {     include       /etc/nginx/mime.types;     default_type  application/octet-stream;     ...

Nginx配置https, 80端口重定向443

server { listen 443 ssl; server_name 域名; charset utf-8; access_log /var/log/nginx/webhook.iminho.me/access.log; add_header X-Xss-Protection 1; ssl_...

大厂们的 redis 集群方案

redis 集群方案主要有两类,一是使用类 codis 的架构,按组划分,实例之间互相独立; 另一套是基于官方的 redis cluster 的方案;下面分别聊聊这两种方案; 类 codis 架构 这套架构的特点: 分片算法:基于 slot hash桶; 分片实例之间相互独立,每组 一个master 实例和多个slave; 路由信息存放到第三方存储组件...

nginx配置反向代理示例

环境: nginx1:192.168.68.41 tomcat1:192.168.68.43 tomcat2:192.168.68.45 nginx安装网上很多教程,我是用yum安装的。 配置nginx: vim /etc/nginx/conf.d/default.conf  内容: #负责压缩数据流 gzip on; g...

安装Nginx并为node.js设置反向代理

最近看了反向代理和正向代理的东西,想到自己的node.js服务器是运行在3333端口的,也没有为他设置反向代理,node.js项目的一些静态文件是完全可以部署在Nginx上,以减少对node.js的请求。 着手开始做: 1、Nginx依赖gcc,pcre,zlib,openssl之类的库,通过rpm -qa | grep gcc查询,没有的话都安装上。 2...

OpenResty 反向代理的用法与技巧

Nginx最开始是作为反向代理被熟知的,基于它的OpenResty的自然也是支持反向代理的,下面我们就来看看它的一些基本用法以及在使用过程中的一些技巧。 一、基本用法 在业务环境中,可能会将OpenResty(以后简称OR)作为反向代理,根据不同的location定位到不同的后端,在这样的架构下,对应的反向代理配置可能是这样的: location /u...

aws 基于延迟策略配置dns故障切换

前提:由于国内访问首尔地区经常出现不稳定情况,现将请求从nginx(sz)转发到nginx(hk)再转发到首尔地区,在基于不改变nginx(seoul)的配置的前提下,引入aws的延迟策略,同时保证国内 解析出现问题时,迅速将解析切至首尔的nginx。 实现:基于aws route53 配置延迟故障切换策略 nginx(sz)配置: server {...

用node-http-proxy搭建代理

程序员三大必备网站是:Google、Github、StackOverflow。如果你还在用Baidu搜索技术文章的话,我想说的是,少年你已经被鄙视很多年了,赶紧换成谷歌吧,不要再被鄙视了!Github、StackOverflow在国内能够正常访问,但是Google由于众所周知的原因,国内无法访问,所以我们需要FQ访问Google。个人觉得shadowsoc...