5.3 异步Http Client
支持协程的异步Http Client很关键,在微服务系统框架中,服务与服务的交互大多是通过Http接口来实现,即使有封装RPC,也大多在Http Client的基础上,当然我们也可以选择自定义的Tcp文本或者二进制协议,这里我们主要介绍MSF框架中的Http Client的实现与使用。本节中的示例代码:https://github.com/pinguo/php-msf-demo/app/Controllers/Http.php
实现
框架对http client的支持是基于swoole_http_client,同时在此基础上封装了dns查询、dns缓存、keep-alive、简单快捷操作、多个请求并行的各种方法。
基本用法
<?php
/**
* 异步HTTP CLIENT示例
*
* @author camera360_server@camera360.com
* @copyright Chengdu pinguo Technology Co.,Ltd.
*/
namespace App\Controllers;
use PG\MSF\Controllers\Controller;
use \PG\MSF\Client\Http\Client;
class Http extends Controller
{
/**
* 获取百度首页,手工进行DNS解析和数据拉取
*/
public function actionBaiduIndexWithOutDNS()
{
/**
* @var Client $client
*/
$client = $this->getObject(Client::class);
yield $client->goDnsLookup('http://www.baidu.com');
$sendGet = $client->goGet('/');
$result = yield $sendGet;
$this->outputView(['html' => $result['body']]);
}
}
这种用法将一个Http请求方法分成为两步: 第一步，DNS查询；第二步，Get请求。可能大家会很奇怪,不就一个Http请求嘛,还分两步?其实我们原来使用CURL扩展的时候,也是这两个步骤,只是CURL内部把我们完成了DNS查询。
另外,由于DNS查询是一次UDP的请求,PHP内置函数string gethostbyname ( string $hostname )是同步阻塞模式,如果使用这个函数,将使我们的Sever退化为同步Server,MSF框架进行DNS查询使用了swoole_async_dns_lookup()进行异步DNS解析。
一个http请求,开发代码进行两次yield,开发效率不高,但是性能是最好的;同时我们也提供一些快捷的方法,在只有一次接口请求的开发中性能和效率均可得到提升。
快捷POST/GET
<?php
/**
* 异步HTTP CLIENT示例
*
* @author camera360_server@camera360.com
* @copyright Chengdu pinguo Technology Co.,Ltd.
*/
namespace App\Controllers;
use PG\MSF\Controllers\Controller;
use \PG\MSF\Client\Http\Client;
class Http extends Controller
{
/**
* 获取百度首页,自动进行DNS,自动通过Get拉取数据
*/
public function actionBaiduIndexGet()
{
/**
* @var Client $client
*/
$client = $this->getObject(Client::class);
$result = yield $client->goSingleGet('http://www.baidu.com/');
$this->outputView(['html' => $result['body']]);
}
/**
* 获取百度首页,自动进行DNS,自动通过Post拉取数据
*/
public function actionBaiduIndexPost()
{
/**
* @var Client $client
*/
$client = $this->getObject(Client::class);
$result = yield $client->goSinglePost('http://www.baidu.com/');
$this->outputView(['html' => $result['body']]);
}
}
\PG\MSF\Client\Http\Client::goSingleGet(),\PG\MSF\Client\Http\Client::goSinglePost()两个方法可以快捷的自动完成DNS和请求的发送,直接返回响应内容。
响应数据
[
'errCode' => 0
'sock' => 17
'host' => '180.97.33.107'
'port' => 80
'headers' => [
'content-type' => 'text/html'
'content-encoding' => 'gzip'
'cache-control' => 'no-cache'
'pragma' => 'no-cache'
'content-length' => '363'
'set-cookie' => 'bai=16.;Domain=.baidu.com;Path=/;Max-Age=10'
]
'type' => 1025
'requestHeaders' => [
'Host' => 'www.baidu.com'
'X-Ngx-LogId' => '59496e12c3474d040f41fda2'
]
'requestBody' => null
'cookies' => [
'bai' => '16.'
]
'set_cookie_headers' => [
'bai' => 'bai=16.;Domain=.baidu.com;Path=/;Max-Age=10'
]
'body' => '<body></body><script type=\"text/javascript\">u=\"https://www.baidu.com/?tn=93817326_hao_pg\";d=document;/webkit/i.test(navigator.userAgent)?(f=d.createElement(\'iframe\'),f.style.width=1,f.style.height=1,f.frameBorder=0,d.body.appendChild(f).src=\'javascript:\"<script>top.location.replace(\\\'\'+u+\'\\\')<\\/script>\"\'):(d.open(),d.write([\'<meta http-equiv=\"refresh\"content=\"0;url=\',\'\"/>\'].join(u)),d.close());function g(k){return v=eval(\"/\"+k+\"=(.*?)(&|$)/i.exec(location.href)\"),v?v[1]:\"\"}</script>'
'statusCode' => 200
]
其中:
errCode的具体含义:附录：Linux错误信息(errno)列表
statusCode为Http响应的状态码:
body为响应正文
并行请求
Http请求分成了DNS查询和发送数据两个异步部分,从而在多个内部接口请求中会写大量的冗余代码的,故框架封装了简单实用的并行的Http Client,大大的简化了发送并行请求。
<?php
/**
* 异步HTTP CLIENT示例
*
* @author camera360_server@camera360.com
* @copyright Chengdu pinguo Technology Co.,Ltd.
*/
namespace App\Controllers;
use PG\MSF\Controllers\Controller;
use \PG\MSF\Client\Http\Client;
class Http extends Controller
{
// 略
/**
* 并行多次获取百度首页,自动进行DNS,自动通过Get或者Post拉取数据
*/
public function actionConcurrentBaiduIndex()
{
/**
* @var Client $client
*/
$client = $this->getObject(Client::class);
$requests = [
'http://www.baidu.com/',
[
'url' => 'http://www.baidu.com/',
'method' => 'POST'
],
];
$results = yield $client->goConcurrent($requests);
$this->outputView(['html' => $results[0]['body'] . $results[0]['body']]);
}
}
\PG\MSF\Client\Http\Client::goConcurrent($requests)是我们封装的快捷并行请求方式，$requests的数据结构如：
[
'http://www.baidu.com/xxx',
[
// 必须为全路径URL
'url' => 'http://www.baidu.com/xxx',
'method' => 'GET',
'dns_timeout' => 1000, // 默认为30s
'timeout' => 3000, // 默认不超时
'headers' => [], // 默认为空
'data' => ['a' => 'b'] // 发送数据
],
[
'url' => 'http://www.baidu.com/xxx',
'method' => 'POST',
'timeout' => 3000,
'headers' => [],
'data' => ['a' => 'b'] // 发送数据
],
[
'url' => 'http://www.baidu.com/xxx',
'method' => 'POST',
'timeout' => 3000,
'headers' => [],
'data' => ['a' => 'b'] // 发送数据
],
]
DNS缓存
HTTP Client的DNS查询为提升性能，默认情况下，已经开启缓存，缓存策略为：
- DNS缓存有效时间默认为60s
- 已解析DNS使用次数上限为10000次
只要判断有效时间，如果已过有效期即缓存失效；如果在有效期内，使用次数超过10000次，则重新进行DNS解析
DNS配置
默认开启了DNS缓存，并有相应的策略，我们也提供了配置项来修改缓存策略，
$config['http']['dns'] = [
// 有效时间,单位秒
'expire' => 30,
// 使用次数上限
'times' => 1000,
];
Keep-Alive
HTTP持久连接（HTTP persistent connection，也称作HTTP keep-alive或HTTP connection reuse） 是使用同一个TCP连接来发送和接收多个HTTP请求/应答，而不是为每一个新的请求/应答打开新的连接的方法。
如果客户端支持 keep-alive，它会在请求的包头中添加：
Connection: Keep-Alive
然后当服务器收到请求，作出回应的时候，它也添加一个头在响应中：
Connection: Keep-Alive
这样做，连接就不会中断，而是保持连接。当客户端发送另一个请求时，它会使用同一个连接。 这一直继续到客户端或服务器端认为会话已经结束，其中一方中断连接。
优势
- 较少的CPU和内存的使用（由于同时打开的连接的减少了）
- 允许请求和应答的HTTP管线化
- 降低拥塞控制 （TCP连接减少了）
- 减少了后续请求的延迟（无需再进行握手）
- 报告错误无需关闭TCP连接
Keep-Alive 配置
由上面的描述可知，Keep-Alive需要客户端和服务端都支持才可以。
假如我们的请求链路是：浏览器->Nginx->php-msf->后端API服务
那么：浏览器是纯客户端，后端API服务是纯服务端，Nginx和php-msf既是服务端又是客户端。
保持和client的长连接
Nginx作为http服务端，默认情况下，已经自动开启了对client连接的keep-alive支持。 一般场景可以直接使用，但是对于一些比较特殊的场景，还是有必要调整个别参数。
需要修改Nginx的配置文件(在nginx安装目录下的conf/nginx.conf):
http {
keepalive_timeout 120s 120s;
keepalive_requests 10000;
}
keepalive_timeout指令的语法：
Syntax: keepalive_timeout timeout [header_timeout];
Default: keepalive_timeout 75s;
Context: http, server, location
第一个参数设置keep-alive客户端连接在服务器端保持开启的超时值。值为0会禁用keep-alive客户端连接。 可选的第二个参数在响应的header域中设置一个值“Keep-Alive: timeout=time”。这两个参数可以不一样。
注：默认75s一般情况下也够用，对于一些请求比较大的内部服务器通讯的场景，适当加大为120s或者300s。第二个参数通常可以不用设置。
keepalive_requests指令用于设置一个keep-alive连接上可以服务的请求的最大数量。当最大请求数量达到时，连接被关闭。默认是100。
这个参数的真实含义，是指一个keep alive建立之后，nginx就会为这个连接设置一个计数器，记录这个keep alive的长连接上已经接收并处理的客户端请求的数量。如果达到这个参数设置的最大值时，则nginx会强行关闭这个长连接，逼迫客户端不得不重新建立新的长连接。 这个参数往往被大多数人忽略，因为大多数情况下当QPS(每秒请求数)不是很高时，默认值100凑合够用。但是，对于一些QPS比较高（比如超过10000QPS，甚至达到30000,50000甚至更高) 的场景，默认的100就显得太低。 简单计算一下，QPS=10000时，客户端每秒发送10000个请求(通常建立有多个长连接)，每个连接只能最多跑100次请求，意味着平均每秒钟就会有100个长连接因此被nginx关闭。同样意味着为了保持QPS，客户端不得不每秒中重新新建100个连接。因此，如果用netstat命令看客户端机器，就会发现有大量的TIME_WAIT的socket连接(即使此时keep alive已经在client和nginx之间生效)。 因此对于QPS较高的场景，非常有必要加大这个参数，以避免出现大量连接被生成再抛弃的情况，减少TIME_WAIT。
保持和php-msf server的长连接
为了让nginx和php-msf server（nginx称为upstream）之间保持长连接，典型设置如下：
http {
upstream MSF_BACKEND {
server 127.0.0.1：8000;
keepalive 300; // 这个很重要！设置每个worker进程在缓冲中保持的到upstream服务器的空闲keepalive连接的最大数量.当这个数量被突破时，最近使用最少的连接将被关闭。
}
server {
listen 80 default_server;
server_name "";
location / {
proxy_pass http://MSF_BACKEND;
proxy_set_header Host $Host;
proxy_set_header x-forwarded-for $remote_addr;
proxy_set_header X-Real-IP $remote_addr;
add_header Cache-Control no-store;
add_header Pragma no-cache;
proxy_http_version 1.1; // 这两个最好也设置
proxy_set_header Connection "";
client_max_body_size 3072k;
client_body_buffer_size 128k;
}
}
}
MSF长连接
保持和客户端的长连接
和Nginx一样，只要客户端支持长连接，msf就会默认支持长连接，不需要任何配置。
保持和后端接口服务的长连接
当我们的服务需要请求其他的服务的时候，那么这个场景长连接就是需要的了，php-msf默认开启的长连接，默认的配置如下:
http.keepAlive.expire = 120 //每个长连接有效期为20s
http.keepAlive.times = 10000 //每个长连接在有效期内最多处理10000个请求
也可用通过
$config['http']['keepAlive'] = [
'expire' => 60, // 为0时表示关闭 keep-alive
'times' => 1000
]
来控制 http-client 的keep-alive行为。