进阶-HTTP代理

提到http代理, 一般意义上理解的有很多种, 比较常见的理解是: - 对外发起http请求时, 使用ip代理 - 类似nginx或CDN服务的反向代理 - 建立一个代理服务, 让浏览器或其它设备可以通过该服务请求外界服务 惊喜的是, 以上3种不同场景的"代理", Z1h都提供了相关支持

对外请求使用IP代理

这一技术多用于爬虫, 例如待爬取的站点的某接口限制了同一IP的请求频率(x分钟内不能超过x次等), 就需要将自己的http请求通过别人提供的代理服务器来发送

使用方法

在调用几乎所有可以发起http的非原生方法时, 如果header包含_proxy_, 就等于指定了代理的地址

示例代码

// 普通http请求, 获取ip print(`https://zwei.ren/ip`.get().s) // 通过代理获取ip print(`https://zwei.ren/ip`.get({ _proxy_: 'http://xxx.xxx.xxx.xxx:xxxx', _timeout_: 1, // BTW: 可以通过这种方式设置超时时间 }).s) // 同理, post请求往第二个参数设置代理 print(`https://zwei.ren/ip`.post('', { _proxy_: 'http://xxx.xxx.xxx.xxx:xxxx', }).s)

反向代理

反向代理的用途很广, 例如以下场景: - 日常开发工作中, 前端需要和后端联调时, 后端还没有开发好接口, 或者需要修改接口但还没完成 - 多人并行开发服务端时, 会出现抢占测试环境的情况, 需要针对一些路由或逻辑将端口转发到不同的内网地址 - 需要将一个站点的各个文件完整保存下来 此时, 通过Z1h开启一个http服务, 并且将所有http请求都转发到某个地址, 即可完成反向代理

步骤1: 修改配置

首先要开启http服务, 并且修改api相关配置: - 修改配置文件 - 设置port, 让Z1h以http服务的形式运行 - 设置noFront为true, 不对外输出静态站点资源 - 设置serverless.api.router 为 /, 意思是使用Z1h来处理全部接口 - 设置serverless.api.dir, 例如设置到 datas/api, 接口将由datas/api/xxx.z1h处理 以上步骤完成后, 最简单的配置示例如下: { port: 30030, // 运行端口号 serverless: { api: { router: "/", dir: "datas/api", } }, noFront: true, } 现在, 可以用命令 ./z1h -conf conf.json 来运行Z1h服务了

步骤2: 处理请求

接着创建接口处理文件: - 创建datas/api/404.z1h文件, 指定了无法找到请求接口文件时的默认处理 - 如果你仅需要代理某路由, 可以指定文件名为路由, 如 api.z1h - 编辑404.z1h文件, 写入$http.proxy(this, 'http://xxx'), 其中xxx为你需要转发请求到的源站地址 Tips: 可以把xxx替换成https://www.baidu.com试试

步骤3: 测试

打开浏览器, 输入 http://127.0.0.1:30030, 即可看到反向代理后的结果(某些站点可能会让浏览器重定向, 可以用curl来请求接口测试)

中间人读取/修改双向数据

编辑404.z1h: $http.proxy(this, 'http://xxx', (data, action) => { // action为request或response switch (action) { case 'request': // action为request时, data包含以下字段: // Url 请求地址 // Method 请求方法 // Header 请求头 // Body 请求体([]byte) // Request 原生请求对象 // Client 原生请求客户 print(`请求到${data.url}, 方法${data.method}, 头部${data.header}, 内容${data.body.s}`) // 可以随意篡改请求内容 data.Header.Set('X-HOOK-REQ', 'Z1h') // data.Method = 'POST' // data.Body = bytearray({name: 'zwr'}) // 返回值不同类型时, 情况如下: // return null/true, 表示继续原来的请求 // return false, 表示拦截请求, 即刻返回该内容 // return *net_http.Response, 拦截请求, 返回指定的状态码等 // 其它情况: 拦截请求, 立刻返回该内容 return null // 可以试试 return {message: 'Forbidden'} case 'response': // action为request时, data为*net_http.Response对象 print(`请求到${data.request.url.string()}的结果, 状态码${data.statusCode}`) // 可以修改响应信息 data.Header.Set('X-HOOK-RSP', 'Z1h') if (data.statusCode == 301 || data.statusCode == 302) return `源站企图把你重定向到 ${data.header.get('Location')}, 已经被阻止了` // 返回值不同类型时, 情况与上文request相同, 区别是此时请求已经由源站处理过了 return null // 可以试试 return {message: 'Done'} } }) // 只拦截请求 $http.proxy(this, 'http://xxx', { request: data => { // TODO }, }) // 只拦截响应 $http.proxy(this, 'http://xxx', { response: data => { // TODO }, })

自制简单的CDN

照样是在前文的基础上编辑: var host = 'http://xxx' var dir = 'cdn'.mkdir() // 使用一个文件来保存 $http.proxy(this, host, { request: data => { print(`Req to:`, data.url) var path = data.url.url().path if (!path || path == "/") path = "index.html" var cacheFile = $file.join(dir, path) // 会忽略掉请求参数,建议读者动手尝试一下根据参数来保存和读取 if ($file.exists(cacheFile) == 1) { // 如果文件已经存在, 响应文件并拦截后续请求 print(`文件${path}使用本地文件`) data.request.serveFile(cacheFile) return false } }, res: res => { if (res.statusCode < 200 || res.statusCode > 399) { print(`请求${res.Request.URL.String()}的状态码为${res.statusCode}, 不保存文件`) return true } print(`正在补充${res.Request.URL.String()}的文件`) var body = res.origin() if (body.len) { // 进行一些内容上的处理, 确保浏览器能正常打开 body = body .replace('https://', 'http://') .replace('https', 'http') .replace(host + '/{0,}', "/") // 保存到本地文件 var path = res.request.url.path if (!path || path == "/") path = "index.html" var cacheFile = $file.join(dir, path) // 会忽略掉请求参数,建议读者动手尝试一下根据参数来保存 path_filepath.Dir(cacheFile).mkdir() cacheFile.write(body) // 下面要去掉encoding, 如果gzip了的话, Content-Length会有变化 res.header.Set('Content-Length', body.len.s) res.body = reader(body) } else { res.Body = reader('') } res.Header.Del('Content-Encoding') }, })

建立一个HTTP代理并进行MITM

这是一个很强大的功能, 如果你有Charles、Flidder、Wireshark等抓包工具的使用经验, 甚至有尝试过嵌入脚本修改请求、返回数据的话, 那么你一定非常清楚这个工具的便利 通过Z1h建立HTTP代理服务, 你可以做到(且不限于)以下事情: - 抓包, 和其它抓包工具一致 - 数据处理, 例如将所有数据都保存、分析 - 监听, 可以监控敏感站点、过滤广告、过滤(或收集)不良信息等 - 篡改请求数据, 或拦截请求mock数据返回 - 篡改响应数据, 或拦截响应 - 支持http和https, https需要自己创建证书 暂不支持websocket的代理, 后续会跟进 文档待续