百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Go 每日一库之 twirp:又一个 RPC 框架

ccwgpt 2024-09-17 12:50 37 浏览 0 评论

简介

twirp是一个基于 Google Protobuf 的 RPC 框架。twirp通过在.proto文件中定义服务,然后自动生产服务器和客户端的代码。让我们可以将更多的精力放在业务逻辑上。咦?这不就是 gRPC 吗?不同的是,gRPC 自己实现了一套 HTTP 服务器和网络传输层,twirp 使用标准库net/http。另外 gRPC 只支持 HTTP/2 协议,twirp 还可以运行在 HTTP 1.1 之上。同时 twirp 还可以使用 JSON 格式交互。当然并不是说 twirp 比 gRPC 好,只是多了解一种框架也就多了一个选择

快速使用

首先需要安装 twirp 的代码生成插件:

nbsp;go get github.com/twitchtv/twirp/protoc-gen-twirp

上面命令会在$GOPATH/bin目录下生成可执行程序protoc-gen-twirp。我的习惯是将$GOPATH/bin放到 PATH 中,所以可在任何地方执行该命令。

接下来安装 protobuf 编译器,直接到 GitHub 上https://github.com/protocolbuffers/protobuf/releases下载编译好的二进制程序放到 PATH 目录即可。

最后是 Go 语言的 protobuf 生成插件:

nbsp;go get github.com/golang/protobuf/protoc-gen-go

同样地,命令protoc-gen-go会安装到$GOPATH/bin目录中。

本文代码采用Go Modules。先创建目录,然后初始化:

$ mkdir twirp && cd twirp
$ go mod init github.com/darjun/go-daily-lib/twirp

接下来,我们开始代码编写。先编写.proto文件:

syntax = "proto3";
option go_package = "proto";

service Echo {
  rpc Say(Request) returns (Response);
}

message Request {
  string text = 1;
}

message Response {
  string text = 2;
}

我们定义一个service实现echo功能,即发送什么就返回什么。切换到echo.proto所在目录,使用protoc命令生成代码:

$ protoc --twirp_out=. --go_out=. ./echo.proto

上面命令会生成echo.pb.go和echo.twirp.go两个文件。前一个是 Go Protobuf 文件,后一个文件中包含了twirp的服务器和客户端代码。

然后我们就可以编写服务器和客户端程序了。服务器:

package main

import (
  "context"
  "net/http"

  "github.com/darjun/go-daily-lib/twirp/get-started/proto"
)

type Server struct{}

func (s *Server) Say(ctx context.Context, request *proto.Request) (*proto.Response, error) {
  return &proto.Response{Text: request.GetText()}, nil
}

func main() {
  server := &Server{}
  twirpHandler := proto.NewEchoServer(server, nil)

  http.ListenAndServe(":8080", twirpHandler)
}

使用自动生成的代码,我们只需要 3 步即可完成一个 RPC 服务器:

  1. 定义一个结构,可以存储一些状态。让它实现我们定义的service接口;
  2. 创建一个该结构的对象,调用生成的New{{ServiceName}}Server方法创建net/http需要的处理器,这里的ServiceName为我们的服务名;
  3. 监听端口。

客户端:

package main

import (
  "context"
  "fmt"
  "log"
  "net/http"

  "github.com/darjun/go-daily-lib/twirp/get-started/proto"
)

func main() {
  client := proto.NewEchoProtobufClient("http://localhost:8080", &http.Client{})

  response, err := client.Say(context.Background(), &proto.Request{Text: "Hello World"})
  if err != nil {
    log.Fatal(err)
  }
  fmt.Printf("response:%s\n", response.GetText())
}

twirp也生成了客户端相关代码,直接调用NewEchoProtobufClient连接到对应的服务器,然后调用rpc请求。

开启两个控制台,分别运行服务器和客户端程序。服务器:

$ cd server && go run main.go

客户端:

$ cd client && go run main.go

正确返回结果:

response:Hello World

为了便于对照,下面列出该程序的目录结构。也可以去我的 GitHub 上查看示例代码:

get-started
├── client
│   └── main.go
├── proto
│   ├── echo.pb.go
│   ├── echo.proto
│   └── echo.twirp.go
└── server
    └── main.go

JSON 客户端

除了使用 Protobuf,twirp还支持 JSON 格式的请求。使用也非常简单,只需要在创建Client时将NewEchoProtobufClient改为NewEchoJSONClient即可:

func main() {
  client := proto.NewEchoJSONClient("http://localhost:8080", &http.Client{})

  response, err := client.Say(context.Background(), &proto.Request{Text: "Hello World"})
  if err != nil {
    log.Fatal(err)
  }
  fmt.Printf("response:%s\n", response.GetText())
}

Protobuf Client 发送的请求带有Content-Type: application/protobuf的Header,JSON Client 则设置Content-Type为application/json。服务器收到请求时根据Content-Type来区分请求类型:

// proto/echo.twirp.go
unc (s *echoServer) serveSay(ctx context.Context, resp http.ResponseWriter, req *http.Request) {
  header := req.Header.Get("Content-Type")
  i := strings.Index(header, ";")
  if i == -1 {
    i = len(header)
  }
  switch strings.TrimSpace(strings.ToLower(header[:i])) {
  case "application/json":
    s.serveSayJSON(ctx, resp, req)
  case "application/protobuf":
    s.serveSayProtobuf(ctx, resp, req)
  default:
    msg := fmt.Sprintf("unexpected Content-Type: %q", req.Header.Get("Content-Type"))
    twerr := badRouteError(msg, req.Method, req.URL.Path)
    s.writeError(ctx, resp, twerr)
  }
}

提供其他 HTTP 服务

实际上,twirpHandler只是一个http的处理器,正如其他千千万万的处理器一样,没什么特殊的。我们当然可以挂载我们自己的处理器或处理器函数(概念有不清楚的可以参见我的《Go Web 编程》系列文章:

type Server struct{}

func (s *Server) Say(ctx context.Context, request *proto.Request) (*proto.Response, error) {
  return &proto.Response{Text: request.GetText()}, nil
}

func greeting(w http.ResponseWriter, r *http.Request) {
  name := r.FormValue("name")
  if name == "" {
    name = "world"
  }

  w.Write([]byte("hi," + name))
}

func main() {
  server := &Server{}
  twirpHandler := proto.NewEchoServer(server, nil)

  mux := http.NewServeMux()
  mux.Handle(twirpHandler.PathPrefix(), twirpHandler)
  mux.HandleFunc("/greeting", greeting)

  err := http.ListenAndServe(":8080", mux)
  if err != nil {
    log.Fatal(err)
  }
}

上面程序挂载了一个简单的/greeting请求,可以通过浏览器来请求地址http://localhost:8080/greeting。twirp的请求会挂载到路径twirp/{{ServiceName}}这个路径下,其中ServiceName为服务名。上面程序中的PathPrefix()会返回/twirp/Echo。

客户端:

func main() {
  client := proto.NewEchoProtobufClient("http://localhost:8080", &http.Client{})

  response, _ := client.Say(context.Background(), &proto.Request{Text: "Hello World"})
  fmt.Println("echo:", response.GetText())

  httpResp, _ := http.Get("http://localhost:8080/greeting")
  data, _ := ioutil.ReadAll(httpResp.Body)
  httpResp.Body.Close()
  fmt.Println("greeting:", string(data))

  httpResp, _ = http.Get("http://localhost:8080/greeting?name=dj")
  data, _ = ioutil.ReadAll(httpResp.Body)
  httpResp.Body.Close()
  fmt.Println("greeting:", string(data))
}

先运行服务器,然后执行客户端程序:

$ go run main.go
echo: Hello World
greeting: hi,world
greeting: hi,dj

发送自定义的 Header

默认情况下,twirp实现会发送一些 Header。例如上面介绍的,使用Content-Type辨别客户端使用的协议格式。有时候我们可能需要发送一些自定义的 Header,例如token。twirp提供了WithHTTPRequestHeaders方法实现这个功能,该方法返回一个context.Context。发送时会将保存在该对象中的 Header 一并发送。类似地,服务器使用WithHTTPResponseHeaders发送自定义 Header。

由于twirp封装了net/http,导致外层拿不到原始的http.Request和http.Response对象,所以 Header 的读取有点麻烦。在服务器端,NewEchoServer返回的是一个http.Handler,我们加一层中间件读取http.Request。看下面代码:

type Server struct{}

func (s *Server) Say(ctx context.Context, request *proto.Request) (*proto.Response, error) {
  token := ctx.Value("token").(string)
  fmt.Println("token:", token)

  err := twirp.SetHTTPResponseHeader(ctx, "Token-Lifecycle", "60")
  if err != nil {
    return nil, twirp.InternalErrorWith(err)
  }
  return &proto.Response{Text: request.GetText()}, nil
}

func WithTwirpToken(h http.Handler) http.Handler {
  return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
    ctx := r.Context()
    token := r.Header.Get("Twirp-Token")
    ctx = context.WithValue(ctx, "token", token)
    r = r.WithContext(ctx)

    h.ServeHTTP(w, r)
  })
}

func main() {
  server := &Server{}
  twirpHandler := proto.NewEchoServer(server, nil)
  wrapped := WithTwirpToken(twirpHandler)

  http.ListenAndServe(":8080", wrapped)
}

上面程序给客户端返回了一个名为Token-Lifecycle的 Header。客户端代码:

func main() {
  client := proto.NewEchoProtobufClient("http://localhost:8080", &http.Client{})

  header := make(http.Header)
  header.Set("Twirp-Token", "test-twirp-token")

  ctx := context.Background()
  ctx, err := twirp.WithHTTPRequestHeaders(ctx, header)
  if err != nil {
    log.Fatalf("twirp error setting headers: %v", err)
  }

  response, err := client.Say(ctx, &proto.Request{Text: "Hello World"})
  if err != nil {
    log.Fatalf("call say failed: %v", err)
  }
  fmt.Printf("response:%s\n", response.GetText())
}

运行程序,服务器正确获取客户端传过来的 token。

请求路由

我们前面已经介绍过了,twirp的Server实际上也就是一个http.Handler,如果我们知道了它的挂载路径,完全可以通过浏览器或者curl之类的工具去请求。我们启动get-started的服务器,然后用curl命令行工具去请求:

$ curl --request "POST" \
  --location "http://localhost:8080/twirp/Echo/Say" \
  --header "Content-Type:application/json" \
  --data '{"text":"hello world"}'\
  --verbose
{"text":"hello world"}

这在调试的时候非常有用。

总结

本文介绍了 Go 的一个基于 Protobuf 生成代码的 RPC 框架,非常简单,小巧,实用。twirp对许多常用的编程语言都提供了支持。可以作为 gRPC 等的备选方案考虑。

大家如果发现好玩、好用的 Go 语言库,欢迎到 Go 每日一库 GitHub 上提交 issue

参考

  1. twirp GitHub:https://github.com/twitchtv/twirp
  2. twirp 官方文档:https://twitchtv.github.io/twirp/docs/intro.html
  3. Go 每日一库 GitHub:https://github.com/darjun/go-daily-lib

相关推荐

后端开发必看!Spring Boot3 如何轻松整合 MyBatis 管理 Mapper 接口?

你是否曾在使用SpringBoot3进行后端开发时,面对MyBatis管理Mapper接口一头雾水?项目工期紧张,却因为整合问题迟迟无法推进数据层开发,相信不少互联网大厂的后端开发人员都...

每天一个 Python 库:Django全能Web框架,一站式后台开发

为什么选择Django?Django=高效+全能+开箱即用内置功能说明ORM数据库操作更高效Admin管理后台1分钟搭好Auth登录认证/权限管理自动搞定路由、表单、静态资源通通内置...

作为后端开发,你知道MyBatis有哪些隐藏的 “宝藏” 扩展点吗?

在互联网大厂后端开发领域,MyBatis作为一款主流的持久层框架,凭借其灵活的配置与强大的数据处理能力,广泛应用于各类项目之中。然而,随着业务场景日趋复杂、系统规模不断扩张,开发过程中常面临SQL...

后端必看!Spring Boot3 跨域难题的五种破局之道

你在SpringBoot3开发中遇到过跨域问题吗?相信不少后端开发小伙伴都有过这样的经历:精心编写的接口,在前端调用时却突然报错,页面控制台跳出一堆关于跨域的错误提示,让人抓耳挠腮。别着急,今天...

这些 Python 后端技术竟成互联网大厂‘敲门砖’,你掌握了几个?

你是不是经常在技术群里刷到同行的“凡尔赛”发言?“刚用XX技术搞定大厂项目,offer直接到手”;又或者满心期待点开大厂招聘JD,却被Python后端那密密麻麻的技术要求,看得头皮发...

后端开发必读,一文带你了解如何配置MyBatis?

作为互联网大厂的后端开发人员,MyBatis想必是大家在项目开发中频繁使用的得力工具。不过,在实际操作中,你是否常常遭遇这些棘手状况:明明严格依照教程完成了MyBatis的配置,可项目启动时却无...

作为干电气的,低压断路器你真的了解吗?

低压断路器按结构型式分为万能式和塑料外壳式两类,本文主要介绍塑料式外壳小型断路器,小型断路器生厂厂家有很多,常见的为DZ型为中法合资的梅兰日兰,其余还有ABB公司的E系列F系列S系列,西门子的3...

高低压成套电气设备(五)(高低压成套设备技术的标准)

KYN28-12型户内金属铠装抽出式开关柜概述:KYN28-12(GZS1-12)型户内金属铠装抽出式开关柜系3~10KV三相交流50Hz单母线及单母线分段系统的成套配电装置。主要用于发电厂、中小型发...

深入解析:进线柜、出线柜等六种配电柜的组成和作用

配电柜家族深度解析:进线、出线、计量及其他从高压变电站到千家万户,电力如何安全可靠地输送?答案在于配电系统,而配电柜正是这个系统的核心组成部分,是电力系统心脏的守护者。本文将深入剖析六种常见配电柜——...

自主开发"开关机械特性测试数据智能分析工具"提升检修质量

5月9日,南网超高压公司天生桥局依托"大瓦特"智能平台天生桥局检修人员通过自主创新,成功开发出"开关机械特性测试数据智能分析工具",该成果标志着天生桥局在业技融合与数字化转型方面取得了重要突破。该分析...

烧焦后的电闸箱终于改完了,最终选择了安全实用的方案。

本内容来源于@什么值得买APP,观点仅代表作者本人|作者:端木先生R几个月前,我家电闸箱零线排烧焦,当时真的有点小慌。后来找朋友研究半天,站内很多朋友给了不少宝贵意见,终于上周改造完了。十分感谢大伙...

什么是断路器的“壳架电流”?和“额定电流”有什么关系?

【我是头条创作者“振生的电气知识角”,欢迎在评论区留言,▲左上角点击+“关注”】小伙伴儿们,你们是不是会有疑问:断路器的“壳架电流”和脱扣器的“整定电流”什么关系?二者是否是一回事儿呢?接下来,我们...

断路器各种电流之间的关系是什么?作为电气人都需要掌握的知识!

提起断路器,想必大部分电气人员都不陌生了,但是如果说到断路器各种电流之间的关系,可能不少电气人员都是云里有雾摸不着头脑,甚至还有一些电气人员是一问三不知的。我们都知道断路器是指能够关合、承载和开断正常...

ABB高压授权柜UniSafe 提供尽可能多的供配电回路

ABB高压开关柜UniSafe以其环保、紧凑的设计而著称,不仅结构紧凑、空间利用率高,还能在有限的占地面积内提供尽可能多的供配电回路,大大节省了资源和土建费用。内部结构部件采用优质材料,如敷铝锌钢板或...

如何选择空气开关,详细介绍分析(如何选择空气开关,详细介绍分析方法)

空气开关C型与D型的选择需根据负载特性、电流冲击需求和应用场景综合判断,以下是具体分析:一、核心区别空气开关结构简图施耐德空开西门子空开ABB空开ABB塑料外壳断路器施耐德塑料外壳断路器施耐德塑料外壳...

取消回复欢迎 发表评论: