回顾
大家好,我是老马。
最近 dubbo3.x 在公司内部分享,于是想系统梳理一下。
总体思路是官方文档入门+一些场景的问题思考+源码解析学习。
本文描述 Dubbo 协议 java 实现的特点与具体实现细节
Dubbo 缺省协议采用单一长连接和 NIO 异步通讯,适合于小数据量大并发的服务调用,以及服务消费者机器数远大于服务提供者机器数的情况。
dubbo RPC是dubbo体系中最核心的一种高性能、高吞吐量的远程调用方式,我喜欢称之为多路复用的TCP长连接调用。
主要用于两个dubbo系统之间作远程调用,特别适合高并发、小数据的互联网场景。
反之,Dubbo 缺省协议不适合传送大数据量的服务,比如传文件,传视频等,除非请求量很低。
- 长连接:避免了每次调用新建TCP连接,提高了调用的响应速度。
- 多路复用:单个TCP连接可交替传输多个请求和响应的消息,降低了连接的等待闲置时间,从而减少了同样并发数下的网络连接数,提高了系统吞吐量。
- Transporter: mina, netty, grizzy
- Serialization: dubbo, hessian2, java, json
- Dispatcher: all, direct, message, execution, connection
- ThreadPool: fixed, cached
缺省协议,使用基于 netty 3.2.5.Final
和 hessian2 3.2.1-fixed-2(Alibaba embed version)
的 tbremoting 交互。
- 连接个数:单连接
- 连接方式:长连接
- 传输协议:TCP
- 传输方式:NIO 异步传输
- 序列化:Hessian 二进制序列化
- 适用范围:传入传出参数数据包较小(建议小于100K),消费者比提供者个数多,单一消费者无法压满提供者,尽量不要用 dubbo 协议传输大文件或超大字符串。
- 适用场景:常规远程服务方法调用
约束
- 参数及返回值需实现
Serializable
接口 - 参数及返回值不能自定义实现
List
,Map
,Number
,Date
,Calendar
等接口,只能用 JDK 自带的实现,因为 hessian 会做特殊处理,自定义实现类中的属性值都会丢失。 - Hessian 序列化,只传成员属性值和值的类型,不传方法或静态变量,兼容情况由吴亚军提供
数据通讯
情况 | 结果 |
---|---|
类A多一种属性(类B少一种属性) | 不抛异常,A多的属性值B没有,其他正常 |
枚举A多一种枚举(B少一种枚举) | A使用多出来的枚举进行传输 → 抛出异常 |
枚举A多一种枚举(B少一种枚举) | A不使用多出来的枚举 → 正常传输 |
A和B的属性名相同但类型不同 | 抛异常 |
serialId 不相同 | 正常传输 |
接口增加方法,对客户端无影响,如果该方法不是客户端需要的,客户端不需要重新部署。
输入参数和结果集中增加属性,对客户端无影响,如果客户端并不需要新属性,不用重新部署。
输入参数和结果集属性名变化,对客户端序列化无影响,但是如果客户端不重新部署,不管输入还是输出,属性名变化的属性值是获取不到的。
总结
- 服务器端和客户端对领域对象并不需要完全一致,而是按照最大匹配原则。
- 会抛异常的情况:枚举值一边多一种,一边少一种,正好使用了差别的那种,或者属性名相同,类型不同。
使用方式
配置协议
1<dubbo:protocol name="dubbo" port="20880" />
设置默认协议
1<dubbo:provider protocol="dubbo" />
设置某个服务的协议
1<dubbo:service interface="..." protocol="dubbo" />
多端口
1
2<dubbo:protocol id="dubbo1" name="dubbo" port="20880" />
<dubbo:protocol id="dubbo2" name="dubbo" port="20881" />
配置协议选项
1
2
3
4
5
6<dubbo:protocol name="dubbo" port="9090"
server="netty" client="netty" codec="dubbo"
serialization="hessian2" charset="UTF-8"
threadpool="fixed" threads="100" queues="0"
iothreads="9" buffer="8192" accepts="1000"
payload="8388608" />
多连接配置
Dubbo 协议缺省每服务每提供者每消费者使用单一长连接,如果数据量较大,可以使用多个连接。
1
2<dubbo:service interface="..." connections="1"/>
<dubbo:reference interface="..." connections="1"/>
<dubbo:service connections="0">
或<dubbo:reference connections="0">
表示该服务使用 JVM 共享长连接。缺省<dubbo:service connections="1">
或<dubbo:reference connections="1">
表示该服务使用独立长连接。<dubbo:service connections="2">
或<dubbo:reference connections="2">
表示该服务使用独立两条长连接。
为防止被大量连接撑挂,可在服务提供方限制大接收连接数,以实现服务提供方自我保护。
1<dubbo:protocol name="dubbo" accepts="1000" />
常见问题
Q1 为什么要消费者比提供者个数多?
因 dubbo 协议采用单一长连接,假设网络为千兆网卡 1024Mbit=128MByte,根据测试经验数据每条连接最多只能压满 7MByte,理论上 1 个服务提供者需要 20 个服务消费者才能压满网卡。
Q2 为什么不能传大包?
因 dubbo 协议采用单一长连接,如果每次请求的数据包大小为 500KByte,假设网络为千兆网卡 1024Mbit=128MByte,单个服务提供者的 TPS 最大为:128MByte / 500KByte = 262。单个消费者的 TPS 最大为:7MByte / 500KByte = 14。
Q3 为什么采用异步单一长连接?
通过单一连接保证单一消费者不会压死提供者,长连接减少连接握手验证等,并使用异步 IO,复用线程池,防止 C10K 问题。典型场景如:6 台提供者支撑上百台消费者,每天 1.5 亿次调用。