公有云的底层技术

发表于 更新于 分类于 本文字数： 2.2k 阅读时长 ≈ 2 分钟

国内公有云第一家商用VPC的是青云，可惜是给大家趟了水。

国外的aws从2009年就开始了。但是那时候大宋还没法跟上。阿里云早期都是拿着经典网络搞云计算。当然问题也都产生了很多问题。最著名的就是陈浩的那篇文章了。
https://weibo.com/ttarticle/p/show?id=2309404079841686247162

知乎上也有很多关于这个的讨论
https://www.zhihu.com/question/56524172

那我们现在继续说下公有云的基础，那就是如何进行资源隔离，这里就涉及到网络，cpu，内存，磁盘io这些。
这里的隔离千万别就只想到cgroup和namespace这些。

个人觉得这个主要是3个基础：网络基础(vxlan)，虚拟化, 存储。

网络基础这里主要是参考了：
https://zhuanlan.zhihu.com/p/36165475
https://zhuanlan.zhihu.com/p/33658624

我个人已经很多年没有碰底层网络了，感觉网络工程师很多都已经下岗了。没想到在公有云上还有那么多好玩的东西。

VPC本身由SDN来进行构建的，但是下层其实就是VXLAN，而不是传统的VLAN。

VLAN和VXLAN的区别：

  1. VLAN ID数量限制，总共只有12个bit来表示vlan ID，那就是4096个，去掉2个特殊的，能用的就是4094个。一个公有云不可能只有这些个客户吧。
    但是作者说了，VLAN后面的802.1 ad协议又增加了12个bit来表示VLAN ID，那就是1600多万个VLAN，这对于公有云厂商看着是够了。
    那么问题来了，为什么大家还要上VXLAN呢？
  2. TOR交换机（Top Of Rack）MAC表限制。我查了下cisco3750交换机的mac地址表是12K，那就是可以存放12000个MAC地址。这个在一般情况下是够用的了。一旦虚拟机的数量超过这个了，那交换机就会泛洪到所有端口上，这样会加重交换机的负载。
    这个记得当年我们使用2960的时候就碰到了这些个问题。
    如果使用VXLAN，虚拟机的Ethernet Frame被VTEP（VXLAN Tunnel EndPoin）封装在UDP里面，一个VTEP可以被一个物理主机上的所有虚拟机共用。从交换机的角度，交换机看到的是VTEP之间在传递UDP数据。通常，一个物理主机对应一个VTEP，所以交换机的MAC地址表，只需要记录与物理主机数量相当条目就可以了，虚拟化带来的MAC地址表暴增的问题也不存在了。这是VXLAN能解决的，而现有的VLAN没有办法回避的问题。
    通俗的讲就是VLAN交换机会有个解包和封包的过程。虽然效率上可能会降低一点，但是适用性会更广。
  3. VLAN间通讯。这个我觉得是最大的问题。对于二层交换机，要进行VLAN间通讯，我们知道可以通过trunk进行，也可以使用单臂路由的方式。
    单臂路由的方式现在基本下线了，原理就是在交换机上建立2个虚拟网口，作为每个VLAN的网关来进行。
    而trunk是VLAN的数据包里都会带上自己的VLAN ID。
    但是trunk这种模式带来的问题就是广播风暴了，因为交换机要学习trunk里所有服务器的MAC地址。等于是一个大二层。
    而VXLAN是走三层的，直接就是3层上走UDP包来进行的，所以不存在了这个问题。可以跨越2层网络的限制。
  4. STP问题。以前觉得交换机很聪明，会通过STP（Spanning Tree协议）找到最优的路径。
    但是现在内部的流量越来越高，千兆万兆都很普遍了，STP找出的最优路径，问题就出在这里，只有一条最优啊，这样的话就无法利用到全部可用的带宽，很多带宽线路都是作为备用存在的。

好了，这些都是VXLAN的优点，缺点就是更复杂了，而VXLAN是3层的网络，它底层还得是VLAN。

所以各位也要看自己的实际情况去选择，但对于公有云厂商来说这个是没得选的。但是要是自己内部用，那就看下实际情况了。

第二项就是虚拟化
听上去好像就跟xen一样。简单来说，早期的云计算厂商对于大家来说就是卖vps的。当时是各种厂商都是在本机上搞虚拟化然后就开卖了。
但是现在云厂商其实把磁盘基本都是放在存储里了。
关于这个的已经很成熟了，无论是cpu，内存还是磁盘io。
kvm， xen，vmware这些每个都有很多人用，半虚拟化，全虚拟化，这些后面开篇说吧(主要是自己现在也是很多都混淆了，需要重新理一下)。

第三项就是分布式存储。
这里暂时没有统一的做法。这里有块存储，对象存储，文件存储。
而我们一般云上虚拟机用的就是块存储。SAN、Ceph RBD这些都是。之前知道国内有些云厂商就是直接用了HITACHI的SAN来搞云存储的。虚拟那块直接就用了vmware的。这实在是相当的有钱才这样搞。
而Ceph更是独一无二地在一个统一的系统中同时提供了对象、块、和文件存储功能。

而自己搞的话就要注意以下几点了
扩展性
这个看来现在都是PB起步的。这种时候一些中心化的存储系统就有可能出现瓶颈了，比如hdfs这种。但是去中心化的存储就一定好吗？这时候数据迁移这种就不得不面对了。

可靠性
各个云厂商都是保证6个9，7个9什么的。多少副本，如何校验都是需要考虑的。

性能
这个其实是挺烧钱的地方。ssd， fusionIO这些都是大把的钱啊。但是如何控制好每个的读写速率，这个需要好好想想的。

成本