{译}RedHat GFS最佳实践
本文翻译自:http://www.redhat.com/magazine/009jul05/features/gfs_practices/
原文作者:Matthew O’Keefe 马修奥基夫
译者:Timo
本文是一个GFS实践文档,教授大家如何部署GFS集群
• 导言
• NFS与RedHat GFS对比
本文翻译自:http://www.redhat.com/magazine/009jul05/features/gfs_practices/
原文作者:Matthew O’Keefe 马修奥基夫
译者:Timo
本文是一个GFS实践文档,教授大家如何部署GFS集群
• 导言
• NFS与RedHat GFS对比
看话剧
要不是老婆有赠票,我想我也不会自己去买票看这个,其实电影对我来说一样。
剧名叫《将话剧进行到底》,票上写着是荒诞严肃剧。老实说我不明白啥叫又荒诞又严肃。
说说看的过程
一开始是在幕布上显示了话剧的整个历史过程,这一过程很无聊,难道这就是所谓的严肃?
第二部分基本是在现实和虚幻中来回穿梭的过程,大段大段的个人独白。男女主角一会儿在现实中,一会儿再剧本中,但是从头到底都没有一个线索联系起来。至少在这个时候我是看的比较累的。而这过程中无数中突然冒出可笑的台词来,非要把《天鹅湖》作者柴可夫斯基说成卡巴斯基,难道这样仅仅为了突出你们的幽默还是为了迎合观众呢?如果观众为了看这个,那不如去看郭德纲了。上半场最后突然冒出一个观众出来表演,这个还是很有新意的,替所有观众BS了这样的话剧。
下半场表示了一个话剧演绎的过程,涉及到商业利益的纠葛。于是一些垃圾话剧是如何排演出来的。而对于剧作家和导演以及各种利益纠葛我是没啥兴趣。因为该剧自己就在里面嵌入了各种广告,比如XX快餐,xx保险,xx包。
老婆说这个话剧是她看的最有深度的,说是可以带来思考,而这种思考就是艺术面对商业利益的时候如何做好平衡。但是更大的思考是任何事情都是互相权衡的过程,要真要那么纯粹的东西,那往往都是小众的产品,对于面向大众的产品,绝对是要权衡大家需求和个人需求后的产物。对于剧中的剧作家最后的呐喊我无动于衷,改变世界或者改变自己也就是这两种选择。
我不懂话剧,话剧跟电影的不同就是话剧我们看到的是真人,而这个真人跟电影的最大不同就是真人需要跟现场观众有所互动,不然观众一样在下面被动的看,那为什么不去看一部大片呢? 难道话剧仅仅是没钱人的电影吗? 当然不应该是这样的。
今天去sohu面试了一个新技术研究工程师职位。看这个名字就知道这个肯定是新设定的部门,所以招人肯定会比较多。面试官就一个人,这个我比较喜欢,我可不喜欢对面坐着一排7-8个人这样的面试。
果然在我之前已经很多人来过面试了,我只能算是这其中小小的一个。
说下职位的要求,方向有2个,一个是偏向系统本身的也就是面试官说的硬件,另外一个是系统软件也就是面试官说的软件。其实个人感觉这2个都属于软件,一个是系统软件,一个应用软件。以后所做的就是搭建、测试和优化整个架构的过程。sohu对于这个职位是想招点高手过来,越高越好,上不封顶。
今天这位面试官倒是很实在,跟TOM很像。是根据是熟悉哪些来问的,而不像有些人看你不熟悉哪些就问哪些来满足自己的虚荣心。
由于一直做WEB源站,所以第一个问题就是http1.0和http1.1有什么区别,老实说我这个只知道http1.0不支持压缩,而http1.1支持,因为squid2和squid3最大的区别就是支持http1.0还是支持http1.1。
以下资料是参考互联网文档后的解释:
http1.0是hop-to-hop的协议仅对简单的传输层连接有意义,不被缓存,也不被代理服务器向前传递。为每个要下载的对象,如图片、声音等都创建一个单独的tcp链接。
http1.1是host-to-host的协议,为所有的对象创建同一个链接,传输效率较高。HTTP 1.1 还通过增加更多的请求头和响应头来改进和扩充HTTP 1.0 的功能。还提供了与身份认证、状态管理和Cache缓存等机制相关的请求头和响应头。
第二个问题是问我熟悉不熟悉shell,我说我只能算是基础熟悉吧,毕竟水平还只是停留在while和if以及命令的叠加上。于是他问我如何取出IP地址,我本以为的
意思如何从ifconfig中得到IP地址,那应该是如下
ifconfig eth0|grep "inet addr"|awk '{print $2}'|awk -F : '{print $2}'
但后来发现并不是这样的,是从一堆文件中如何找出IP地址,那我的思路首先是IP地址分为4段,当中以.分割,同时每段最大为255。思路理清后就用如下的命令来找出
grep "\[0-255\].\[0-255\].\[0-255\].\[0-255\]" file
但是其实这样也只是从文件中找出含有IP地址的那一行而已
第三个问题是mysql的。问:mysql主从复制是加密的吗? 答:mysql主从复制是支持ssl加密的,但是一般是不用的。show slave status是可以看到相关ssl设置的,所以可见它肯定是支持的。问: mysql数据传输是加密的还是不加密的,答:是不加密的,因为我认为Mysql传输是通过bin-log来传递的,而打开bin-log文件也没有被加密过,打开也是明文的,这当中应该是没有任何加密措施的。回家后找了下相关资料发现也是可以进行ssl加密的,只要在语句后面加入REQUIRE SSL就可以了,比如
旅游就像做一个项目一样,都要先计划,然后按照计划来执行,但是执行过程中会发生各种各样的意外,于是就要对计划进行修正,最后等旅游完成后还要进行评 估,以后进行其它旅游时候能进行更合理的规划。
在这次去厦门之前,我们对于所有的线路都在google上对于住宿和旅游景点的当中的线路都进行了标注,以及当中做什么公交车都有详细的标注。在厦门高崎机场 下了飞机后果然找到了预先设计好的27路公交车,也很顺利的坐到预先的下车站点“湖滨中路”,本来想在这里换35路公交车,可找了很久也没发现35路,还好原 先知道终点站是哪里,于是换了其他的车辆到了预订目的地。看来google地图也并不是完全正确,还必须根据实际情况来进行修正。
由于来到厦门的时候已经挺晚了,于是第一天就这样过了,在住宿安排好之后就去周围熟悉熟悉道路和公交,事先就知道了厦门岛上各种公交线路很发达,在我们 住的厦门大学西门果然是到各种地方的公交线路都有,有去集美的,有去轮渡的,有去胡里山的,有去SM城市广场的等等。
4月5日:天气多云。早上在厦大西门解决了早饭问题就一头扎进厦大美丽的校园之中了,厦大还真是传说中的漂亮,棕榈树的行道树,草地中突然树了几棵百年海 棠树。还有很多由于山造成的起伏以及各种湖泊,能在这种环境中学习可是巨大的幸福。有山有水有花。。。。老婆说厦大的食堂也不错,比如芙蓉餐厅3楼的木瓜 奶茶等等,厦大里可是有好多木瓜树的哦。
游览完美丽的厦大后从正门出来就是南普陀寺,门口的放生池里很多小乌龟以及那么多的鲶鱼,看来鲶鱼就是就是促进这些懒惰的乌龟运动来着。花了3元门票进了 香火旺盛的南普陀寺。里面大小佛像林立,各种石刻名目繁多。如果你信佛的话那还是很值得一看,而我对于里面各种树木十分感兴趣。
《原来这才是春秋》这是写的是整个春秋的事情。在手机上看到了第2部,感受就是无论做什么事情都要跟对老板。
春秋这个世界还是太乱了,作为帝王还是公子都会随时面对死亡的威胁。碰到仁义无敌的宋襄公,子鱼再怎么强还是无能为力。而跟了齐桓公的管仲和鲍叔牙,而跟了重耳的狐偃,只有这样才算是黄金搭档。
也许像这样的组合实在是太难得了,公子小白也是千辛万苦才当上了齐桓公,而要不是鲍叔牙的极力推荐,那管仲也不会得到重用,鲍叔牙就是一个伯乐啊。而重耳更是到了60多岁才当上了晋文公。春秋的2大强国也就是这样建立起来的。
而这种建立起来的强大国家仅仅维持了很短时间,齐桓公过世后齐国立刻就衰败了,看来一个国家的强大不能永远指望出现一个开明的君主和聪明的谋士。而无论晋国还是齐国可真是要有多少人才就有多少人才,但是它们两最终还是被秦国给灭亡了。而秦国也没保持很久,经历2个君主就挂了。
是需要民主制度吗? 但是对于个人来说还是要跟对老板。
本文翻译自:http://www.redhat.com/magazine/008jun05/features/gfs_nfs/
原文作者: Matthew O’Keefe
译者: Timo
本文是对比Red Hat GFS(Global Filesystem)和NFS的基础文档,用来说明2种文件系统的区别。以及GFS的优势在哪里。
数据共享在今天的现代计算机世界是必须的。当收到数据请求,包括允许一个服务器群集对一个存储连接池的访问请求, RedHat GFS是简化您的数据架构,最大限度地减少存储成本,增加存储的速度,并实现最大的正常运行时间的方案。
类似于红帽GFS的集群文件系统像使用基于IP分块网络的iSCSI共享协议,以提供可扩展低成本的文件服务。网络文件系统( NFS )是一种常见的共享存储解决方案通过使用许多设备。然而,在某些情况下,这一解决方案并不可扩展。GFS和NFS如何比较? 下文讲进行解释。
红帽®企业版Linux ®客户遇到有性能问题的NFS并且只使用Linux下的NFS客户端可以使用基于iSCSI的IP分块联网Red Hat GFS来很快提高它们的性能和扩展性。
比较 :
NFS的是Linux和UNIX下一种流行的文件共享协议。 图1 显示 不同的NFS和GFS在服务器群集下数据共享硬件拓扑。 图1 显示了典型和最常见的NFS的部署:一个单一的NFS服务器有自己的本地存储连接到在网络上的客户端。 GFS的数据共享群集构建一个具有相同的硬件架拓扑iSCSI服务器,并在实践中,拥有更好的性能。此外,不同于NFS ,GFS像一个本地文件系统因为它兼容POSIX行为。这意味着,分布式Linux应用程序可以取得良好的访问性能访问共享文件通过实现兼容POSIX标准的集群。
注:
特别是, NFS不支持UNIX (和Linux )进程的所支持的同一文件同步语义:在UNIX ,如果一个进程写入一个文件,另一个进程读该文件在稍后时间保证看到前面所写的。 NFS没有这种保证,除非特别设置写入缓存,但使用可能产生负面影响。
vsftpd可以设置为允许本地用户登陆,但是通常并不是需要本地用户全部登陆,我们可以设置为哪些本地用户不能登陆。
userlist_deny = yes userlist_enable = /etc/vsftpd/userlist
vsftp同时也是可以设置最大客户端连接数,同时也可以设置每个IP的最大连接数
max_clients = 10 max_per_ip = 1
vsftpd同样也是可以支持SSL加密传输,因为默认ftp传输默认是明文的
首先要通过openssl生成证书
以前我批评过dangdang网在下了订单了只有发送一个订购成功的mail,而以后怎么样你根本不会得到相应信息。
现在dangdang在发货后总算给我发了个mail告诉货已经发出。
但是这次有点不同。
这次我共了下个单子,一个是3月22日,一个是3月23日,22日那个单子是买了2本书,23日订单是购买一本书。
结果是发生如下的状况。22日的单子到了2009年03月26日 01:41:07发货, 而23日的单子是2009年03月24日 17:57:19发货。 货到我手中都已经3月26日了,但是奇怪的这2个单子并不是一起到的。而是一前一后到的。看了下还是2个快递公司。
这里我觉得当当网还是有可以改进的地方,在同一个人的一个单子还没有发货情况下,而另一个单子也进来了,这样是否可以2个单子并在一起呢?同时既然收货地址是同一个地址,可为什么还要分开2个公司来发送呢?
看来dangdang在自己的订单管理上还是存在一定问题,应该让用户可以自己来合并订单,只要订单还没被发送之前。以及如何合理安排快递上也是有问题。虽然dangdang的快递是外包的,但是少送一次你们还是省下不少快递费用的,当然现在dangdang是免快递费,我就当受用了。dangdang和amazon2家斗对于消费者是最有利的,一家独大才是消费者倒霉的时候。
每个人都不免会参与工作,有的是老板,有的是员工。对于那些拿出自己的钱来当老板的人我是非常钦佩的,毕竟对于他们这个就是一切。而大多的员工也许更轻松点。
从我个人性格来说,我一直都没有很大的冲劲,在读书的时候排名只要在10-25之间我就比较满意了,基本保持中上水平就可以了。所以在一个好的班级会比较的努力,而一个一般的班级中日子也就这样混过去了。
就像在大学里,前3年就这样混过了,虽然我很少很少旷课,但是基本状态就是一个混。终于在大四的受了点刺激,于是整个大四期间就完全向first class迈进的,整个毕业设计我现在常反出那88页的论文来看还是感觉非常满意的。这也算是学生生涯唯一的自我感觉自豪的东西。也许在别人看来这不算什么,虽然最后还是只得到了second class first,这我也毫无遗憾的了,毕竟努力过,要我一年把整个前3年落下的课程全部补上也确实太难。
工作了,其实那时候对于工作还是没有完全概念,有家民营的网络公司做系统工程师,我去的时候公司啥都没有,连个服务器都没有,还是我当时出差武汉给架设上的,其实就是一台兼容服务器,上面运行这一个ubuntu,还是运行着图形界面,我们控制还都是通过vnc来连接的。对于安装LAMP,也都是通过UBUNTU的“新力得”来完成的,至于为什么要装,也不知道啥叫源码安装,反正就这样凑活着装上了,也没人说不好。这短暂的3个多月基本处于熟悉机房,知道啥叫IDC,同时在虚拟机上安装个UBUNTU来操作操作,当然会经常碰到各种各样的错误,当时部门里有个高手,都问的人家感觉烦了。
很快去了第2家公司,也是网络公司,产品也算是大家熟知的。这里基本只有windows了,所有服务器也都是在上海的各大机房里。当时去机房就感觉严格和乱,这个乱到我走的时候还没解决。而当时对于服务器的监控也没啥东西。我也从来没有想过为啥要监控这些机器,down了顶多重启下,终于有一天一个VP说你们装个hostmonitor来监控一下机器是否down了,于是到处搜索,终于给搞定了,当时想着这个hostmonitor还真是神奇,于是可以监控那么多的机器。当时基本靠PING来发现机器是否存活。从这里看出我这个当时还是非常被动的。也可以说根本没有改变当时公司的运维体系。也许我当时如果能够现在的能力和想法就能当上该公司的运维经理。
写到这里我也发现了自己的问题,有时候是有想法的,但是这些想法往往没有去切实的执行下去,最后的结果往往就是不了了之。要是没人催促,也许某些东西会一直这样做下去,永远没有一个完结。大多时候眼界不够宽阔,考虑问题比较狭隘。对于现有的局面很少去想着去改变做的更好,而是经常感觉这样挺省事。于是就这样一直做下去。
今天看了中央电视台的《面对面》节目,说的是唐骏,从他为了出国留学,从北京邮电大学跳到了北京广播学院,而出国留学名额过期了,于是他每天去教育部去守着教育部相关司的司长,每天跟这个司长打招呼,到了第6天这个司长终于问他是干嘛的,于是他说了原因,到了第9天这位司长就让他去里面谈谈,终于出国留学的问题搞定了。
我想这个就是他跟我之间的区别,出国留学是一个非常重要的转折点,为了这个重要的转折点,不抛弃不放弃的意志出来了。而当时如果是我就会放弃掉了,等第2年再考,或者当时直接工作去了,但是若干年还会耿耿于怀。
马上自己会换工作了,跟PPLIVE也要快说再见了。北京我来了。我会去寻找一个好公司,并为自己的小小的梦想奋斗下去。对于什么是好公司,一本热门小说《杜拉拉升职记》中是这样描述的。
什么是好公司?
1)产品附加值高,生意好,并且从业务线看,具备持续发展的能力和前景;
2)有专业的/聪明能干的/经验丰富的/并且为人现实的管理层,在把握这公司,并且有保护一贯这样用人的制度的公司;
3)有严格的财务制度,对预算、费用和利润等于投入产出有关的内容,敏感并且具有强控制力的公司;
4)崇尚客户导向/市场导向/结果导向/执行力的公司;
5)有专业严谨全面的流程和制度,并且其执行有利于推动业务的良性发展,具有控制性和实操性兼备的特点;
—总结起来,就是一家具有持续赢利能力的牛B公司
从这点来看PPLIVE是不合格的,几乎每一点都没达到,而之前的一家公司确是达到了其中的4点。
找到好公司,就要找到一个好方向,运维对于任何一个IT公司都属于末端了,可不是那么重要的,而研发环节算是技术部门中最为重要的。对于什么是好方向,《杜拉拉升职记》是这样描述的
什么是好的方向?永远不要远离核心业务线。你得看明白,在企业中,哪个环节是实现利润最大化的关键环节。有时候是销售环节,有时候是市场策划环节,有时候是研发环节,有时候是生产环节,视乎你所在行业而不同。
最重要的环节,总是最贵的,最牛的,最得到重视的,也是最有发展前途的部门。它拥有最多的资源和最大的权威–你应该依附在这样的核心业务线上发展,至少能避免被边缘化,而成为关键人才的可能性则更大了。
最后你得看你的老板是一个怎么样的人,我前面所说的那位VP就是一个弱势的人,而怎么样的是个好老板呢,《杜拉拉升职记》也做了如下总结:
好老板的标准很多,关键的是,你要设法跟上一个在公司处于强势地位的老板。他强,你才能跟着上。跟了一个弱势的老板,你的前途就很同意被根着给耽搁了。