The Mirages

樱桃沟夹事

Urchin是google收购的一个日志分析工具。界面跟google analytics是几乎完全一样的。但是google analytics每个月的统计只能在500W PV以内,这个对于稍微有点规模的网站是不可忍受的。所以我们还是需要自己来架设一个urchin 首先需要下载一个urchin6501_linux2.6_kernel.tar.gz 这个是根据自己monitor的系统版本来进行确定的。然后还需要有一个mysql或者postgresql 创建相应的数据库和数据库用户。这里数据库名为urchin,数据库账户为urchin,urchin的账户密码为urchinapassword, urchin账户拥有urchin库的all权限。

root@monitor# mysql -u root -p mysql> create database urchin character set utf8; mysql> GRANT ALL ON urchin.* to 'urchin'@'10.2.%' IDENTIFIED BY 'urchinpassword';

接着使用程序目录下的install.sh脚本进行安装,这里主要是选择安装目录,数据库配置连接等等。

 ./install.sh 

安装完成后就可以通过下列网址查看urchin

 http://yourserver: 
阅读全文 »

虽然去过各种各样的公司,除了公司年会就再也没跟公司老板吃过饭,这次居然有幸跟沉一船吃饭,那真是三生有幸。以前最大也就跟CTO一起吃饭,比如nelson huang和james shen这两位CTO,基本算是欢迎部门新员工或者是领导刚到任的接风会。

吃饭那天天气晴朗,气温十分的高,吃饭时间是临近12点45分了,各位领导就坐,我十分“有幸”跟领导一桌,另外几位同志就没那么好的运气了,非常乖巧的先占了一桌。就坐完领导开始自己点菜了,当然我本人连菜谱都没摸到,也许领导是熟门熟路的主。点完菜有一点空余时间,一船老大可能十分高兴,于是直接就站在凳子上跟大家喊话。

话说我军是第二支杀入日本战场的部队,前面一支先锋队叫百度。不过还好2支队伍是2条战线的。那各自也算是先遣队。但是能在国外过活的网站能有多少呢?能在中国生存的国外网站有多少呢?所以一些叫本地化的知识还是很管用的。沉一船估计我们这条船会沉的。听完一船领导讲话,终于开始吃饭了。

菜上来了都,可居然没啥可吃的,看着领导大快朵颐终于明白另外一桌同事的幸运了,我们这一桌都装进船里了。

这个世界有些人对于名声很看重,有些人对于做了什么事很看重,有些人看的是过去,有些人看的是未来。看过去的比较简单,但是对于这个我们还是要有自己的判断,听这听那最终做决定的还是你自己。而对于未来那更是困难。如果根据过去来把握未来这个是十分十分困难的事情。

这一条船到底沉不沉不光看船好不好,更重要的是船员好不好。泰坦尼克号这个船够好了吧,可最后还是沉了。Yahoo!在多年以前多么的风光无限,可虽然还没沉可也已经千疮百孔了。

阅读全文 »

来北京第一次参加这样的论坛。
早上来的时候比较晚了,听的时候已经是中移动研究院院长开始讲了,还好微软还没开始。去之间虽然群里有人说去,但是到了那里我一个人也不认识。
转入正题,上午的流程主要是几个大佬在那边海聊,讲的内容基本跟现实差别很大,特别是微软的2个video,那个在国内基本不可能在最近几年实现。而所谓的圆桌会议好像是上课问答。

图像035

图像036

下午的内容可能更实用些,比如第一个是清华内部的GFS系统,ctrix对于xen的处理,emc对于vmware未来的一个态度,idc对于云技术的未来趋势的判断。
清华内部的GFS系统,其实应该就是HDFS+bigtable,在清华的这个GFS系统中分别被称为carrier和corsair。 不知道清华是否对这个东西进行开源呢。在这个企业级的存储方案中做到了可靠性,实时性以及部门共享性。对于这个部门共享性我是比较喜欢的,这样确是可以节约大量的无意义的空间,但是这当中如何识别是否相同,如何进行共享我还没仔细思考过,这位老兄也没有说。还有一个是关键的分布式数据库叫minsia,不知道跟bigtable比起来如何,或者跟市面上很多的Key/value数据库比起来呢。
在crtix的演讲中主要是2点,一个是免费,xenserver5.5是免费的。另外一个是存储和计算分离。这个我觉得还是得看实际情况来做,一旦分离那计算过程中大量的时间是否会花在了传输上。
emc一直是一家以存储为主业的公司,直到收购了vmware之后感觉才有点变化。虽然很久之前我认为emc就是做显示器的。这个演讲有2个重点,一个是vmware已经在一个物理机上虚拟出多个虚拟机上取得了很大的进步,以后的方向是如何把多个物理机虚拟成一个虚拟机上做出同样大的进步。其实这个我个人觉得是非常有意义的。另外一个是分析了作为系统维护人员的一些日常工作,以及云技术如何提升系统维护。
后面还有中科院计算所的研究员讲了如何从延迟,处理能力,GAP,message这4个方面进行评估,以及一个DVMM的分布式虚拟机监控。而INTEL中国的这位老兄也只是介绍了下intel的icloud分布式文件系统,已经最新的xeon芯片对于云技术的推进。idc的周研究员是分析了亚洲市场对于云技术的态度,以及客户最看重云技术

哪些方面,未来可能成为云计算服务领头企业的几个特性。
最后一位登场的是一位留学美国并在那里做研究的戴元顺博士。基于他现在所参与的一个系统的相关内容,如何从资源共享走向服务共享。以及云计算的核心是虚拟网格+透明计算+工作流管理。也就是云计算的几个关键部分:云服务管理,服务安全性和访问控制,服务调度和队列利用。他的Mail在

http://directory.utk.edu/show.jsp?dn=uid%3Dydai1%2Cou%3DPeople%2Cou%3DKnoxville%2Cdc%3Dtennessee%2Cdc%3Dedu 可以完全找到。
对于云技术,我并不是很清楚它跟分布式计算有何区别,所以上述内容只是泛泛而听。所有内容都没经过我自己加工过,也许是自己的眼界还不够远,只是盯着面前的这些。

阅读全文 »

百度面试,由于之前跟另外一个有冲突,于是就延后2周才进行了一次面试。
我一直以为他们在理想国际,原来已经到了旁边的普天大厦了。进去就跟金山一样层层设防,层层签名,还好记得了人事小姐的分机号,不然估计都进不了大门了。

图像033
前台就像一个公司的门面一样,感觉冷了点,前台也很冷,但是环境不错,来的时候看到后勤人员正在切很多西瓜和洗很多梨,当然这些都没我的份,这里又不是迪斯尼。
面试就在一个开放的场所进行的,旁边是假山和小水池。面试我的应该是运维部的头头徐婉,只能说是小妹,因为人家是84年出生的,这人跟人的差距还真是大啊,我一个83年的还没人家84的强呢,忽然想到前几日有个90后的小朋友因为要去SOHU面试问了我一些问题,现在的孩子真行。
面试自然是拿着简历一个个问,当然我这真实的简历自然没得挑了,但是面试过程中我就发现了一个问题,我以前一直做的是系统运维,但是百度需要的是产品运维,需要对某个产品有总体的概念。而我以前可能做的只能是偏重系统层面的,特别是在PPLIVE,因为要接触的产品特别多,所以没法都能兼顾,只能做到系统层面。而madhouse也许还跟产品运维更靠近些,因为madhouse共3个产品,而我更偏重其中2个,而一旦这2个有相关问题大家刚开始还是会找到我,当然也会找到我们徐老大。
面试出来我就觉得没戏了,毕竟方向并不是完全相同,但是能来一下也是挺不错的。

后记:后来跟徐婉在msn也聊到过这个问题,果然是这个原因,只能希望以后还能有进百度咯。最近他们招一些分布式文件系统的管理人员,有熟悉GFS或者HDFS的朋友完全可以去试试。还有面试的时候最好主动,由于我比较内向,所以刚认识的人不会说很多,大家面试的时候应该把自己最擅长的方面说下,而我面试的时候徐婉就问到我其中一处就是NGINX,而监控和报警这块根本没有问到,这些应该要主动说出来,这样会让你更竞争力。

前几周去了金山面试,是在金山在上地的新办公大楼,周围还是比较荒凉的感觉。到了那里直接跟前台小姐说了来面试的,于是帮我找了相关的人就上去了,还是很有亲和力的。
言归正传,面试的时候对面是2个面试官,一位是很多搞系统工程师的人都认识的张宴,另外一位逍遥网的技术老大张鹏翼了。
一开始就是随便聊到工作经历啥的。主要看你以前工作中涉及到哪些问题。当然我以前工作就一个WEB源站和报警监控系统。
对于我的问题主要有如下2个感觉回答不好,第一个是mysql slave中的SQL进程和I/O进程分别代表着什么。我基本的思路是跟FTP协议一样,一个是信号控制,另外一个是数据传递。但是我并确定,所以直接回答的是不知道。现在想想当初应该把自己的想法说下的再说不知道后。回家查了下资料,I/O是用来跟master之间进行信号控制的,而SQL进行更新MYSQL数据的。
另外一个是MYSQL HA的问题,这个我确实之前没有做过。所以一点头绪都没有。但是我还是想到了MYSQL有一个主-主模式。如果这个主-主模式的数据库机器之间是做HA的,那感觉主-主模式还是可以实现mysql HA功能的。但是主-主模式真的能保证2个mysql之间完全的同步吗?虽然发生不同步的情况几乎很少发生,但是在理论上还是会发生,比如同步有延时导致的2边数据库不完全同步。回家查了下资料是有这方面的软件,比如mysql-ha,或者google开发的replication semi-sync patch都能实现这样的功能。还有一个我们手动的检测方法是,每次主数据库进行了update或者insert以及create相关操作后再另外一台主上进行相应的查询。
接下来就是cacti方面的问题,这些都没什么难度,毕竟之前对cacti也是有过深入了解的。
其实一般面试官从来不会要求面试者能够全部回答出所有的问题,对于回答不出的问题只需要调整下思路,说出自己的看法来就成。很多问题很多时候我们就算知道它的答案,也未必知道它的原因,这样缺乏了一个思考的过程,这样我们的大脑就跟硬盘没有区别了。

后记:金山面试一般为3轮,第一轮为技术,第二轮为人事,第三轮为BOSS。主要是第一轮为主,后面2轮只要你人品没啥问题就基本OK的。金山的薪水水平算是中等,但是里面技术氛围应该挺不错的。

跟pplive说再见了,虽然这是在计划之内的事情,但是当真的来临的时候还是有点落寞。不管是我跟它说再见还是它跟我说再见,但是结果都是相同的。中午跟部门同事(tom,晓京,边疆)聚餐了一顿了,但是钟老大不在,这实在是遗憾。

记得上一次离开madhouse的时候心情跟这次有所不同,那时候大家是一起走的,连分手饭都吃了3顿。上一次离开之后就去北京玩了一个星期,而这次要去厦门度假,这样想生活还是挺不错的。

北京我来了,我到底准备好了没?一个更广阔的空间。但是原先在上海的这些联系可都没有了。老于当爸爸了,每天就在家耍儿子玩。

bobo永在–观music radio颁奖晚会后记
前日跟宝贝老婆去看music radio颁奖晚会。
这是我第一次观看演唱会性质的晚会。提早1个半小时入场的,外面人挺多,都是些学生模样的人,黄牛基本没有,看来这1280的门票想脱手还是比较难的,那我还是乖乖陪老婆看吧。
起这个标题是因为坐在我周围的一个女生的原因,这个后面会说到的。坐在我左边的1位应该是媒体人士,拿着那么专业的照相机来的。我们的位置也还不错。
在晚会快开始的时候现场气氛终于起来的,大多是举着各个歌手名字的LED显示牌。看来LED显示技术现在用的最多还没到电视上,这种小东西上倒是很早的运用起来了,而且我观察了下基本都是上海某公司生产的,但是很显然这些人都没被好好的组织起来,虽然各类歌迷大多坐在一起,但是LED显示牌还是各管各的,其实要跟奥运会现场那样组织好多少,比如一个大的“井”字由每个人手里的LED显示牌上的“井”字组合起来多好。
cimg5364
现场气氛不可谓不隆重,明星不可谓不大牌。但总感觉缺点什么。
首先一点是晚会开始后还有很多人在继续入场着,这样非常影响现场的气氛以及坐在前面的观众的观看,虽说音乐主要是靠听,但是既然来了现场的话肯定会关注看和感受现场的气氛。
其次是技术不合格。一个是现场音响效果比较差,很多时候话筒出来的声音都感到刺耳。而王力宏唱歌的时候居然话筒那么久都没声音,这算怎么一回事,最后也没给大家一个交待。
最后说说bobo永在吧。
每次bobo组合出现的时候,周围那个在bobo的小女孩总是一个人声嘶力竭的喊:“bobo永在。”听了让我感觉很是诧异,人家不是在上面好好的在演唱,你叫这个干吗呢?至少我是不明白她叫的真实意思。看来我跟这帮小孩子还是有了很大的差距了,虽然当我听到信在演唱的时候我也会跟着努力的唱着,但并不会去喊那么多的口号。也许是我内向的性格造成这样的,也许是我能控制住自己了,也许我已经把音乐把歌星当作是生活的一个调剂品了。
心理学上把这种追星族的心理看作是一种不良的心理状态,这种心理状态的产生主要是由于他们在生活中其他地方找不到自己的目标和追求,于是就把追星作为自己的目标和追求。但是我觉得很难说这是一种不良的心理状态,毕竟追星没有影响到我们其他人。而在没有其他生活目标和追求的时候追追星未尝不可。但是我觉得我们的明星这时候应该更有导向性,给予这些追星族很好的指引,而不是成为一个单纯的赚钱机器。

看话剧
要不是老婆有赠票,我想我也不会自己去买票看这个,其实电影对我来说一样。
剧名叫《将话剧进行到底》,票上写着是荒诞严肃剧。老实说我不明白啥叫又荒诞又严肃。
说说看的过程
一开始是在幕布上显示了话剧的整个历史过程,这一过程很无聊,难道这就是所谓的严肃?
第二部分基本是在现实和虚幻中来回穿梭的过程,大段大段的个人独白。男女主角一会儿在现实中,一会儿再剧本中,但是从头到底都没有一个线索联系起来。至少在这个时候我是看的比较累的。而这过程中无数中突然冒出可笑的台词来,非要把《天鹅湖》作者柴可夫斯基说成卡巴斯基,难道这样仅仅为了突出你们的幽默还是为了迎合观众呢?如果观众为了看这个,那不如去看郭德纲了。上半场最后突然冒出一个观众出来表演,这个还是很有新意的,替所有观众BS了这样的话剧。
下半场表示了一个话剧演绎的过程,涉及到商业利益的纠葛。于是一些垃圾话剧是如何排演出来的。而对于剧作家和导演以及各种利益纠葛我是没啥兴趣。因为该剧自己就在里面嵌入了各种广告,比如XX快餐,xx保险,xx包。
老婆说这个话剧是她看的最有深度的,说是可以带来思考,而这种思考就是艺术面对商业利益的时候如何做好平衡。但是更大的思考是任何事情都是互相权衡的过程,要真要那么纯粹的东西,那往往都是小众的产品,对于面向大众的产品,绝对是要权衡大家需求和个人需求后的产物。对于剧中的剧作家最后的呐喊我无动于衷,改变世界或者改变自己也就是这两种选择。
我不懂话剧,话剧跟电影的不同就是话剧我们看到的是真人,而这个真人跟电影的最大不同就是真人需要跟现场观众有所互动,不然观众一样在下面被动的看,那为什么不去看一部大片呢? 难道话剧仅仅是没钱人的电影吗? 当然不应该是这样的。

今天去sohu面试了一个新技术研究工程师职位。看这个名字就知道这个肯定是新设定的部门,所以招人肯定会比较多。面试官就一个人,这个我比较喜欢,我可不喜欢对面坐着一排7-8个人这样的面试。
果然在我之前已经很多人来过面试了,我只能算是这其中小小的一个。
说下职位的要求,方向有2个,一个是偏向系统本身的也就是面试官说的硬件,另外一个是系统软件也就是面试官说的软件。其实个人感觉这2个都属于软件,一个是系统软件,一个应用软件。以后所做的就是搭建、测试和优化整个架构的过程。sohu对于这个职位是想招点高手过来,越高越好,上不封顶。
今天这位面试官倒是很实在,跟TOM很像。是根据是熟悉哪些来问的,而不像有些人看你不熟悉哪些就问哪些来满足自己的虚荣心。
由于一直做WEB源站,所以第一个问题就是http1.0和http1.1有什么区别,老实说我这个只知道http1.0不支持压缩,而http1.1支持,因为squid2和squid3最大的区别就是支持http1.0还是支持http1.1。
以下资料是参考互联网文档后的解释:
http1.0是hop-to-hop的协议仅对简单的传输层连接有意义,不被缓存,也不被代理服务器向前传递。为每个要下载的对象,如图片、声音等都创建一个单独的tcp链接。
http1.1是host-to-host的协议,为所有的对象创建同一个链接,传输效率较高。HTTP 1.1 还通过增加更多的请求头和响应头来改进和扩充HTTP 1.0 的功能。还提供了与身份认证、状态管理和Cache缓存等机制相关的请求头和响应头。

第二个问题是问我熟悉不熟悉shell,我说我只能算是基础熟悉吧,毕竟水平还只是停留在while和if以及命令的叠加上。于是他问我如何取出IP地址,我本以为的

意思如何从ifconfig中得到IP地址,那应该是如下


ifconfig eth0|grep "inet addr"|awk '{print $2}'|awk -F : '{print $2}'

但后来发现并不是这样的,是从一堆文件中如何找出IP地址,那我的思路首先是IP地址分为4段,当中以.分割,同时每段最大为255。思路理清后就用如下的命令来找出


grep "\[0-255\].\[0-255\].\[0-255\].\[0-255\]" file

但是其实这样也只是从文件中找出含有IP地址的那一行而已
第三个问题是mysql的。问:mysql主从复制是加密的吗? 答:mysql主从复制是支持ssl加密的,但是一般是不用的。show slave status是可以看到相关ssl设置的,所以可见它肯定是支持的。问: mysql数据传输是加密的还是不加密的,答:是不加密的,因为我认为Mysql传输是通过bin-log来传递的,而打开bin-log文件也没有被加密过,打开也是明文的,这当中应该是没有任何加密措施的。回家后找了下相关资料发现也是可以进行ssl加密的,只要在语句后面加入REQUIRE SSL就可以了,比如

阅读全文 »
0%