The Mirages

樱桃沟夹事

要是shell里能进行很好的循环就好了。以及shell最不容易控制的就是’,”,这3个标点符号的区别。这个倒是比较简单,就是在shell里只是表示运行外部程序。”和’这个如果单独使用是没有任何问题的,但是一旦要配合使用就区分起来十分麻烦。

这个日志统计程序中总共用了500多行,先定义30个日期。这个要是能用循环就非常简单了。但是我还是用比较傻的一个个来进行定义。

 day=`date -d -1days +%F` day_1=`date -d -2days +%F` 

这里要是能够使用的数组来进行定义就非常简单了。

 for i in {2..30}
 do
   eval day_$i=`date -d -"$i"days +%F`
   eval echo $day_$i
done  

通过上面就可以进行循环定义了。

阅读全文 »

昨天从其它部门搞了一套统计程序过来。发现个问题,过了一段时间后我点任何链接都会给我重定向到首页登陆页中,但是看表象应该是已经登陆进去了。
问了下我们的开发,应该是session保持的问题。有修改web.xml文件就可以解决了,但是找了下web.xml中,里面已经包含了如下内容了

1
2
3
4
5
6
7
8
9
10
11

-1
```
一般google搜索出来的永不过期都是这样的结果。而且这个系统在其它部门中使用中没有出现我这样的问题。看来应该是resin版本不同导致的了,他们是3.1,我们是3.0。继续放狗搜索才找到这个timeout配置还必须在servlet-mapping设置的后面。看来这种bug应该是3.1都修复了,之前的el表达式识别也是resin版本不同造成的应该。
```c

action *.do
```
```c

-1

qpoper是用来运行pop3服务的。由于我的邮件服务器是用postfix的。
按正常来说是可以用/etc/postfix/aliases这个文件来控制,用来aliase系统账户跟真实的邮件账户。这样可以一定得保护系统账户的安全。但是由于这次是用qpopper4.0.16这个最新版本,发现怎么都没法跟那个aliases文件进行连接。
qpoper安装很简单,但是奇怪的是还是要自己每次手动建立man8目录

 mkdir -p /usr/local/qpopper/man/man8/ 

但这次由于出了问题,所以只能是换种安装方式来进行了。

 ./configure --prefix=/usr/local/qpopper --enable-standalone --enable-auth-file=/etc/mailauth --enable-64-bit --disable-check-pw-max --enable-specialauth make make install 

上面的方式就是使用本地认证,然后可以允许的用户都是放在/etc/mailauth文件中进行限制。当然系统新建这个用户的时候请使用-s /sbin/nologin已防止来登录到系统中来。
启动:

 /usr/local/qpopper/sbin/popper qpopper -s 110 
阅读全文 »

Urchin是google收购的一个日志分析工具。界面跟google analytics是几乎完全一样的。但是google analytics每个月的统计只能在500W PV以内,这个对于稍微有点规模的网站是不可忍受的。所以我们还是需要自己来架设一个urchin 首先需要下载一个urchin6501_linux2.6_kernel.tar.gz 这个是根据自己monitor的系统版本来进行确定的。然后还需要有一个mysql或者postgresql 创建相应的数据库和数据库用户。这里数据库名为urchin,数据库账户为urchin,urchin的账户密码为urchinapassword, urchin账户拥有urchin库的all权限。

root@monitor# mysql -u root -p mysql> create database urchin character set utf8; mysql> GRANT ALL ON urchin.* to 'urchin'@'10.2.%' IDENTIFIED BY 'urchinpassword';

接着使用程序目录下的install.sh脚本进行安装,这里主要是选择安装目录,数据库配置连接等等。

 ./install.sh 

安装完成后就可以通过下列网址查看urchin

 http://yourserver: 
阅读全文 »

虽然去过各种各样的公司,除了公司年会就再也没跟公司老板吃过饭,这次居然有幸跟沉一船吃饭,那真是三生有幸。以前最大也就跟CTO一起吃饭,比如nelson huang和james shen这两位CTO,基本算是欢迎部门新员工或者是领导刚到任的接风会。

吃饭那天天气晴朗,气温十分的高,吃饭时间是临近12点45分了,各位领导就坐,我十分“有幸”跟领导一桌,另外几位同志就没那么好的运气了,非常乖巧的先占了一桌。就坐完领导开始自己点菜了,当然我本人连菜谱都没摸到,也许领导是熟门熟路的主。点完菜有一点空余时间,一船老大可能十分高兴,于是直接就站在凳子上跟大家喊话。

话说我军是第二支杀入日本战场的部队,前面一支先锋队叫百度。不过还好2支队伍是2条战线的。那各自也算是先遣队。但是能在国外过活的网站能有多少呢?能在中国生存的国外网站有多少呢?所以一些叫本地化的知识还是很管用的。沉一船估计我们这条船会沉的。听完一船领导讲话,终于开始吃饭了。

菜上来了都,可居然没啥可吃的,看着领导大快朵颐终于明白另外一桌同事的幸运了,我们这一桌都装进船里了。

这个世界有些人对于名声很看重,有些人对于做了什么事很看重,有些人看的是过去,有些人看的是未来。看过去的比较简单,但是对于这个我们还是要有自己的判断,听这听那最终做决定的还是你自己。而对于未来那更是困难。如果根据过去来把握未来这个是十分十分困难的事情。

这一条船到底沉不沉不光看船好不好,更重要的是船员好不好。泰坦尼克号这个船够好了吧,可最后还是沉了。Yahoo!在多年以前多么的风光无限,可虽然还没沉可也已经千疮百孔了。

阅读全文 »

来北京第一次参加这样的论坛。
早上来的时候比较晚了,听的时候已经是中移动研究院院长开始讲了,还好微软还没开始。去之间虽然群里有人说去,但是到了那里我一个人也不认识。
转入正题,上午的流程主要是几个大佬在那边海聊,讲的内容基本跟现实差别很大,特别是微软的2个video,那个在国内基本不可能在最近几年实现。而所谓的圆桌会议好像是上课问答。

图像035

图像036

下午的内容可能更实用些,比如第一个是清华内部的GFS系统,ctrix对于xen的处理,emc对于vmware未来的一个态度,idc对于云技术的未来趋势的判断。
清华内部的GFS系统,其实应该就是HDFS+bigtable,在清华的这个GFS系统中分别被称为carrier和corsair。 不知道清华是否对这个东西进行开源呢。在这个企业级的存储方案中做到了可靠性,实时性以及部门共享性。对于这个部门共享性我是比较喜欢的,这样确是可以节约大量的无意义的空间,但是这当中如何识别是否相同,如何进行共享我还没仔细思考过,这位老兄也没有说。还有一个是关键的分布式数据库叫minsia,不知道跟bigtable比起来如何,或者跟市面上很多的Key/value数据库比起来呢。
在crtix的演讲中主要是2点,一个是免费,xenserver5.5是免费的。另外一个是存储和计算分离。这个我觉得还是得看实际情况来做,一旦分离那计算过程中大量的时间是否会花在了传输上。
emc一直是一家以存储为主业的公司,直到收购了vmware之后感觉才有点变化。虽然很久之前我认为emc就是做显示器的。这个演讲有2个重点,一个是vmware已经在一个物理机上虚拟出多个虚拟机上取得了很大的进步,以后的方向是如何把多个物理机虚拟成一个虚拟机上做出同样大的进步。其实这个我个人觉得是非常有意义的。另外一个是分析了作为系统维护人员的一些日常工作,以及云技术如何提升系统维护。
后面还有中科院计算所的研究员讲了如何从延迟,处理能力,GAP,message这4个方面进行评估,以及一个DVMM的分布式虚拟机监控。而INTEL中国的这位老兄也只是介绍了下intel的icloud分布式文件系统,已经最新的xeon芯片对于云技术的推进。idc的周研究员是分析了亚洲市场对于云技术的态度,以及客户最看重云技术

哪些方面,未来可能成为云计算服务领头企业的几个特性。
最后一位登场的是一位留学美国并在那里做研究的戴元顺博士。基于他现在所参与的一个系统的相关内容,如何从资源共享走向服务共享。以及云计算的核心是虚拟网格+透明计算+工作流管理。也就是云计算的几个关键部分:云服务管理,服务安全性和访问控制,服务调度和队列利用。他的Mail在

http://directory.utk.edu/show.jsp?dn=uid%3Dydai1%2Cou%3DPeople%2Cou%3DKnoxville%2Cdc%3Dtennessee%2Cdc%3Dedu 可以完全找到。
对于云技术,我并不是很清楚它跟分布式计算有何区别,所以上述内容只是泛泛而听。所有内容都没经过我自己加工过,也许是自己的眼界还不够远,只是盯着面前的这些。

阅读全文 »

百度面试,由于之前跟另外一个有冲突,于是就延后2周才进行了一次面试。
我一直以为他们在理想国际,原来已经到了旁边的普天大厦了。进去就跟金山一样层层设防,层层签名,还好记得了人事小姐的分机号,不然估计都进不了大门了。

图像033
前台就像一个公司的门面一样,感觉冷了点,前台也很冷,但是环境不错,来的时候看到后勤人员正在切很多西瓜和洗很多梨,当然这些都没我的份,这里又不是迪斯尼。
面试就在一个开放的场所进行的,旁边是假山和小水池。面试我的应该是运维部的头头徐婉,只能说是小妹,因为人家是84年出生的,这人跟人的差距还真是大啊,我一个83年的还没人家84的强呢,忽然想到前几日有个90后的小朋友因为要去SOHU面试问了我一些问题,现在的孩子真行。
面试自然是拿着简历一个个问,当然我这真实的简历自然没得挑了,但是面试过程中我就发现了一个问题,我以前一直做的是系统运维,但是百度需要的是产品运维,需要对某个产品有总体的概念。而我以前可能做的只能是偏重系统层面的,特别是在PPLIVE,因为要接触的产品特别多,所以没法都能兼顾,只能做到系统层面。而madhouse也许还跟产品运维更靠近些,因为madhouse共3个产品,而我更偏重其中2个,而一旦这2个有相关问题大家刚开始还是会找到我,当然也会找到我们徐老大。
面试出来我就觉得没戏了,毕竟方向并不是完全相同,但是能来一下也是挺不错的。

后记:后来跟徐婉在msn也聊到过这个问题,果然是这个原因,只能希望以后还能有进百度咯。最近他们招一些分布式文件系统的管理人员,有熟悉GFS或者HDFS的朋友完全可以去试试。还有面试的时候最好主动,由于我比较内向,所以刚认识的人不会说很多,大家面试的时候应该把自己最擅长的方面说下,而我面试的时候徐婉就问到我其中一处就是NGINX,而监控和报警这块根本没有问到,这些应该要主动说出来,这样会让你更竞争力。

前几周去了金山面试,是在金山在上地的新办公大楼,周围还是比较荒凉的感觉。到了那里直接跟前台小姐说了来面试的,于是帮我找了相关的人就上去了,还是很有亲和力的。
言归正传,面试的时候对面是2个面试官,一位是很多搞系统工程师的人都认识的张宴,另外一位逍遥网的技术老大张鹏翼了。
一开始就是随便聊到工作经历啥的。主要看你以前工作中涉及到哪些问题。当然我以前工作就一个WEB源站和报警监控系统。
对于我的问题主要有如下2个感觉回答不好,第一个是mysql slave中的SQL进程和I/O进程分别代表着什么。我基本的思路是跟FTP协议一样,一个是信号控制,另外一个是数据传递。但是我并确定,所以直接回答的是不知道。现在想想当初应该把自己的想法说下的再说不知道后。回家查了下资料,I/O是用来跟master之间进行信号控制的,而SQL进行更新MYSQL数据的。
另外一个是MYSQL HA的问题,这个我确实之前没有做过。所以一点头绪都没有。但是我还是想到了MYSQL有一个主-主模式。如果这个主-主模式的数据库机器之间是做HA的,那感觉主-主模式还是可以实现mysql HA功能的。但是主-主模式真的能保证2个mysql之间完全的同步吗?虽然发生不同步的情况几乎很少发生,但是在理论上还是会发生,比如同步有延时导致的2边数据库不完全同步。回家查了下资料是有这方面的软件,比如mysql-ha,或者google开发的replication semi-sync patch都能实现这样的功能。还有一个我们手动的检测方法是,每次主数据库进行了update或者insert以及create相关操作后再另外一台主上进行相应的查询。
接下来就是cacti方面的问题,这些都没什么难度,毕竟之前对cacti也是有过深入了解的。
其实一般面试官从来不会要求面试者能够全部回答出所有的问题,对于回答不出的问题只需要调整下思路,说出自己的看法来就成。很多问题很多时候我们就算知道它的答案,也未必知道它的原因,这样缺乏了一个思考的过程,这样我们的大脑就跟硬盘没有区别了。

后记:金山面试一般为3轮,第一轮为技术,第二轮为人事,第三轮为BOSS。主要是第一轮为主,后面2轮只要你人品没啥问题就基本OK的。金山的薪水水平算是中等,但是里面技术氛围应该挺不错的。

跟pplive说再见了,虽然这是在计划之内的事情,但是当真的来临的时候还是有点落寞。不管是我跟它说再见还是它跟我说再见,但是结果都是相同的。中午跟部门同事(tom,晓京,边疆)聚餐了一顿了,但是钟老大不在,这实在是遗憾。

记得上一次离开madhouse的时候心情跟这次有所不同,那时候大家是一起走的,连分手饭都吃了3顿。上一次离开之后就去北京玩了一个星期,而这次要去厦门度假,这样想生活还是挺不错的。

北京我来了,我到底准备好了没?一个更广阔的空间。但是原先在上海的这些联系可都没有了。老于当爸爸了,每天就在家耍儿子玩。

bobo永在–观music radio颁奖晚会后记
前日跟宝贝老婆去看music radio颁奖晚会。
这是我第一次观看演唱会性质的晚会。提早1个半小时入场的,外面人挺多,都是些学生模样的人,黄牛基本没有,看来这1280的门票想脱手还是比较难的,那我还是乖乖陪老婆看吧。
起这个标题是因为坐在我周围的一个女生的原因,这个后面会说到的。坐在我左边的1位应该是媒体人士,拿着那么专业的照相机来的。我们的位置也还不错。
在晚会快开始的时候现场气氛终于起来的,大多是举着各个歌手名字的LED显示牌。看来LED显示技术现在用的最多还没到电视上,这种小东西上倒是很早的运用起来了,而且我观察了下基本都是上海某公司生产的,但是很显然这些人都没被好好的组织起来,虽然各类歌迷大多坐在一起,但是LED显示牌还是各管各的,其实要跟奥运会现场那样组织好多少,比如一个大的“井”字由每个人手里的LED显示牌上的“井”字组合起来多好。
cimg5364
现场气氛不可谓不隆重,明星不可谓不大牌。但总感觉缺点什么。
首先一点是晚会开始后还有很多人在继续入场着,这样非常影响现场的气氛以及坐在前面的观众的观看,虽说音乐主要是靠听,但是既然来了现场的话肯定会关注看和感受现场的气氛。
其次是技术不合格。一个是现场音响效果比较差,很多时候话筒出来的声音都感到刺耳。而王力宏唱歌的时候居然话筒那么久都没声音,这算怎么一回事,最后也没给大家一个交待。
最后说说bobo永在吧。
每次bobo组合出现的时候,周围那个在bobo的小女孩总是一个人声嘶力竭的喊:“bobo永在。”听了让我感觉很是诧异,人家不是在上面好好的在演唱,你叫这个干吗呢?至少我是不明白她叫的真实意思。看来我跟这帮小孩子还是有了很大的差距了,虽然当我听到信在演唱的时候我也会跟着努力的唱着,但并不会去喊那么多的口号。也许是我内向的性格造成这样的,也许是我能控制住自己了,也许我已经把音乐把歌星当作是生活的一个调剂品了。
心理学上把这种追星族的心理看作是一种不良的心理状态,这种心理状态的产生主要是由于他们在生活中其他地方找不到自己的目标和追求,于是就把追星作为自己的目标和追求。但是我觉得很难说这是一种不良的心理状态,毕竟追星没有影响到我们其他人。而在没有其他生活目标和追求的时候追追星未尝不可。但是我觉得我们的明星这时候应该更有导向性,给予这些追星族很好的指引,而不是成为一个单纯的赚钱机器。

0%