The Mirages

本周由于机器迁移，结果一台迁移后发现很多服务不能正常启动，用户登录也是login后会快速的logout。第一反应是文件系统损坏了。 但是首要任务还是要进入系统，于是我使劲的回忆着以前是否有相同的现象发生过，突然想起来以前在madhouse的时候一台内网freebsd机器也出现过类似的问题。那次文件的问题是tcsh出现了问题，后来改成sh后进入系统后重新安装了tcsh就好了，但是至于是什么原因，应该是就是文件系统在重启的时候给损坏了。 于是这次我想用同样的方式来进行，但是进入单用户模式后更改root的shell在登录发现还是同样的情况。那看来估计是硬盘损坏了，于是用了Livecd上的磁盘检测工具进行检测，但是时间太长就放弃了。 这个服务器不能启动对于内网测试来说是重大的打击，上面所有静态文件和数据库都在上面呢，还有邮件和dns服务呢。没有办法，没有任何备份，于是只能一点点从公网上进行恢复下来，这个几乎花了我一天多的时间全都在整这个事情。那块硬盘就交给专业数据恢复公司进行恢复了。本来说好当天就可以的，结果给我弄了2天还没好，于是一狠心就要回来自己弄了。 要说这些专业数据恢复公司也就只能恢复恢复windows下的数据，而对于Linux下的分区基本也算是新手。 星期五一早硬盘回来了，网上搜索了会。 首先是把硬盘挂在到一个Linux系统，我自己是UBUNTU，所以直接挂上启动机器就行。这个时候要注意硬盘的启动顺序，这个在新的BIOS里都可以自己设定，但是一些老的机器的BIOS可能都得靠硬盘跳线来完成启动顺序的选择了，具体可以参考硬盘上的说明。 进入系统后先不要进行mount，我们先用fsck对分区进行扫描修复。

1

fsck -y /dev/sdb1

这里的sdb1就是我那块坏掉的硬盘的根分区。如果你不能确定的话直接用

1

fdisk -l 

来进行查看就行了。 接着就进行一次模拟分区

1

mkfs.ext3 -n /dev/sda1 

关于办网站的，稳定性是高于一切的标准。无法保存好客户的数据那是天大的罪孽。
我在05年曾经在一个叫blogcup的网站上写BLOG，经常写，所以回复和文章都挺多的，结果有一天突然跟我说这个网站挂了，关闭了，于是我的那些BLOG也就打水漂了。从此我就再也不在小网站上留下数据了，blog也就搬迁到wordpress.com上了，虽然老是需要翻墙，虽然这样看的人就少了，但是至少我的数据很安全。wordpress.com有 7个loadbalance以及每个loadbalance后面那么realserver，这样我的数据等于保留了几十份了起码。
fanfou是国内一家模仿twitter的网站，是王兴开的，六四事件的时候挂了一段时间，那至少也显示正在维护中。可现在倒好，直接该页无法显示了。看来我上面那些数据估计是找不回来了。难道还真要我最后搬迁到twitter上去吗？ 中国真的最终目的是建立一个中华局域网吗？ 那样看来是真的要逼大家都去移民了。fanfou挂了，还好国内还有一个网站叫jiwai的，那就继续凑合着用吧。等哪天最终迁移到twitter吧。还好当初在fanfou上开通了fanfou到twitter，现在jiwai上也开通了jiwai到twitter的功能。
我可不想我的那么多数据毁于一旦。

urchin免费试用才1个月。过期了我的urchin，难道就不用了？ 难道就真去买了序列号了？
这urchin是装在我们自己的服务器上的，难道就真没办法免费继续试用了？ 于是找了下urchin的安装目录，楞是没找到相关的注册信息，那就一定是保存在数据库中的了。把数据库到处后搜索了下那个序列号，还真给找到了。

那就需要重新安装下urchin，安装方法之前已经有说过了，很容易的。这次安装主要是为了重新申请serial code而进行的。所以要选择不同的安装目录和启动端口。 这样安装完成后就按正常申请到试用序列号。通过数据库我们可以可以看到下列条目。主要内容是ucgl_serial:和ucgl_license: 这2行（经囚囚网首席DBA刘大牛提醒）。然后把这2行通过update在原来的urchin数据库中，那原来的urchin数据库就可以继续免费试用1个月了。不过最后还是得说记得操作前都做好备份，无论是urchin目录还是urchin数据库。

1

最近听了一次马路遥朋友的讲座，他的主题就是HPC，以下内容就是根据他的讲座整理而成的。
因为涉及到高可用计算，所以服务器与服务器之间的连接速度是很重要的。是选择千兆还是万兆还是infiniband，个人感觉还是选择万兆吧。毕竟延迟小是明摆着的事情。
服务器系统的安装也是一个问题，如何迅速的安装系统呢？ 用kickstart?可这个只能redhat系统下使用啊。马兄说了他使用的主要是SystemImage,和syncbased这2种方式。
如果用kickstart来安装系统，那要是每个机器需要修改的配置不同的话那可以用php/cgi的方式自定义各种ks.cfg
如何选择合适的系统，马兄由于习惯redhat的系统所以选择了centos，但是其实一些新的发行版还是真是不错，比如gentoo和ubuntu这2个，首先是内核新，其次是文件系统可选择余地大。
对于HPC来说选择一个合适的软件来进行任务管理和分配系统资源是很重要的，主要有以下几种
1 SGC: sun出品，稳定性优秀
2 openPBS,Torque 这个稳定性稍差点
3 L$F， 这个是商业软件，应该稳定性也非常优秀。

而对于这样一个庞大的系统和服务器集群做好监控是非常重要的，监控软件主要有以下几种：
1 ganglia
2 cacti
3 nagios
个人是最喜欢最后一种，客户端可供自定义的多。而前面2种就是基于snmp协议的，在内网中使用还是非常不错的选择。

管理软件，所谓的管理软件其实就是可以一次操作需要的服务器
1 pdsh 这个是多服务器管理
2 mussh 这个可以允许本地脚本在远程执行，这个应该是个不错的功能。不知道远程跟本地是通过什么进行连接的
3 cssh 这个是基于图形界面的，就好象在一个界面中开多个终端一样。这个曾经在redhat中使用过，可以自定义各种组和成员。
但是我觉得windows一些客户端也能完成上面的工作，比如xshell这样的工具，这样也可以自定义组和成员，也能一次操作对多个服务器进行生效。

既然是集群那时间同步是非常重要的，所以还要建立ntp服务器。

集群中所有服务器的认证也是非常头疼的，还好我们有NIS和openLDAP.
NIS我曾经在公司内部使用过，感觉需要在客户端上要修改挺多东西，而且不同Linux发行版本还修改的不同。openLDAP还没用过，但是听说非常好用，而且还不光能做服务器登录的认证还能做email认证等等。

在集群中不光有计算的服务器，还必须要有文件服务器，这个选择就很重要了
1 NFS： 常用，但是性能不怎么样，特别是client超过10个以上更是不行，同时不能支持对文件同时进行修改。于是衍生出了clusterFS, 这个就非常多了。
2 FressNAS: 基于FreeBSD操作系统的
3 openFilter： 基于Linux系统的
4 sun Lustre: 可以进行400台机器同时读写，这个太牛了。。。。
5 Redhat GFS： 这个不怎么好用，后面还得跟上SAN存储才行，这样成本就大了，除非你用netbsd实现SAN
6 PVFS/PVFS2

While的使用

 while read line do mysql ab -e "insert into filter values (null,'$line','xxxxxxxx','xxxxxxxx',1,8,1,1,188,'abc')" done = '"$sunday"%' and time >files/blog_we ek_num done fi done 

上面做了2次for语句，第一次表示i从1-7,而第二次a是从1-99.上面第一个for语句是为了查询今天是否为星期天而产生的。

要是shell里能进行很好的循环就好了。以及shell最不容易控制的就是’,”,这3个标点符号的区别。这个倒是比较简单，就是在shell里只是表示运行外部程序。”和’这个如果单独使用是没有任何问题的，但是一旦要配合使用就区分起来十分麻烦。

这个日志统计程序中总共用了500多行，先定义30个日期。这个要是能用循环就非常简单了。但是我还是用比较傻的一个个来进行定义。

 day=`date -d -1days +%F` day_1=`date -d -2days +%F` 

这里要是能够使用的数组来进行定义就非常简单了。

 for i in {2..30}
 do
   eval day_$i=`date -d -"$i"days +%F`
   eval echo $day_$i
done  

通过上面就可以进行循环定义了。

昨天从其它部门搞了一套统计程序过来。发现个问题，过了一段时间后我点任何链接都会给我重定向到首页登陆页中，但是看表象应该是已经登陆进去了。
问了下我们的开发，应该是session保持的问题。有修改web.xml文件就可以解决了，但是找了下web.xml中，里面已经包含了如下内容了

1
2
3
4
5
6
7
8
9
10
11

 -1 
```  
一般google搜索出来的永不过期都是这样的结果。而且这个系统在其它部门中使用中没有出现我这样的问题。看来应该是resin版本不同导致的了，他们是3.1，我们是3.0。继续放狗搜索才找到这个timeout配置还必须在servlet-mapping设置的后面。看来这种bug应该是3.1都修复了，之前的el表达式识别也是resin版本不同造成的应该。  
```c

 action *.do 
```  
```c

 -1 

qpoper是用来运行pop3服务的。由于我的邮件服务器是用postfix的。
按正常来说是可以用/etc/postfix/aliases这个文件来控制，用来aliase系统账户跟真实的邮件账户。这样可以一定得保护系统账户的安全。但是由于这次是用qpopper4.0.16这个最新版本，发现怎么都没法跟那个aliases文件进行连接。
qpoper安装很简单，但是奇怪的是还是要自己每次手动建立man8目录

 mkdir -p /usr/local/qpopper/man/man8/ 

但这次由于出了问题，所以只能是换种安装方式来进行了。

 ./configure --prefix=/usr/local/qpopper --enable-standalone --enable-auth-file=/etc/mailauth --enable-64-bit --disable-check-pw-max --enable-specialauth make make install 

上面的方式就是使用本地认证，然后可以允许的用户都是放在/etc/mailauth文件中进行限制。当然系统新建这个用户的时候请使用-s /sbin/nologin已防止来登录到系统中来。
启动：

 /usr/local/qpopper/sbin/popper qpopper -s 110 

Urchin是google收购的一个日志分析工具。界面跟google analytics是几乎完全一样的。但是google analytics每个月的统计只能在500W PV以内，这个对于稍微有点规模的网站是不可忍受的。所以我们还是需要自己来架设一个urchin 首先需要下载一个urchin6501_linux2.6_kernel.tar.gz 这个是根据自己monitor的系统版本来进行确定的。然后还需要有一个mysql或者postgresql 创建相应的数据库和数据库用户。这里数据库名为urchin，数据库账户为urchin，urchin的账户密码为urchinapassword, urchin账户拥有urchin库的all权限。

root@monitor# mysql -u root -p mysql> create database urchin character set utf8; mysql> GRANT ALL ON urchin.* to 'urchin'@'10.2.%' IDENTIFIED BY 'urchinpassword';

接着使用程序目录下的install.sh脚本进行安装，这里主要是选择安装目录，数据库配置连接等等。

 ./install.sh 

安装完成后就可以通过下列网址查看urchin

 http://yourserver: 

虽然去过各种各样的公司，除了公司年会就再也没跟公司老板吃过饭，这次居然有幸跟沉一船吃饭，那真是三生有幸。以前最大也就跟CTO一起吃饭，比如nelson huang和james shen这两位CTO，基本算是欢迎部门新员工或者是领导刚到任的接风会。

吃饭那天天气晴朗，气温十分的高，吃饭时间是临近12点45分了，各位领导就坐，我十分“有幸”跟领导一桌，另外几位同志就没那么好的运气了，非常乖巧的先占了一桌。就坐完领导开始自己点菜了，当然我本人连菜谱都没摸到，也许领导是熟门熟路的主。点完菜有一点空余时间，一船老大可能十分高兴，于是直接就站在凳子上跟大家喊话。

话说我军是第二支杀入日本战场的部队，前面一支先锋队叫百度。不过还好2支队伍是2条战线的。那各自也算是先遣队。但是能在国外过活的网站能有多少呢？能在中国生存的国外网站有多少呢？所以一些叫本地化的知识还是很管用的。沉一船估计我们这条船会沉的。听完一船领导讲话，终于开始吃饭了。

菜上来了都，可居然没啥可吃的，看着领导大快朵颐终于明白另外一桌同事的幸运了，我们这一桌都装进船里了。

这个世界有些人对于名声很看重，有些人对于做了什么事很看重，有些人看的是过去，有些人看的是未来。看过去的比较简单，但是对于这个我们还是要有自己的判断，听这听那最终做决定的还是你自己。而对于未来那更是困难。如果根据过去来把握未来这个是十分十分困难的事情。

这一条船到底沉不沉不光看船好不好，更重要的是船员好不好。泰坦尼克号这个船够好了吧，可最后还是沉了。Yahoo！在多年以前多么的风光无限，可虽然还没沉可也已经千疮百孔了。