The Mirages

樱桃沟夹事

本文是「kafka权威指南」的第三章笔记。

在设置生产者之前我们先看看整个生产者到kafka broker的流程是怎么样的。

这个图是原文里的。

可以看到一个标准的ProducerRecord是必须要包含Topic和Value,然后Partition和Key是可选的。

从图中也可以看到,生产者需要把Key,Value序列化成数组,然后再去网络上传输。

如果record里有包含了Partition了,那就不需要分区器干活了,如果没有包含,那分区器就会根据record对象的key来选择一个分区。

选好分区之后,那生产者就知道往哪个topic和分区里发送记录了。然后这个记录就被添加到一个记录批次里,这个批次里所有消息都会被发送到相同的topic和分区上,这是由一个独立线程来处理的。

阅读全文 »

不知道从什么时候开始,就非常害怕爆炸了。

记得小时候我堂兄结婚,他们家放高升(二踢脚),好像直接把我吓的关屋里了,有没有钻床底下有点记不清了。

还有一次是在我爷爷家,不知道谁放了一个哑巴高升,可到最后居然落到我旁边表弟的头上就炸了,那场景我至今都可以很清晰回想起来。

要说怕这些吧,可还经常玩,可随着年龄的增加是越来越不敢玩了。

明明小时候经常放鞭炮的,还经常拿手里点着了直接扔出去放呢,但也失手过几次在手里直接炸了。

可现在看到气球有时候就比较恐惧,特别是当它飘向某个尖锐物体的时候,或者眼看着某人一脚踩下去的时候,都会有一种揪心的恐惧。

阅读全文 »

kafka这个服务是不怎么耗资源的,基本上没有特殊的要求,除了磁盘容量大点,别的要求真不高。

这个也是记录了「kafka权威指南」第二章内容

硬件

磁盘

  • 磁盘吞吐量:大多数客户端在发送消息之后会一直等待到至少有一个服务器确认消息已经成功提交为止。这个通知基本就是leader发出的。而kafka本身由于使用了0拷贝和顺序读写的特性,因此速度是相当快的。HDD和SSD的差距我记得测试过就只有10%的差距。
    当然这个还是看自己的实际读写量了。
  • 磁盘容量:这个就是自己topic一天的大小 * 副本数 * 保留天数 * 120% / broker数量, 这基本就是你每个服务器所需要的磁盘容量了。

内存

阅读全文 »

kafka现在是所有队列组件里最常用的,虽然跟Rabbitmq这些相比还缺乏一些特性,但是它实在是成长的太快了,而且支持集群化,这个是最赞的,同时由于使用0拷贝,日志追加,所以它的磁盘效率非常高。

但是kafka的运维难度前期并不大,但是在后期主要的难点是在扩容,缩容阶段。主要是因为磁盘IO,网络IO的原因。导致了很多瓶颈点产生。

本文是读了「kafka权威指南」第二章的一个摘要总结。

broker整体配置

log.dirs

kafka是把所有消息都写入到磁盘,这个参数可以指定多个目录进行消息写入。而写入的原则是最少使用原则。
但是我们在实际使用中,不建议写多个,宁愿使用raid,LVM条带方式来扩展单目录的写入速度。

阅读全文 »

话说这两天肺炎疫情突然紧张起来,可每个地区的行动力真的差别很大,有放羊的,也有跟踪到户的。

已知的什么河南,北京,上海这些基本都是跟踪到户。连小小球幼儿园老师都要要求大家每天上报情况和方位。而西城有些社区已经不让大家出门了,有事情社区来帮你解决,实在不行的社区还派车给你。就是为了防止无畏的扩散。

刚刚看了当年小汤山医院7天建成的故事,这基本上就是个奇迹,也只有在集中资源办大事的国度才可以完成。连图纸都没有,材料也没有的情况下,7天就建成了。

而当年新市长王岐山主要的工作也是切断传染源,整片整片的隔离。扩散才得到遏制,而随着夏天的到来,病毒的存活条件也不行了,这场战斗终于是结束了。下岗一个卫生部部长,一个北京市市长。

想到我司迁移邮箱的事情,邮件全体发送一次,QQ群每日提醒,微信群每日提醒,可至今依然有30%的账号没有任何迁移。

按说文档也不能说不详细,毕竟让行政,HR部门的女生都根据文档执行过了,已经非常详尽了。可还是无动于衷,而公司老板也是如此。这就实在让人难以想象了。

阅读全文 »

昨天一下午要给丈母娘备份手机,然后连接上iTunes后,提示空间不够。

于是就开始清理磁盘空间,于是开始rm -rf一堆东西。可用df 一看居然一点磁盘都没少。

看了下回收站也没有啊。du 所有目录也没有看见大的。

用mac的磁盘工具,发现就是使用了这么多。

走投无路的时候终于找到了一个。
https://zhuanlan.zhihu.com/p/31809578

原来mac用的APFS,会自动建立snapshot的。所以你的很多空间其实就是被snapshot占据的

阅读全文 »

设M={a|a=x²-y²,x,y∈Z},求证:

  1. 2k-2∉M,(k∈Z)
  2. 若p∈M,q∈M, 则pq∈M

第一题:
这是一道很简单的集合题目,但是我一开始看了半天也没思路,看了答案,发现居然看不懂。那就记录下吧。

由于x+y,x-y具有相同的奇偶性,所以x²-y²是奇数或者是4的倍数。 那这个所以是怎么来的呢?

如果x,y同为奇数或者偶数,那么它们的平方差一定是4的倍数,这个仔细想想还真是,因为都是平方。那如果x,y奇偶性不同,那么平方差一定是奇数。

所以4k-2∉M

阅读全文 »

2019年真的已经过去了,周天王所说的80后第一个改变人生的年份就这样过去了。

局外人
在路上
顾准文集
柏林1961
非暴力沟通
经济学的思维方式原书第13版
大江东去
毛泽东私人医生回忆录
人类简史
奈飞文化手册
态度
活着
孩子:挑战
父母的语言
观止
结网
启示录
神经科学讲什么
自我发现与重塑
企业IT架构转型之道
编程风格
意志力
松本行弘的程序世界
0-12岁儿童心理学(第六版)
系统思考
捕捉儿童敏感期
游戏力
孤岛天才
为什么精英都是时间控
儿童行为的塑造与矫正
第56号教室的奇迹
原则
自私的皮球
夹边沟记事

上面这些数基本上都是囫囵吞枣式看的。基本没有吸收什么。个人感觉2020年需要多精读一些了。

就跟「如何阅读一本书」里说的,要更多的进行横向的阅读,同一主题的阅读。这个在2019年可能只是育儿的部分看了5本。比较推荐的还是「第56号教室的奇迹」。但也只需要阅读前5章就行了。

但是学习精读总是很费神的。一本「华师大二附中-数学」至今还是看的头大。而蒋争的「英语词汇的奥秘」也一样如此。

但是这些又是不得不看的,那就直接面对吧。

阅读全文 »

本来计划着是将公司所有业务的支付整合到统一账户里,这样对于产品的推广很有很有好处,对于用户也非常方便。

你可不想在阿里云里买2个不同的产品需要充值2遍。

可今天的会议结果是要分成多个,可这样明显用户体验不好的观点是如何被老板认可的呢?

这样可以割更多的韭菜。一个账户本来对应所有产品,用户充值5000元。现在呢,你要买一个产品就要充值5000,买10个就是充值5万。

老板打定主意是这些充值的公司或者开发者里有50%是没有用完就关门了的。这样这些钱就等于公司白赚了。

这有点像之前团购行业,你要买了团购券忘记消费了,这个钱就归团购网站自己腰包里了。而当后来美团退出不使用包退,结果就很明显了,美团从千团大战中脱颖而出了。

阅读全文 »

现在的电信诈骗越来越隐蔽了,而受害者虽然本身也有错,毕竟只骗贪婪的人。

而作为基础运营商,怎么能对此视而不见呢,更不是助纣为虐。

因此我们确实应该配合相关部门进行调查,但是实际情况会比较难。

  1. 制作者和真正的诈骗人员都是不同的人。
  2. 诈骗人员一般都是躲藏在境外。
  3. 多个渠道进行通讯。

第一点来看,这些人真是为了金钱完全没有任何底线。而且从实际来看,这些人完全清楚对方拿去做什么用的,都不是无责任第三方。
前两天看了一篇讲穷人的,穷人没有尊严。但是我想穷人也不会如此无底线。
http://dy.163.com/v2/article/detail/F2T700E00528BOLG.html
这里还有个备份。
当然这个社会也是病态了,笑贫不笑娼也确实存在。那就看每个人的价值观了。
贫穷最令人难过的地方,是什么都值钱,就自己的命不值钱。总觉得什么事情,只能拿命挡,说难听点,命比纸还贱。

你可以说技术无罪,但是在知道详情的情况下还助纣为虐,那理应是要被处理的。

阅读全文 »
0%