参加Hadoop中国云计算大会有感
在受到大会执行委员查礼老师的邀请,参加了这次大会,并作了关于THUIRDB的主题报告。 主要的收获还是来自听其他牛人们得报告,有几点感想 1)关于一致性问题 一致性话题被讨论了很多,强一致性,最终一致性,弱一致性。不同的应用对一致性的需求不同,一致性的实现也不同,比如这样一个同步问题,阿斗接到了录取通知书考上了大学,阿斗有刘备,关羽,张飞,赵云这四个亲人,他
在受到大会执行委员查礼老师的邀请,参加了这次大会,并作了关于THUIRDB的主题报告。
主要的收获还是来自听其他牛人们得报告,有几点感想
1)关于一致性问题
一致性话题被讨论了很多,强一致性,最终一致性,弱一致性。不同的应用对一致性的需求不同,一致性的实现也不同,比如这样一个同步问题,阿斗接到了录取通知书考上了大学,阿斗有刘备,关羽,张飞,赵云这四个亲人,他在拿到通知书的第一时间通知了刘备,没有通知关羽,张飞。赵云非常关心孩子的录取情况,于是问了刘备,刘备给出了正确的回答,孩子状态写入刘备,赵云 query阿斗的状态,是强一致的; 如果赵云去问关羽,关羽的回答是该孩子还在等通知,过了一段时间,赵云又去问关羽,此时关羽已经知道阿斗考上大学,于是告诉赵云阿斗考上了,这就是最终一致性。如果赵云问张飞,张飞有可能丢失阿斗是否考上的这个情况,不保证一致性,那么这就是弱一致性。
从容错的角度看,强一致性是在时间序列上不容许不一致的,最终一致允许在时间序列上有不一致的一个窗口,弱一致性在时间序列上可能存在不一致只要在允许的范围内。
但是即便是同样的应用,也会有不同的区分,比如高资费用户,消费类会员用户,注册用户,游民类非注册用户,如果采用同样的一致性需求,显然是不合理的。
2)读写分离
一个nosql往往是即读又写的,在读多写少,或者写多读少的场景下都适合这种优化,搜索引擎的索引是这样,THUIRDB的更新设计也是如此,听了淘宝的OceanBase也是如此,让一部分机器专门读,一部分机器专门写,定期将写机器同步到读机器上,虽然同步是一个重要的关键,但在专用光鲜和同步量较好的控制,流量切换上的较好的控制,可以做到同时读写都很牛叉的水平,这方面Oceanbase做了有价值的实践。这个话题我在THUIRDB的报告中也做了一些阐述。
3)国内Nosql的现状,大部分都在美帝的现有成果上,比拼bug commit的数量,鲜有自己独立的东西,创新精神不够。报告的主流基本是结合企业自身应用场景和这些美帝开源的产品Hbase,Hadoop,Zookeeper等相结合,能够在这些开源产品上commit一些贡献,fix一些bug,就足够大书特书了。
4)重逢了很多老朋友,结实了很多新朋友
会场上很多熟人,他们还都活跃在开发的一线或者二线。又认识了很多新朋友。交朋友是我每次参会的重要任务之一,了解别人的工作,对技术问题的一些思考,彼此碰撞一些感兴趣的话题,是多么惬意的事情。不过会议没有安排足够时间的茶歇,给交流带来的一定的困难,报告安排的比较密集。
下图为我报告的留影
更多推荐
所有评论(0)