微服务与架构师

本文由Yurii原创,转载请注明来源: Life Sailor

本文链接 微服务与架构师


因为工作的关系,最近面试了很多软件架构师,遗憾的是真正能录用的很少。很多候选人有多年的工作经验,常见的框架也玩得很溜。然而最擅长的是“用既定的技术方案去解决特定的问题”,如果遇到的问题没有严格对应的现成框架,就比较吃力。这样的技能水平或许适合某些行业,但很遗憾不符合我们的要求。

软件架构师到底应该做什么,又为什么这么难做好,这都是近来的热门问题,我也一直在和朋友们讨论。正巧,最近我看完了新鲜出炉的《微服务设计》,所以大概可以谈谈自己的看法了。因为这类问题比较抽象,也没有统一答案,我努力尝试把思路整理清楚,把表达变得流畅。最终有没有讲清楚,说的对不对,欢迎大家给我留言。

今天看来,传统的软件开发(尤其是应用型软件开发)其实是相对简单的。软件运行在基本可靠的单机环境下:CPU提供计算能力,内存提供动态存储,总线提供数据传输,硬盘提供永久存储。这些概念稳定而直观,程序员要完成的,就是调用和组装编程语言提供的各种功能,来满足现实的需求。相比应用程序员良莠不齐的开发水平,无论是操作系统还是硬件环境,都是来自大公司的工业级别的产品,是值得信赖的。

如果把程序要完成的功能比作个人,软件运行的环境比作房屋,那么房屋虽小,却是值得信赖的。对个人来说,只要进去了房屋里,就有相对稳定的环境,相比野外生存就是巨大的进步。当然,如果遇到意外情况,在野外可能生存机会大一点,在房屋里只能与房子“一损俱损”了。不过,通常来看这不要紧。

随着计算机要解决问题日趋复杂,出现了可复用的类库。它们把重复的功能包装起来,只要直接拿来就可以使用。回到房子的比喻,这些东西就好像标准化制作的家用电器,你搬回去、看懂说明书、用起来,就可以大大提升自己的效率。

上面说的是软件内部的进化,软件外部运行模型仍然相对简单——无论要解决什么任务,各种逻辑和资源都是处在同一个运行时(runtime),或者能够方便可靠访问的运行时当中。如果需要提升性能,除去软件本身的优化,就是升级硬件。如果我们需要更快的计算速度,就必须升级CPU;如果我们需要更多的动态存储,就必须升级内存…… 虽然升级需要停机,但是升级之后,性能提高了,运行环境的稳定可靠却不受影响。回到房屋的比喻,在这种思路下,房子还是原来的房子,只是建造得越来越高级,越来越稳定。

即便业界提出了N层模型,整体的复杂度提升也有限。这种划分往往并不是严格按照业务责任,还考虑了实现特性,而且层与层之间的接口仍然能依赖外部环境保持稳定可靠。比如常见的三层模型,表现层-业务逻辑层-数据库层,表现层与业务逻辑层之间往往是函数调用,业务层与数据库层之间的通常是通过安全稳定的内网连接,数据库则是配置很好的机器保证高可用性。回到房屋的比喻,这种思路很像花重金建造几栋紧密相连的专用房屋,各自对应不同的用途。如果外界环境变化不大,这种设计确实很稳定,但也很不灵活。

随着互联网的飞速发展,程序要解决的问题的复杂度也在飞速,原有的思维和范式,既要考虑业务,又要考虑实现,应对起来已经非常吃力了。所以,SOA(面向服务的架构)的概念应运而生。SOA基本脱离了技术实现的细节,引导开发人员从业务和抽象的“服务”角度来看待系统。与传统复用只考虑静态的代码和类库不同,SOA复用的则是动态的运行着的服务。

以上两点,都是SOA相对传统软件开发思想的巨大进步。可惜的是,大多数SOA的学说更倾向于理论和概念的层面,服务的“粒度”究竟定在哪个层级,服务如何落地保证可用性…… 这些问题始终没有取得广泛的共识和规范,对于软件所依赖的环境,SOA也很少涉及,但软件的运行是离不开外部环境的。所以SOA的学说虽然热门,但真正做到了、做好了的例子非常有限。

回到房屋的比喻,SOA不太关心每栋房子到底干什么,只是从逻辑上做个大致的区分:这片房子分给商人,那片房子分给农民,另一个片区的房子分给工人…… 但是SOA并不会具体地规定每个区域里应当安排多少房子,这些房子应当如何建造,如何组合,所以区域里很可能有混乱。

技术继续发展,尤其是移动互联网的兴起,极大地增加了软件所要解决问题的复杂度。从内部来说,性能的增长已经改变了方向,无论CPU还是内存,性能的增长都不再来源于单纯部件的提高,而更多来自多个普通部件的协同工作。如果说传统的性能提高是从纵向上考虑,现在则是从横向上考虑,承载计算能力的不再是“一颗高运算速度的CPU”,保存动态数据的也不再是“一片大容量内存”。玩法变了,程序的思维和编写范式也需要随之进行调整。

从外部来说,性能提升而运行环境仍然稳定的好事不复存在,运行环境日益复杂,可靠性也随之下降,已经没有哪家软件和硬件厂商能为系统提供足够可靠的运行环境。这种外部的挑战很难和以前一样依靠外部供应商来解决:廉价服务节点莫名崩溃很可能是家常便饭,如果网络完全要求节点自身质量过硬以提供高可用性,不但代价高昂,而且违背了网络设计“容忍故障”的初衷;大量程序调用现在通过网络而不是本地进行时进行,几乎无处不在的超时限制会逼迫大家采用异步调用,传输速度和稳定性也会受到极大限制——分布式系统设计中的重大谬误之一就是认为“网络是可靠的”。

更糟糕的是,SOA未能解决的粒度问题变得要紧起来。传统的软件系统大致都有规格说明书,在设计时就要考虑每个子系统的承载能力,而且这些能力大致是彼此协调彼此关联的,系统运行时应当保证压力不超过设计规格。但是现在,业务的飞速发展很可能把段时间内就压力集中到单个服务甚至其中的少数功能上,跨服务的功能很可能又需要迅速组合成新的服务,而这种变化是事先根本无法预料的,很容易暴露出服务定义的粒度问题。再者,从整体上考虑,每个服务既要保证自己的稳定,又要相对隔离以限制故障的影响,同时还要适度容忍其它服务的不稳定,最终才能从总体上保证系统的稳定。这,也是对传统开发思维的一大挑战。

在这种局面下,“微服务”应运而生了。承接SOA的概念,它把系统按照业务责任划分为彼此独立的多个服务,既保证了概念的清晰和自洽,又保证了系统的灵活性、伸缩性。面对杂乱不可靠的现实,它又从实现上注重每个服务的自治性,也就是能独立部署,具备自动化、可观察、故障隔离、自动恢复等特性,由此提供高可用保障。同时,微服务又抛弃了SOA中的很多概念,比如难以落地的ESB、UDDI等等。

在SOA尚且没有完整落地的时候,对它有继承有更新有颠覆的“微服务”,极大增加了开发人员的挑战。首先,服务要拆的足够小,又不至于太小,这样才能保证伸缩性并隔离故障;其次,不能因为服务“小”就降低保障级别,维护一堆“小服务”的保障级别,这是极其麻烦的事情;再次,要做到上面这一切,无论是从理论学说上还是从可依赖的软硬件系统上,都没有现成的低成本的解决方案;最后,因为维护的是动态的“服务”,传统静态的“代码所有权”和“机器所有权”的划分不再有效,它们已经融合为统一的“服务所有权”,它属于开发人员、运维人员以及所有相关人员的共同体,这又会带来团队配合与分工的挑战。

回到房屋的比喻,其实这个比喻此时已经完全不合适了。现在的系统更像高度复杂的城市,而不是单独的房屋,所以架构师也不像建筑设计师,而更像城市规划师,他的职责是对城市进行规划,确定每个区域应该做的事情,这些区域应当达到统一的规范要求,又具有随时扩张或缩减的灵活性;同时,他还应当保证这种划分适合对应的专业人员在对应区域工作。

明白了这一点,就可以明白版本管理、持续集成、自动化测试、自动化发布、服务治理、详尽监控等等“磨刀工夫”的价值——没有这些工作,就谈不上微服务的质量和保障级别,也就无法驾驭微服务的体系。

由此,也很容易明白架构师在这个时代要面对的挑战。一方面,他没有现成的足够强大的集成工具,只能靠一堆“稀松平常”的工具组装出整体可靠的系统;另一方面,他又要深入理解业务,把业务拆散成边界清晰的概念,以高内聚低耦合的服务分而治之,还必须考虑到实现的限制——“高内聚低耦合”的原则人人都知道,如果没有可靠的分布式事务管理机制,就不得不把并非“高内聚”的模块聚合起来,但你又要担心业务边界模糊的风险;RESTful固然优雅,但有时候又不得不使用RPC通讯,所以你又要提防RPC带来的强绑定、客户端服务器端同步更新等很多问题……

这一切设计、权衡、决策,并没有成型的理论和学说可以依靠,通常只能完全依赖架构师的经验、理解、思考。所以困难很大,风险也很大,如果做得好,收益也是非凡的。而这,恰恰是架构师的价值所在。

Yurii

View Comments

Recent Posts

德国生活点滴:歧视比你想象的要复杂(续)

在上一篇文章里,我列举了一些种族歧视现象的亲身经历,引发了许多读者的讨论。但是让我略感遗憾的是,许多人大概没有注意文章的标题,没有觉察到关键是“比想象的要复杂”,所以直接给出了一个简单的论断。 我的本意绝不是强化已有的简单粗疏的刻板印象,而是希望让大家知道,种族歧视这回事,有许多的侧面和细节。了解这些侧面和细节,有助于我们形成更立体的认知。 于是就有了下面这些内容,希望能引发大家的思考。 一 种族歧视是一种最简单粗暴的歧视。 许多人都知道,“歧视”的英文是discriminate,准确的意思是“区别对待”。既然要区别对待,就自然首先必须有办法区分。目力所及,似乎没有人愿意“区别对待”与自己完全同样的人,而总是要先找出一点区别来,再实行区别对待。 所以,种族、口音、家庭出身、经济能力等等各种因素,都可以成为“区别”的指标,由此催生出区别对待。在这些因素当中,种族大概是最容易识别的特征——判断口音需要等对方开口,家庭出身、经济能力等等因素就更是要全面接触才可能了解。唯有种族,具体来说,绝大多数时候是相貌和肤色,是可以远远一眼就望见的。 也恰恰是因为这个原因,种族歧视特别容易引起反感。 这些年来,我得到的一条重要的生活经验是,如果你希望指出对方的问题,但又不纯粹是为了激怒对方,那么最好不要归因为一些木已成舟,对方无法改变的因素,否则对方多半会恼羞成怒。 举个例子,你觉得某人的口语表达还可以更好一点,完全可以直接给出具体的建议。但是如果从“经济不发达地区来的人就是口语差”,或者“个子矮的人就是没自信心来表达”,那几乎一定会制造矛盾。因为“口语表达”是可以改进的,加以锻炼将来肯定更好,而“不发达地区来的人”和“个子矮的人”就像烙印一样,是无法摆脱的。这种话说出来,对方哪怕有意愿改进,也会觉得无奈甚至恼怒。 种族歧视也是这样,“种族”同样是一种烙印,是无法摆脱的。所以当对某些人的判断与种族挂钩的时候,他或她必然感到无奈甚至愤怒。况且老话说“人上一百,形形色色;人上一万,千奇百怪”。哪怕是同一个种族的人,也可能在肤色、相貌之外完全找不到相同点。先入为主地用种族去对其他人下判断,无论是从情感反应上,还是从逻辑上,都是站不住脚的。 (more…)

5 days ago

德国生活点滴:歧视比你想象的要复杂

去年初的时候,小朋友冰球俱乐部来了个新教练Robo。Robo来自加拿大,总是一副很健谈很乐观的样子,而且很喜欢放音乐,把整个训练场搞得热情四射。最关键的是,小朋友们好像都很喜欢他,不但许多动作耐心示范,对每个人的指导也相当到位。而且,他的英语很好,人又很喜欢开玩笑,所以我们交谈很多,他总是跟我说:“你家的小朋友超级酷的,不要给他太大压力,只要他自己运动起来足够自在,能够持续练下去,就是最好的。” 没想到的是,到去年9月份,Robo忽然神秘失踪了,没有任何征兆,也没有任何说明,就此人间蒸发了一般。问其他的教练,也是语焉不详。小朋友训练完,偶尔会失落地跟我说“好久没看到Robo了,不知道他哪里去了。” 3月份的时候,一个偶然的机会,我又见到了Robo,虽然当时时间很紧张,只是打了个照面,但我要他留下了联系方式。 当天晚上我问他:哥们,你怎么忽然就不见了,大家都很想你啊。 过会儿我收到他的回复:我也很想念小孩子们,你儿子很酷……我现在没在那个俱乐部了,因为其他几个教练总是或明或暗地针对我,仅仅因为我的肤色,这是我受不了的。 (more…)

5 days ago

在德国, 全远程+共享空间办公,是什么体验?

注:原文发布于2023年1月16日 到1月份为止,我已经体验了几个月的全远程+共享空间办公了。有不少朋友听说之后很有兴趣,问我到底是什么感觉,所以我简单介绍下个人的体验。 背景 2019年末、2020年初开始在全球流行的Covid-19对远程办公来说,绝对是黑天鹅一般的存在。因为疫情导致的社交隔离措施,极大影响了各大公司的正常运转。 所幸,IT类公司受到的影响比较小,只要求员工“面对屏幕编程”,不必亲临现场。所以,许多IT公司也谨小慎微地开展了远程办公的试验。 从我所知道的结果来看,不少美国公司并不特别喜欢远程办公,比如Google,一旦社交隔离措施有所放松,就忙不迭要求员工回到办公室,盖因为公司认为远程办公严重影响合作效率。 与此相反,不少德国公司反倒是逐渐适应了远程办公的节奏,纷纷降低对员工“到办公室上班”的要求,许多公司甚至可以支持百分百的远程办公。 这里要提到的是,德国公司说的“远程办公”往往是货真价实的“远程”,而不是一些人理解的“家和办公室在同一个城市,只是不用去办公室”而已。 因为德国IT行业缺人严重,而且许多德国公司并没有那么“互联网”,而是依托实业开展业务,所以据我所知,目前不少公司非但没有裁员,反而都在大力招人。 (more…)

4 weeks ago

成年人找工作,不值得那么多愁善感

注:本文发布于2023年2月6日 最近硅谷几大公司都在裁员,看了些报道,被裁的员工真是不好过。损失经济来源不说,有些人还面临身份问题,这可真是屋漏偏逢连夜雨。 我也留意到,不少被裁的人会不停追问自己:为什么我会遇到这样的事情?为什么这样的不幸会降临到我头上?…… 实话说,我挺能理解这种态度。这挫折如此巨大,似乎又来得全无预兆,不由得让人对命运、对人生、对世界产生深重的怀疑。尤其是对已经走入社会,取得一定成就(如果非要抠字眼,那就用“进展”吧)的人来说,更是如此。 但是我更想说,如果被裁员了,当务之急是赶紧找到下一份工作,哪怕只是机械地行动。要知道,成年人找工作,容不下那么多愁善感。 我之所以这么说,是有切身经历为基础的。之前我讲过找德国工作的经历。最开始是信心十足的,因为虽然毕业多年,手艺没丢,基础还在,随时打开leetcode,中等难度题目基本都不在话下,不但能解对,解法也基本接近最优。既然网上都说“刷题就能找到工作”,估计自己应该没大问题。 没想到真的找起工作来,仍然充满了意想不到的挫折。如果不相信,我且举几个例子吧。 (more…)

4 weeks ago

我读《园丁与木匠》

虽然早就听说《园丁与木匠》是关于育儿的好书,但一直没开始读。最近终于翻开这本书,才发现属于“拿起就很难放下”的类型,加班加点读完,收获不少。 关于这本书的价值,已经有许多书评讨论过了,所以我想略过微言大义、长篇大论的叙述,谈谈我印象最深,也是最打动我的三点细节。 第一,儿童的学习方式 小孩子觉得拧螺丝很好玩,想自己动手拧一颗螺丝。于是,他打开了工具箱,对着琳琅满目的工具,他不知所措。一会儿摸摸钳子,一会儿试试扳手……这时候,旁边的父母应当怎么办? 在大多数情况下,父母大概会直接告诉孩子,“亲爱的,你应该用螺丝刀,来,我告诉你”。耐心一点的父母,大概会潜心观察一段孩子的举动,再设法“引导”他到正确的工具上来。在父母眼里,孩子当然不可能一开始就找对正确答案,所以做各种尝试也是情有可原。但是另一方面,也不应该“在错误的路径上摸索太久,浪费时间”,应当“迅速识别出正确的答案”。 无论父母有多少耐心,在他们眼里,孩子找到拧螺丝的工具的过程,都是个“不断接近正确答案”的过程。这个过程越短,孩子就越“聪明”,或者说“学习效率”就越高。 (more…)

4 weeks ago

再见,或许就是再也不见

陈皓(Haoel,网名“左耳朵耗子”)上周六因为突发心梗去世了,享年47岁。 我跟他虽然聊过好些次,但只是微信好友,从未见过面。回看微信记录,当年稀松平常的一声“再见”,已经成了“再也不见”。 许多人在缅怀他,许多文章提到他的时候,会用到“骨灰级程序员”、“技术大牛”这样的称呼。但如果仅仅用这两个词描述他,断然难以解释,为什么他的突然去世,会引发互联网上怀念的狂潮。 所以,我更愿意按照自己的经验,把他描绘为“有坦诚追求,兼具趣味、操守、胸怀的技术人”。恰恰是因为这样的人在这个年代太稀少,而这些品质又让众多人赏识和受益,大家才会如此地怀念他。 这个年代,做技术(仅指狭义的IT)的人很多,愿意分享的人也不在少数,其中不少还可以算世俗意义上的“成功者”。 但是,若仔细去看他们分享的内容,总感觉不够真诚。总感觉作者希望往高深了靠,目的也没有那么纯粹。你若提一些小白问题,迎来的往往是“你怎么连这都不知道?”的反问,或者“要谈这个问题,你先去看几本书再说吧”。话是这么说没错,但无数的初学者也往往因此打了退堂鼓。 但是陈皓的分享不同。我已经不止一次地看到有人提起,他分享——更准确说,是“创作”——的内容质量很高,而且总能做到“深入浅出”。哪怕是小白读者,看完也确实能有收获,如果还有兴趣,更可以跟着文末的链接,顺藤摸瓜探究更广阔的世界。 这让我想起我佩服的一位记者说的:记者写文章的最高境界,就是不表达自己的观点,因为记者的观点应当来自于他的素材。只要把这些素材摆出来,读者读完报道,观点就自然形成了。要做到这一点,需要对素材有足够的信心和把握,外加真诚和坦荡。 能做到这一点的记者,着实不多。陈皓虽然不是记者,他写的技术文章却能让读者得到类似的结论——要知道,技术讨论往往是非常容易擦枪走火的——可见他运用素材和逻辑的功力,以及更重要的,他的真诚和坦荡。 (more…)

4 weeks ago