Java大型互联网架构-如何正常掌握分布式系统的大部分技术?

這籹籽sd

分布式是一种思想,旨在将原本的单节点应用分布到不同的服务器节点,以求获得更大的运算能力和更高的性能。

分布式技术太广了,涉及到将多个服务器的CPU,内存硬盘等组成一个统一的整体,而服务,计算分布在不同的服务器上,服务之间的通信,分布式之后的全局唯一性,数据一致性,分布式事务等等,每一项可以说在实际工作中都会有大量的坑,不经历过很难明白,下面是我的粗浅理解:


分布式存储:

数据库:数据库的主从复制,读写分离,分库分表这些东西,都是通过数据分布在不同的节点,以实现数据查询与修改的更高的效率,同时防止数据在单一节点上因为某些原因的丢失,推荐自己搭建mysql主从,使用spring aop代码开发或者组件搭建读写分离,使用mycat等组件实现分库分表!

文件:分布式文件存储系统,有HDFS和Gluster等大型的系统,提供更好的容错性和扩展能力!

分布式服务:对外提供高度内聚,透明,内部灵活,分散的服务集群!

前后端分离:将前后端的服务拆分在不同的集群中,以保证前后端技术架构上的分离,使用node.js部署前端服务,与用户进行交互,后台通过某种通信协议,提供动态数据给前端调用!

后端微服务:以单独业务为导向,建立起细粒度的服务,同时服务之间通过服务发现组件进行通信,在用的springcloud还不错,集成了网关,熔断器,负载均衡等,可以进行快速的搭建!


服务之间的通信通常有服务暴露直接调用(zk.eureka等服务注册与发现),异步消息传输(kafka等消息队列)!

分布式缓存:缓存通常是内存型缓存,可以用来快速的存取数据,减少数据库的压力!分布式缓存通常使用主从复制,高可用方式搭建起集群,提高整个缓存系统的容纳能力,也避免单一缓存节点宕机对整个服务的影响,用的较多的是redis集群(基于redis的集群搭建,请参考https://www.wukong.com/question/6493663252021510414/)

redis缓存还因为单线程模型,可以用来做分布式锁实现!

分布式计算:将一些大型的计算,使用策略分布到不同的机器上,然后汇总得到计算结果,一般使用map-reduce模型,hadoop,spark等都是成熟而且大规模使用的框架!


分布式技术并没有严格分类,技术也五花八门,作为一个程序员只能是每天不断的学习才能得以入门,每个人的学习能力,领悟到的东西也有不同,今天就写这么多,更多的技术分享,敬请关注。。。


谢逅架构

看职位吧。如果你是做PD,那么主要是服务代码的无状态编程,redis缓存,一些反向代理软件的配置和服务化工具的配置。如果是做架构,那就不仅是知道怎么用,还要知道运行原理,知道为什么,出了问题如何解决,如何扩展。对技术的基础要求掌握比较深。目前最常用的反向代理软件一般是nginx,服务化软件基本阿里的 dubbo,基于 spring boot的 spring cloud。


HelloWorld应用

我们公司开发的程序用的是阿里的分布式框架dubbo。建议你先从某个知名框架去学习,了解它的用法,熟悉之后再去了解框架具体涉及到的技术,这样理解起来会比直接学底层技术更有效率,更容易使人理解。等你对该框架了解的差不多了,你对技术的掌握也达到一定高度了。


分享到:


相關文章: