本文目录
- gossip的性能有哪些
- 一文了解啥是Gossip协议
- gossip 协议中消息传播有哪三种方式
- Gossip 协议
- gossip协议解决了什么问题
- Consul 介绍
- 数字化转型之——以科技为支撑的智能管理和决策
gossip的性能有哪些
gossip的性能是：在Gossip性能中，我们可以认为: β=b/nβ=b/n（因为对每个节点而言，被其他节点选中的概率就是b/nb/n)。
我们令t=clog(n)t=clog(n)，可以得到y≈(n+1)−1ncb−2y≈(n+1)−1ncb−2。
这表明，仅需要O(log(n))O(log(n))个回合，gossip协议即可将信息传递到所有的节点。根据分析可得，Gossip协议具有以下的特点:
1、低延迟。仅仅需要O(log(n))O(log(n))个回合的传递时间。
2、非常可靠。仅有1ncb−21ncb−2个节点不会收到信息。
3、轻量级。每个节点传送了cblog(n)cblog(n)次信息。
Gossip的缺陷是：分布式网络中，没有一种完美的解决方案，Gossip 协议跟其他协议一样，也有一些不可避免的缺陷，主要是两个。
1、消息的延迟：由于 Gossip 协议中，节点只会随机向少数几个节点发送消息，消息最终是通过多个轮次的散播而到达全网的，因此使用 Gossip 协议会造成不可避免的消息延迟。不适合用在对实时性要求较高的场景下。
2、消息冗余：Gossip 协议规定，节点会定期随机选择周围节点发送消息，而收到消息的节点也会重复该步骤，因此就不可避免的存在消息重复发送给同一节点的情况，造成了消息的冗余。
同时也增加了收到消息的节点的处理压力。而且，由于是定期发送，因此，即使收到了消息的节点还会反复收到重复消息，加重了消息的冗余。
一文了解啥是Gossip协议
你好呀，我是动作缓慢的程序猿。 元旦的时候我看到一个特别离谱的谣言啊，具体是什么内容我就不说了，我怕脏了大家的眼睛。 但是，我看到一个群里传的那叫一个绘声绘色，大家讨论的风生水起的，仿佛大家就在现场似的。 这事吧本来我呵呵一笑也就过了。但是隔了一会我突然大腿一拍：这是个素材啊。我可以和大家聊一个共识算法呀。 说到共识算法，大家首先想到的应该都是 Raft、Paxos、Zab 算法这类理解起来比较困难的强一致性算法。 但是还有一个弱一致性的共识算法比较好理解，Gossip 协议。 Gossip，先看这个单词，圈起来，要考的啊，这是一个六级词汇，也是考研单词，意思是“流言蜚语”。 接下来就带你简单的看看这个“流言蜚语”到底是怎么回事。 Gossip 协议 Gossip 协议最早提出的时间得追溯到 1987 年发布的一篇论文：《Epidemic Algorithms for Replicated Database Maintenance》
gossip 协议中消息传播有哪三种方式
1.感染—传染（Susceptible-Infective，SI）2.感染—传染—感染（SIS）3.感染—传染—恢复（SIR）
Gossip 协议
Gossip 协议也叫 Epidemic Protocol（流行病协议），主要用于消息传播，是一种一致性算法。协议也非常好理解，正如协议的名称，如流行病一样靠“感染”节点进行持续传播。使用 Gossip 协议的有：Redis Cluster、Consul、Apache Cassandra等。 要说 Gossip 就不得不提“六度分隔理论”，简单的说：你和任何一个陌生人之间所间隔的人不会超过五个，也就是说，最多通过五个人你就能够认识任何一个陌生人。由时任哈佛大学的心理学教授 Stanley Milgram 在1967年提出。 Facebook 研究了已注册的15.9亿使用者资料，在2016年公布标题为 “Three and a half degrees of separation” 的研究结果。发现世界比人们想象的更紧密，世界上的每个人（至少在 Facebook 活跃的15.9亿人）平均通过3.57个人就可以与任意另外一个人产生联系。 基于六度分隔理论，信息的传播会非常迅速，而且网络交互次数不会很多。Gossip 协议是基于六度分隔理论的很好实现。 Gossip协议基本思想就是：一个节点想要分享一些信息给网络中的其他的节点，于是随机选择一些节点进行信息传递。这些收到信息的节点接下来把这些信息传递给其他一些随机选择的节点。整体过程描述如下。 Gossip 协议的可扩展性极好，一般只需要 O(LogN) 轮就可以将信息传播到所有的节点，其中 N 代表节点的个数。即使集群节点的数量增加，每个节点的负载也不会增加很多，几乎是恒定的。这就允许集群管理的节点规模能横向扩展到几千几万个，集群内的消息通信成本却不会增加很多。 网络中任何节点的宕机和重启都不会影响 Gossip 消息的传播，Gossip 协议具有天然的分布式系统容错特性。 Gossip 协议是去中心化的协议，所以集群中的所有节点都是对等的，任何节点出现问题都不会阻止其他节点继续发送消息。任何节点都可以随时加入或离开，而不会影响系统的整体服务质量。 消息传播是指数级的快速传播，因此当有新信息传播时，消息可以快速地发送到全局节点。系统状态的不一致可以在很快的时间内收敛到一致。 节点随机向少数几个节点发送消息，消息最终是通过多个轮次的传播而到达全网，不可避免的造成消息延迟。不适合于对实时性要求较高的场景。 节点会定期随机选择周围节点发送消息，而收到消息的节点也会重复该步骤，因此就不可避免的存在消息重复发送给同一节点的情况，造成了消息的冗余，同时也增加了收到消息的节点的处理压力。 如果有一个恶意传播消息的节点，Gossip协议的分布式系统就会出问题。
gossip协议解决了什么问题
Gossip Girl当然就是现在热播的电视剧《绯闻女孩》的原著了The it Girl的主角是Jenny，讲的是她大学的事The Carlyles是GG小说的一个番外，共4本GG的确有两种封面，一种是原版小说，另一种则是CW出的电视剧版小说，我只看过原版的，但两种应该是完全不一样的你所描述的封面我在GG英文官网上也看到过，但它和原版小说内容是一样的，区别只在于一版Published on: 2002-04-01 另一版Published on: 2007-09-12 ，而且好像只发了两本，估计就是电视剧火了以后，出版社加印的，换了个封面而已，所以你可以放心大胆的找原著看了，一定衔接的上下面是原版书的顺序，参考一下1. Gossip Girl2. You Know You Love Me3. All I Want Is Everything4. Because I’m Worth It5. I Like It Like That6. You’re the One That I Want7. Nobody Does It Better8. Nothing Can Keep Us Together9. Only in Your Dreams10. Would I Lie to You?11. Don’t You Forget About MeThe CarlylesPrequel- It Had To Be You 下图是GG封面，前两排是原版书的，后两排是CW出的电视剧版的
Consul 介绍
Consul有多个组件，但总体而言，它是基础架构中的一款服务发现和配置的工具。 它提供了几个关键功能： Consul 是一个分布式，高可用的系统。 为了快速了解Consul的工作原理，本节只介绍基础知识，不会介绍详细的细节。 向Consul提供服务的每个节点都运行一个Consul代理。 发现其他服务或获取/设置键/值数据不需要运行代理。 代理负责健康检查节点上的服务以及节点本身。 代理与一个或多个Consul服务器通信。Consul 服务器是数据存储和复制的地方。 服务器自己选出一个 leader。 虽然Consul可以在一台服务器上运行，但推荐使用3到5台来避免数据丢失的情况。 每个数据中心都建议使用一组Consul服务器。 需要发现其他服务或节点的基础架构组件可以查询任何Consul服务器或任何Consul代理。 代理自动将查询转发到服务器。 每个数据中心都运行Consul服务器集群。 当跨数据中心服务发现或配置请求时，本地Consul服务器将请求转发到远程数据中心并返回结果。 Consul解决的问题是多种多样的，但是每个单独的特征已经被许多不同的系统解决了。 尽管没有单一的系统提供Consul的所有功能，但还有其他的选择可以解决这些问题。 ZooKeeper，doozerd和etcd在他们的架构中都是相似的。 所有这三个服务器节点都需要一定数量的节点才能运行（通常是简单多数）。 它们是高度一致的，并且公开了可以通过应用程序中的客户端库来构建复杂的分布式系统的各种基元。 Consul 还使用单个数据中心内的服务器节点。 在每个数据中心，Consul服务器都需要一个仲裁来操作并提供强大的一致性。 不过，Consul拥有对多个数据中心的本地支持，以及连接服务器节点和客户端的功能丰富的系统。 所有这些系统在提供键/值存储时都具有大致相同的语义：读取具有强烈的一致性，为了在网络分区的情况下保持一致性，牺牲了可用性。 但是，当这些系统用于高级案例时，这些差异会变得更加明显。 这些系统提供的语义对于构建服务发现系统是有吸引力的，但重要的是要强调必须构建这些功能。 ZooKeeper等软件仅提供原始K / V存储，并要求应用程序开发人员构建自己的系统以提供服务发现。 相比之下，Consul为服务发现提供了一个可用的框架，并且消除了猜测工作和开发工作。 客户端只需注册服务，然后使用DNS或HTTP接口执行发现。 其他系统需要一个自己定制的解决方案。 一个引人注目的服务发现框架必须包含健康检查和失败的可能性。 知道如果节点A失败或服务崩溃，则节点A提供Foo服务是没有用的。 原生系统使用心跳检测，定期更新和TTL。 这些方案需要与节点数量成线性关系，并将需求放在固定数量的服务器上。 此外，故障检测窗口至少与TTL一样长。 ZooKeeper提供临时节点，这些节点是客户端断开连接时删除的K / V条目。 这些比心跳系统更复杂，但仍然存在固有的可扩展性问题，并增加了客户端的复杂性。 所有客户端必须保持与ZooKeeper服务器的活动连接并执行保持活动。 另外，这需要“厚厚的客户端”，这些客户端很难编写，经常导致调试难题。 Consul 使用非常不同的体系结构进行健康检查。 Consul客户端不是只有服务器节点，而是在集群中的每个节点上运行。 这些客户端是gossip pool的一部分，可以提供多种功能，包括分布式健康检查。 gossip协议实现了一个高效的故障检测器，可以扩展到任何规模的集群，而不用将任务集中在任何选定的服务器组上。 客户端还可以在本地运行更丰富的运行状况检查，而ZooKeeper临时节点对活跃性进行非常原始的检查。 通过Consul，客户端可以检查Web服务器是否返回200的状态码，内存使用情况，有足够的磁盘空间等。和ZooKeeper一样，Consul客户端公开一个简单的HTTP接口，避免将系统的复杂性暴露给客户端。 Consul为服务发现，运行状况检查，K / V存储和多个数据中心提供一流的支持。 为了支持比简单K / V存储更多的功能，所有这些其他系统都需要额外的工具和库。 通过使用客户端节点，Consul提供了一个简单的API，只需要瘦客户端。 另外，完全可以通过使用配置文件和DNS接口完全避免使用API，以获得完整的服务发现解决方案，而完全没有任何开发。 使用Chef，Puppet和其他配置管理工具的人来构建服务发现机制并不罕见。 这通常通过查询全局状态来在定期收敛运行期间在每个节点上构建配置文件来完成。 不幸的是，这种方法有一些陷阱。 配置信息是静态的，不能比收敛运行更频繁地更新。 一般这是在几分钟或几小时的间隔。 另外，没有机制将系统状态结合到配置中：不健康的节点可能进一步接收流量，进一步加剧问题。 使用这种方法还可以支持多个数据中心，因为中央服务器组必须管理所有数据中心。 Consul专门设计为服务发现工具。 因此，它对集群的状态更具有动态性和响应性。 节点可以注册和注销他们提供的服务，使得依赖的应用程序和服务能够快速发现所有提供者。 通过使用集成的健康检查，Consul可以将流量从不健康的节点发送出去，从而使系统和服务能够正常恢复。 可以通过配置管理工具提供的静态配置可以移动到动态键/值存储中。 这允许应用程序配置更新，而不会收敛缓慢。 最后，由于每个数据中心独立运行，支持多个数据中心与单个数据中心没有区别。 也就是说，Consul并不是配置管理工具的替代品。 这些工具对于设置应用程序（包括Consul本身）至关重要。 静态配置最好由现有工具管理，而动态状态和发现则由Consul更好地管理。 配置管理和集群管理的分离也有一些有利的副作用：Chef和Puppet在没有全局状态的情况下变得更简单，服务或配置更改不再需要定期运行，并且由于配置管理运行 不需要全局状态。 Nagios和Sensu都是用于监控的工具。 当问题发生时，它们用于快速通知操作员。 Nagios使用一组配置为在远程主机上执行检查的中央服务器。 这种设计使Nagios难以规模化，因为大型船队迅速达到垂直尺度的限制，Nagios不容易水平缩放。 Nagios在现代DevOps和配置管理工具中也非常难以使用，因为在添加或删除远程服务器时必须更新本地配置。 Sensu有一个更现代化的设计，依靠当地的代理商运行支票，并推动结果AMQP经纪人。 许多服务器从代理获取并处理健康检查的结果。 这个模型比Nagios更具可扩展性，因为它允许更多的水平缩放和服务器和代理之间的较弱耦合。 但是，中央经纪人已经具有扩展限制，并且是系统中的单一故障点。 Consul提供与Nagios和Sensu相同的健康检查能力，对现代DevOps友好，并避免了其他系统固有的扩展问题。 Consul在本地运行所有检查，如Sensu，避免给中央服务器造成负担。 检查状态由Consul服务器维护，这是容错的，没有单点故障。 最后，Consul可以扩展到更多的检查，因为它依赖于边缘触发的更新。 这意味着更新仅在检查从“通过”转换为“失败”或反之亦然时才被触发。 在一个大型的船队里，大部分的支票都是通过的，连失败的少数人都是执着的。 通过仅捕获更改，Consul减少了运行状况检查所使用的网络和计算资源的数量，从而使系统具有更高的可扩展性。 一个精明的读者可能会注意到，如果一个Consul代理死亡，那么没有边缘触发更新将会发生。 从其他节点的角度来看，所有的检查都会显示为稳定状态。 不过，Consul也是这样的。 客户端和服务器之间使用的gossip协议集成了一个分布式故障检测器。 这意味着如果一个Consul代理失败，将会检测到失败，并且因此所有由该节点运行的检查都可以被假定为失败。 这个故障检测器将工作分配到整个集群中，而最重要的是使边缘触发结构能够工作。 Eureka是一个服务发现工具。 该体系结构主要是客户机/服务器，每个数据中心有一套Eureka服务器，通常每个可用性区域一个。 通常Eureka的客户端使用嵌入式SDK来注册和发现服务。 对于不是本地集成的客户端，使用Ribbon等来透明地发现通过Eureka的服务。 Eureka提供了一个弱一致的服务观点，使用尽力而为复制。 当客户端向服务器注册时，该服务器将尝试复制到其他服务器，但不提供保证。 服务注册有一个短的生存时间（TTL），要求客户端向服务器发送心跳。 不健康的服务或节点将停止心跳，使他们超时并从注册表中删除。 发现请求可以路由到任何服务，由于尽力而为的复制，服务可能会陈旧或丢失数据。 这个简化的模型允许简单的集群管理和高可扩展性。 Consul提供了一套超级功能，包括更丰富的健康检查，key/value存储以及多数据中心意识。 Consul在每个数据中心都需要一组服务器，每个客户端都有一个代理，类似于使用像Ribbon这样的。 Consul代理允许大多数应用程序成为Consul不知道的，通过配置文件执行服务注册，并通过DNS或负载平衡器sidecars发现。 Consul提供强大的一致性保证，因为服务器使用Raft协议复制状态。 Consul支持丰富的健康检查，包括TCP，HTTP，Nagios / Sensu兼容脚本或基于Eureka的TTL。 客户端节点参与基于gossip的健康检查，该检查分配健康检查的工作，而不像集中式心跳一样成为可扩展性挑战。 发现请求被路由到当选的Consul leader，这使得他们在默认情况下是非常一致的。 允许陈旧读取的客户端使得任何服务器能够处理他们的请求，从而允许像Eureka这样的线性可伸缩性。 Consul强烈的一致性意味着它可以作为领导选举和集群协调的锁定服务。 Eureka不提供类似的保证，并且通常需要运行ZooKeeper来获得需要执行协调或具有更强一致性需求的服务。 Consul提供了支持面向服务的体系结构所需的工具包。 这包括服务发现，还包括丰富的健康检查，锁定，key/value，多数据中心联合，事件系统和ACL。 Consul和consul-template和envconsul等工具的生态系统都尽量减少集成所需的应用程序更改，以避免需要通过SDK进行本地集成。 Eureka是一个更大的Netflix OSS套件的一部分，该套件预计应用程序相对均匀且紧密集成。 因此，Eureka只解决了一小部分问题，希望ZooKeeper等其他工具可以一起使用。
数字化转型之——以科技为支撑的智能管理和决策
当前，越来越多的企业以科技公司自称，而不是金融公司、电商公司、社交网络公司或者物流公司。可见，在不久的将来，无论在制造业还是服务业，企业都将转变为以数据和算法为支撑，以用户为中心的技术型组织。 但数字化转型并不单纯是用前沿科技打造数字化产品的问题，而是涉及到以科技为支撑的智能管理、智能决策，乃至于组织结构和文化建设等一系列更加宏观和本质的范畴。 数字化转型也不是拍脑袋决定的用户数据收集、以大量积累用户信息为指标的为了数据而数据，因为『死』数据没有意义和价值。以当前有些中小型银行为例，虽然积累了大量的运营数据，却几乎鲜有应用。而开发和项目人员却疲于应付日常的客服反馈、产品设计、运营活动和风险控制。实际上，依托于数据和算法的智能决策可以完成大部分管理和日常决策工作。 数字化转型的特点 未来将是数字化的世界，所有工作都需要数据支持，都需要“智能决策”。这种智能决策，是指利用各种技术手段，在动态和多维信息收集的基础上，对复杂问题自主识别、判断、推理，并做出前瞻性和实时性决策的过程，同时具备自优化和自适应的能力。 在人工智能时代，数据和算法具有无法比拟的效率优势。以亚马逊为例，其日常管理和战术决策，以及日常运营都可以有数据统计和算法来完成，从而释放出大量的宏观决策精力和战略能力，让管理者的目光聚焦于长远的战略意义和更加重要的方向性思考。 数字化转型使企业能在问题识别、方案生成、信息收集、结果预测和行动反馈等决策步骤中得到全方位的帮助，提升企业决策的能力。智能决策是数据化转型的必然趋势。 如何开展基于数字化的智能决策、智能管理和智能运营 要进行数字化转型，实现智能决策，首要条件就是相信数据是有价值的，数据可以帮助我们感知世界、认识世界、理解世界乃至做出合理决策。 一、 具有数字思维和理念 数据不是冷冰冰的记录，不是可有可无的业务附件。从本质上来讲，数据是人类感受和认识世界的一种手段。业务场景中的一切，包括用户、产品、交易、运营等等都可以用数据来描述。企业可以通过这些数据来理解和分析业务，做出决策而后再应用到现实中。例如，在亚马逊，人人都知道的一句话就是：『凡事要有数据支撑』。 二、 与数字化思维相匹配的组织架构 数字化组织中必须有专门的人员为数据事务负责，包括数据资源的构建、核心数据的整合、数据模型的建设，以及数据的使用。组织结构设计上可以参考AirBnb的数据基础架构部和数据科学团队。 在组织中数据资产一定要充分流动，数据技术要充分开放。同时需要确保数据团队和业务团队不能分离割裂。组织中要形成统一的数据“大中台”，它是成本中心，负责管理数据资产；同时要在业务部门形成一系列的数据应用“小前台”，它们是利润中心，业务部门要快速基于数据开展业务，寻求价值。 三、 数字化软硬件基础设施 在数据处理技术中，涉及到数据的产生、采集、存储、加工、计算、挖掘、分析、展现、应用和管控全流程的技术。而其中的数据加工、计算、挖掘和分析部分，常常会涉及到人工智能（AI）方面的技术。再通过数据可视化应用，让人可以理解数据、使用数据。 其中，尤其以人工智能算法更为重要。以底层的智能芯片和计算框架为基础，人工智能算法在智能语音、视觉图像、自然语言以及智能决策等领域都有了较好的成果和广泛的应用。在这些智能算法之上，可以在应用层构建众多场景的产品和服务。 四、 对外的产品服务 在一个数字化的『 指数型组织 』中，友好而智能的用户界面是其中的重要属性，可以理解为企业对外提供的产品和服务。而以数据和算法为基础的数字化技术，可以更好的为构建高品质产品和服务提供有力的支撑。 在贝佐斯2010年致股东的信中有这样的句子： “随机森林（random forests）算法、贝叶斯估计方法（Bayesianestimation）、RESTful服务（RESTful services）、Gossip协议（Gossip protocols）、最终一致性（eventual consistency）、数据分片（data sharding）、反熵（anti-entropy）、拜占庭容错机制（byzantine quorum）、抹除码（erasure coding）、向量时钟（vectorclock）算法……走进亚马逊的某个会议室，你可能一瞬间会以为闯进了一个计算机科学讲座。翻一翻目前有关软件架构的教科书，你会发现几乎没有什么架构模式未被亚马逊所用。我们使用高性能交易系统、复杂渲染与对象缓存、工作流与队列系统、商业智能与数据分析、机器学习与模式识别、神经网络和概率决策，以及其他各种技术。虽然我们的很多系统来自最新的计算机科学研究成果，但常常还不能完全满足需要，因此我们的架构师和工程师不得不深入学术研究尚未触及的领域展开研究。正是因为我们面对的很多问题，在教科书上还无法找到现成的解决方法，所以我们只好自己动手，发明新的解决办法。” 这是亚马逊在十年前做的事情，当前的国内很多人工智能独角兽公司，对智能算法也有着深厚的积累和广泛的应用。可见，在企业数字化转型中，需要充分利用深度神经网络、深度强化学习等智能算法，利用无处不在的网络连通性和随处可达的客户界面，通过产品服务的自主计算和各项衡量指标，对自身的产品和服务以及用户反馈进行实时追踪，核实求证，从而推动进一步的智能化的极致体验的产品建设。 例如，通过多维度数据，在保护用户数据隐私的情况下，为每个用户个性化地从海量的商品中筛选和定制产品和服务；通过语音识别和自然语言处理等智能算法构建友好而便捷的客服系统；使用深度学习结合强化学习算法为用户提供最优的决策选择建议等等。 此外，在提供极致体验的产品和服务的同时，还需要利用数据流通和智能算法，打通对外的产品服务和对内的信息传递以及内部智能决策的通道。 五 内部的快速信息流转和信息共享 在很多企业，内部信息流动是不畅的，往往是条块割据、层级不通，除了具体负责此事的人知道，其他人能否了解，主要得看关系、看利益。一个很简单的信息流转，往往需要通过多个节点中转才能得以处理，其效率之低就可想而知了。 正是因为存在这样的问题，传统企业在启动数字化转型时，需要把数据打通、信息透明作为重点工作之一。在数字化时代，数据已成为企业新的核心资产。从这个意义上说，应当把数据视为企业整体的重要资源，而绝非任何人或任何部门的私人财产。因此，需要大力投入，建设企业内部信息共享和流转系统，实现数据打通、信息透明、以及全面的数据支撑，确保组织高效运转。 通过整理内部和外部的数据以及信息共享、优化信息处理的流程实现从数据的获取、处理和展示以及决策的全系列自动化配置，可以在实际的运营中，实现基于算法的自动决策。 六 智能决策，智能运营 充分利用机器学习、神经网络等智能算法，开发更多功能强大的智能管理工具，在常规性的日常经营问题上，可以实现自动分析、自动决策、智能推荐、智能定价，以释放组织精力，推动产品能力的持续提升。 例如在亚马逊，数据的收集和分析是实时的。如果有需要，团队成员可以看到每天、每小时、每分、每秒的数据。如果出现异动，系统会自动提示相关人员。这样就可以做到第一时间发现问题，第一时间解决问题。 可见，要从根本上实现传统企业的数字化转型，最重要的是需要利用网络和数字化技术，持续地创造价值。在内部要建立高效的协同和沟通机制，实现内部信息的高度共享。并且建立起以长期价值理念为基础的企业文化和价值观，弱化任何的短期利益、KPI。因为在整个数字化转型的实施过程过，需要投入巨大的资源去整合、梳理和建设服务系统，前期却不会有立竿见影的收效，只有目光长远，才能看到其后期所产生的巨大收益和几乎可以忽略不记的边际成本。 目前，人工智能技术已经发挥着巨大的效率和准确性优势，以至于到了让人思考人与算法之间的对立和互补等问题的程度。在企业的数字化过程中，也需要正确认识和对待数字化及智能算法的优势和特点，不应盲目的全部去依靠人工智能，也不需要对即将到来的数字化智能时代心怀恐慌。