标签归档:架构

初创企业的前后端分离架构落地策略

前后端分离架构是一种现代Web应用程序的架构模式,其核心逻辑是将应用程序的前端(用户界面)和后端(业务逻辑和数据访问)分离开来,使它们成为独立的部分。前端和后端通过API进行通信,彼此独立开发、测试和部署。

前端负责用户界面的呈现和交互,通过 HTML、CSS和 JavaScript 等实现。

后端负责业务逻辑的处理、数据的存储和检索,提供 API 接口供前端调用。前端和后端通过 HTTP 协议进行通信,传输数据通常使用 JSON 格式。

1 前后端架构的演化过程

前后端分离架构并不是直接出现的,它是随着技术的发展慢慢演化而来的,大概分为如下几个阶段。

  1. 早期的 Web 应用( 20 世纪 90 年代) :在 Web 应用程序的早期阶段,前后端是紧密耦合的。服务器端使用模板引擎(如 PHP、JS P)生成完整的 HTML 页面,前端主要使用 HTML、CSS 和少量的 JavaScript,与后端混合在一起。这种架构模式简单直接,但灵活性和可维护性较差。

  2. Ajax 的出现( 2005 年) :Ajax(Asynchronous JavaScript and XML)的出现,标志着前后端分离的开始。通过 Ajax,前端可以在不刷新页面的情况下与服务器进行异步通信,实现局部内容的更新。这种技术使得前端能够更加动态和交互,但前后端的耦合度仍然较高。

  3. RESTful API 的兴起( 2000 年代中期) :随着 Roy Fielding 提出REST(Representational State Transfer)架构风格,RESTful API 开始流行起来。RESTful API 使用HTTP方法(GET、POST、PUT、DELETE)对应 CRUD 操作,提供了一种标准化的前后端通信方式。前端通过 Ajax 请求访问后端提供的 RESTful API,实现数据的读写。这种架构模式使得前后端的职责更加清晰,提高了可扩展性和可维护性。

  4. 单页应用(SPA)的崛起( 2010 年前后) :伴随着 JavaScript 框架(如 Backbone.js、AngularJS)的出现,单页应用(SPA)开始流行。SPA 将应用程序的逻辑和路由转移到前端,通过 Ajax 与后端 API 进行数据交互。这种架构模式使得前端能够提供更加流畅的用户体验,但也对前端开发提出了更高的要求。

  5. 现代前端框架的兴起( 2013 年至今) :React、Vue、Angular 等现代前端框架的出现,进一步推动了前后端分离架构的发展。这些框架提供了组件化开发、声明式UI、虚拟DOM等特性,使得前端开发更加高效和可维护。前端框架与后端API的紧密配合,成为构建现代Web应用程序的主流方式。

除了以上的 5 个关键的技术发展外,还有一些技术也促进了前后端分离架构的演化:

  1. Node.js 的崛起和全栈 JavaScript(2009年至今) :Node.js 的出现使得 JavaScript 可以在服务器端运行,催生了全栈 JavaScript 的开发模式。使用 Node.js 构建后端服务,与前端的 JavaScript 框架无缝衔接,形成了完整的 JavaScript 技术栈。这种前后端都使用 JavaScript 的开发模式,进一步促进了前后端分离和全栈开发。

  2. GraphQL 的兴起( 2015 年至今) :Facebook 推出了 GraphQL 作为一种新的 API 查询语言和规范。GraphQL 提供了更灵活、高效的数据查询和聚合能力,成为 RESTful API 的有力补充。前端可以使用 GraphQL 精确地请求所需的数据,减少了数据的冗余和请求次数,提高了开发效率和性能。

  3. Serverless 和 BaaS 的兴起( 2015 年至今) :Serverless(无服务器)架构和 Backend as a Service(BaaS) 的兴起,进一步推动了前后端分离的发展。前端可以直接调用云服务提供的 API 和功能,无需关心服务器和基础设施的管理。这种架构模式使得前端开发更加专注于用户界面和交互,后端服务由云平台提供,提高了开发效率和可扩展性。

前后端分离架构的演变是 Web 技术不断发展的结果。从早期的前后端混合,到 Ajax 的出现,再到 RESTful API、现代前端框架和 Serverless 架构,每一次技术的突破都推动了前后端分离的发展。

如今,前后端分离已成为构建现代 Web 应用程序的主流架构模式,为开发者提供了更大的灵活性、可维护性和可扩展性。

2 前后端分离架构的优势和劣势

前后端分离架构的优势

  1. 开发效率提高:前后端分离允许前端和后端团队并行开发,互不干扰,大大提高了开发效率。前端团队可以专注于用户界面和交互的实现后端团队可以专注于业务逻辑和数据处理。这种分工明确,各自独立,减少了沟通和协调的成本,加快了开发进度。

  2. 技术选型灵活前后端分离使得前端和后端可以根据各自的需求选择适合的技术栈,不受彼此的限制。前端可以使用最新的 JavaScript 框架和工具,如 React、Vue 等,充分发挥前端技术的优势。后端可以选择适合的编程语言和框架,如Java、Python、Node.js 等,根据业务需求和团队技能进行决策。这种技术选型的灵活性,使得团队可以根据项目特点和团队实力,选择最佳的技术组合。

  3. 可扩展性好:前后端分离的架构使得应用程序的扩展更加容易。当需要扩展前端功能时,可以独立对前端进行改进和升级,而不影响后端的稳定性。同样,当需要扩展后端服务时,可以对后端进行水平扩展或性能优化,而不影响前端的运行。这种前后端的解耦,使得系统的可扩展性大大提高,能够更好地应对业务增长和用户量的变化。

  4. 可维护性强:前后端分离的架构使得代码结构更加清晰,模块化程度高,易于维护和修改。前端代码和后端代码分别维护,各自的逻辑和责任边界明确。当需要修改或优化某个部分时,可以针对性地进行修改,而不会影响其他部分的正常运行。这种解耦的架构,降低了系统的复杂度,提高了代码的可读性和可维护性。

  5. 重用性高:前后端分离的架构使得后端提供的 API 可以被多个前端应用程序重用。无论是 Web 端、移动端还是其他客户端,都可以通过相同的 API 接口访问后端服务。这种 API 的复用性,避免了重复开发的问题,提高了开发效率。同时,对于不同的客户端,可以根据其特点和需求,提供定制化的 API,满足不同场景下的数据需求。

  6. 性能优化:前后端分离的架构为性能优化提供了更多的可能性。前端可以使用缓存机制、懒加载、代码压缩等技术,优化页面加载速度和用户体验。通过合理的缓存策略,可以减少不必要的网络请求,提高页面的响应速度。后端可以专注于业务逻辑和数据处理,通过数据库优化、缓存策略、负载均衡等手段,提高 API 的响应速度和吞吐量。前后端分别优化,可以更好地发挥各自的优势,提供更好的性能体验。

前后端分离虽然有如上的优点,但是也并不是没有缺点,有如下的问题在技术选型的时候是需要重点考虑的:

  1. 开发复杂度增加:前后端分离的架构虽然提高了开发效率和灵活性,但也增加了开发的复杂度。前后端团队需要进行更多的沟通和协调,确保前后端的接口设计和数据格式的一致性。由于前后端是独立开发的,需要制定清晰的API文档和约定,避免出现理解偏差和集成问题。同时,前后端分离也对开发人员提出了更高的要求,需要前端开发人员具备一定的后端知识,后端开发人员也需要了解前端的需求和限制。

  2. 前后端的版本兼容性:前后端分离的架构中,前端和后端是独立开发和部署的,它们之间通过 API 进行通信。这就要求前后端的版本必须保持兼容,否则可能会出现功能异常或数据错误。当后端 API 发生变更时,需要及时通知前端团队,并进行相应的调整。同样,当前端需要新的 API 支持时,也需要与后端团队沟通和协调。管理前后端的版本兼容性,需要制定严格的版本控制策略和发布流程,确保平稳过渡和升级。

  3. 数据传输量增大:前后端分离的架构中,前端和后端之间通过 API 进行数据传输,这可能导致数据传输量的增大。由于前端需要通过 API 获取所需的数据,如果 API 设计不合理或前端请求过于频繁,会增加网络负载和延迟。为了减少数据传输量,需要合理设计 API,提供必要的数据过滤和分页机制。同时,也可以采用缓存策略,减少重复的数据请求。在某些场景下,还可以考虑使用 GraphQL 等技术,通过查询语言的方式精确获取所需数据,减少数据的冗余。

  4. 安全性考虑:前后端分离的架构中,由于前端和后端是独立的,因此需要更加关注 API 的安全性。前端通过 API 访问后端服务,如果 API 没有进行适当的身份验证和授权,就可能存在安全风险。恶意用户可能会通过伪造或篡改 API 请求,获取敏感数据或执行未授权的操作。为了确保 API 的安全性,需要实现完善的身份认证和授权机制,如使用 OAuth、JWT 等标准化的认证协议。同时,还需要对 API 进行安全审计和测试,及时发现和修复潜在的安全漏洞。

3 构建前后端分离架构的注意事项

基于前后的优势和劣势,我们在构建前后端分离架构的时候有以下的注意事项:

  1. 明确前后端职责:在构建前后端分离架构时,首先需要明确前后端的职责边界。前端负责用户界面的呈现和交互,而后端负责业务逻辑的处理和数据的存储。要避免前后端职责的混淆,确保各自的代码逻辑清晰和独立。前端不应该包含过多的业务逻辑,而后端也不应该过多地干预前端的界面展示。通过合理的职责划分,可以提高系统的可维护性和可扩展性。

  2. 设计良好的 API前后端分离的关键在于设计良好的 API。API 是前后端之间的通信契约,需要符合 RESTful 或 GraphQL 等标准化的设计原则。API 应该具有清晰的语义,合理的资源命名,以及标准的 HTTP 方法和状态码。同时,API还需要提供完整的文档说明,包括请求参数、响应格式、错误处理等。良好的 API 设计可以提高开发效率,减少沟通成本,并为未来的扩展提供便利。

  3. 统一数据格式:前后端通信过程中,数据格式的统一是非常重要的。前后端应该约定统一的数据交换格式,如 JSON 。在设计 API 时,需要明确定义请求和响应的数据结构,避免出现数据格式不一致的问题。统一的数据格式可以减少数据解析和转换的开销,提高数据传输的效率。同时,也需要考虑数据的验证和错误处理,确保数据的完整性和正确性。

  4. 处理跨域问题:前后端分离架构中,前端和后端通常部署在不同的域名下,因此会涉及到跨域访问的问题。为了允许前端访问后端的 API,需要正确配置跨域资源共享(CORS)。后端需要在响应头中添加适当的 CORS 头部,如Access-Control-Allow-Origin,以允许指定域名的跨域请求。同时,也需要注意 CORS 的安全性,避免过于宽松的配置导致安全漏洞

  5. 身份认证和授权:在前后端分离架构中,需要实现安全可靠的身份认证和授权机制。常见的方式是使用基于 token 的身份验证,如JSON Web Token(JWT)。后端在用户登录成功后,生成一个加密的 token,并将其返回给前端。前端在后续的 API 请求中,将 token 作为请求头发送给后端,用于验证用户身份。后端需要对 token 进行解密和验证,确保请求的合法性。同时,还需要根据用户的角色和权限,对API进行适当的授权控制。

  6. 错误处理和日志记录:在前后端分离架构中,由于前端和后端是独立的,因此需要合理地处理错误情况。后端应该提供明确的错误信息和状态码,前端需要根据错误信息进行适当的处理和显示。同时,还需要记录日志,包括请求日志、错误日志等,以便问题定位和调试。日志记录应该包含关键的信息,如请求参数、响应结果、异常堆栈等,并采用合适的日志级别和格式。

  7. 性能优化:前后端分离架构为性能优化提供了更多的可能性。前端可以采用懒加载、代码拆分、缓存等技术,优化页面加载速度和用户体验。通过合理的缓存策略,减少不必要的网络请求,提高页面的响应速度。使用 CDN 加速静态资源的加载,减少网络延迟。后端方面,优化数据库查询,使用索引和查询优化技术,提高查询性能。合理设计和使用缓存(如 Redis),减少对数据库的直接访问,提高数据的读取速度。采用异步处理和消息队列机制,将耗时的任务异步执行,提高系统的并发处理能力等等。

  8. 监控和运维:建立完善的监控和运维体系,对系统的性能、错误、安全等进行实时监测和管理。前端可以使用错误监控工具(如 Sentry、Bugsnag)来捕获和报告前端的运行时错误,及时发现和修复问题。后端使用 APM(应用性能监控)工具(如 New Relic、AppDynamics)对应用程序的性能指标进行监测,包括请求响应时间、数据库查询性能、资源利用率等,及时发现性能瓶颈和异常情况。使用日志聚合和分析工具(如 ELK 栈)对应用程序的日志进行收集、存储和分析,便于问题的定位和追踪。建立告警机制,根据预设的阈值和规则,及时通知运维人员处理异常情况。制定完善的运维流程和应急预案,包括部署流程、回滚机制、故障处理流程等,确保系统的稳定性和可用性。定期进行系统的备份和恢复演练,做好数据的备份和容灾措施。

4 在初创企业落地实施

初创企业在前后端分离架构落地时,需要从组织分工、技术栈选择、基础设施搭建等多个方面进行全面考虑和规划。以下是一些关键策略:

4.1 组织分工

  1. 成立专门的前后端团队

    根据团队规模和业务需求,成立专门的前端团队和后端团队。

    前端团队负责用户界面的开发和交互,后端团队负责业务逻辑的实现和数据处理。每个团队都有明确的职责和目标,并建立有效的沟通机制,确保协作顺畅。

    在项目早期可能没有完全分开,在一个研发组里面有各个工种,但是内部的分工和权责也要明确出来,算是虚线的逻辑吧。

  2. 设置技术负责人

    在前后端团队中,分别设置技术负责人或架构师,负责制定技术路线、架构设计和技术决策。技术负责人需要深入了解业务需求,平衡技术选型和团队能力,确保技术方案的可行性和合理性。

    最好是有一个全栈一些的技术负责人,能明确边界和原则,同时兼顾对于安全、效率、架构的梳理和管控。

  3. 建立跨部门协作机制

    前后端分离架构需要前后端团队的紧密协作,同时也需要与产品、设计、测试等其他部门保持良好的沟通。建立定期的跨部门会议,讨论需求、进度、问题等,确保各个部门的工作协调一致。

    在特别早期的初创企业,可能没有这么复杂,就一个研发组,一个产品组,大家坐一起完成工作,有事吼一声就行,但是做的节奏和逻辑需要明确,如双周的版本,一方面是有节奏,另一方面是有阶段性的成果交付,对于大家有一些正向的激励作用,同时也让整个项目组感受到事情在有节奏的推进中,有章法。

4.2 技术栈选择

  1. 前端技术栈

    根据项目需求和团队技能,选择合适的前端技术栈。常见的选择包括 React、Vue 等现代化的 JavaScript 框架,以及配套的状态管理库(如Redux、Vuex)和构建工具(如Webpack、Babel)。同时,考虑使用 UI 组件库(如Ant Design、Element UI)和 CSS 预处理器(如Sass、Less)来提高开发效率。

  2. 后端技术栈:后端技术栈的选择需要考虑性能、可扩展性、生态系统等因素。常见的选择包括 Node.js、Java、Golang 等,以及相应的 Web 框架(如Express、Spring Boot、Beego)。选择合适的数据库(如MySQL、MongoDB、Redis)来存储和管理数据。

  3. API 设计和文档:前后端通过 API 进行通信,因此需要制定清晰、规范的 API 设计原则。采用 RESTful 或 GraphQL 等标准化的 API 设计风格,提供易于理解和使用的 API 接口。同时,编写详细的 API 文档,包括请求参数、响应格式、错误码等,方便前后端开发人员的协作和集成。

4.3 基础设施搭建

  1. 开发环境搭建:为前后端团队提供统一的开发环境,包括操作系统、开发工具、依赖管理等。使用版本控制系统(如Git)来管理代码,并建立代码审查和合并的流程。搭建本地开发环境,提供必要的模拟数据和服务,方便开发和调试。以腾讯云为例,可以考虑使用其 Coding 平台,实现代码的版本控制和协作开发。

  2. CI/CD:CI/CD 是基础设施,自动化构建、测试和部署流程,从代码到制品库,再到线上环境部署。

    可以使用 Jenkins、GitLab CI、Travis CI 等工具,实现代码的自动化构建、单元测试、集成测试和部署。建立自动化部署流程,将应用程序快速、可靠地部署到测试环境和生产环境。以腾讯云为例,可以考虑使用其 Coding 平台的 CI/CD 能力。

    前端的构建产物可以使用类似于腾讯云的 COS 结合 CDN 访问,在访问速度和可用性方面都不错。

  3. 生产环境搭建:选择合适的服务器和云平台来托管应用程序。根据业务需求和预期流量,合理配置服务器的规格和数量。考虑使用云服务提供商(如AWS、阿里云、腾讯云)提供的基础设施服务,如虚拟机、容器服务、数据库服务等,以便快速扩展和管理,减少运维相关的工作和人力投入。

  4. 网络策略和安全策略

    1. 网络隔离和安全组 :使用虚拟私有云(Virtual Private Cloud, VPC)对线上环境进行网络隔离,确保不同环境之间的网络隔离性。将不同的服务组件(如 Web 服务器、应用服务器、数据库)放置在不同的子网中,通过网络 ACL 和安全组规则控制子网之间的访问。配置安全组规则,只允许必要的端口和协议通过,禁止不必要的入站和出站流量,减少攻击面。

    2. 负载均衡和高可用:使用负载均衡服务(如腾讯云的 CLB)对线上环境的流量进行分发,实现服务的高可用和横向扩展。配置多个服务实例,通过负载均衡将流量分发到不同的实例,提高服务的容错能力和性能。开启会话保持(Session Persistence)功能,确保来自同一客户端的请求能够被路由到同一个服务实例,保持会话的一致性。

    3. HTTPS 加密传输 :为线上环境的服务配置 SSL/TLS 证书,启用 HTTPS 加密传输,保护数据的机密性和完整性。使用可信的证书颁发机构(CA)签发的证书,确保证书的可信性和安全性。定期检查和更新证书,避免证书过期导致的安全风险。

    4. Web 应用防火墙(WAF) :部署 Web 应用防火墙(如腾讯云的 WAF)来保护线上环境的 Web 应用和 API 接口。配置 WAF 规则,防御常见的 Web 攻击,如 SQL 注入、跨站脚本攻击(XSS)、远程文件包含等。启用 WAF 的 CC 攻击防护功能,防止恶意的流量攻击和请求洪水。

    5. DDoS 防护:为线上环境启用 DDoS 防护服务(如腾讯云的 Anti-DDoS),防御大流量的 DDoS 攻击。前期可以考虑使用 CDN 作为 DDoS 的一道防线。配置合适的防护阈值和清洗策略,根据业务需求和流量特征进行调整。定期监控 DDoS 攻击的情况,及时调整防护策略和扩容带宽。

    6. 访问控制和身份认证:对敏感的管理后台和 API 接口实施严格的访问控制和身份认证机制。启用多因素认证(Multi-Factor Authentication, MFA),如短信验证码、动态口令等,提高账号的安全性。对 API 接口进行身份认证和授权,如使用 OAuth、JWT 等机制,确保只有授权的客户端才能访问。

    7. 网络监控和日志:对线上环境的网络流量进行实时监控,包括流量状况、异常行为等。配置网络流量分析和可视化工具,如腾讯云的云监控,实时了解网络的健康状况。开启网络日志记录,包括访问日志、错误日志等,便于事后分析和问题排查。对网络日志进行集中收集和分析,使用日志分析平台(如 ELK)进行实时监控和告警。

  5. 一些辅助系统

  • API 的管理系统:提供 API 文档,方便前后端开发同学了解和使用 API。
  • 配置中心:集中管理应用程序的配置信息,将配置信息与代码分离,实现配置的动态更新和热加载,无需重新部署应用。
  • 定时任务管理系统:提供任务的依赖管理和失败重试机制,处理任务之间的依赖关系和异常情况,记录任务的执行日志和统计信息,方便问题追踪和性能优化。
  • 数据模型管理系统:管理模型的变更,也可以不用,直接一个 sql 文件做版本管理。

5 小结

初创企业在落地前后端分离架构时,需要全面考虑技术选型、开发流程、基础设施、性能优化、监控运维等多个方面。合理的技术选型和开发流程是高效协作的基石,完善的基础设施和辅助系统是稳定运行的保障,而持续的性能优化和监控运维则是不断迭代和创新的动力。

前后端分离不仅仅是一种技术架构,更是一种思维方式和工作方式的转变。它要求前后端开发人员从各自的舒适区走出来,以开放和协作的心态,通过接口契约和文档驱动的方式,建立起高效、灵活、可扩展的应用架构。分层是架构的本质,分治是架构的灵魂。

初创企业在追求快速迭代和业务增长的同时,也要重视架构的长期演进和技术债务的管理。一个好的前后端分离架构,不仅能够支撑当前的业务需求,更能够为未来的发展提供可扩展性和灵活性。

架构不是一蹴而就的,而是一个不断迭代和优化的过程。关键是要有长远的视角,同时也要脚踏实地,一步一个脚印地前进。

以上

浅谈创业早期技术实现思路

20130108093351_79502-1068x784

浅谈创业早期技术实现思路

创业最开始的时候,是最难的时候,此时,从0到1,从无到有,做的是自己不曾做过的事情,所以,我们称之为创业。

对于早期的技术而言,不要大而全,不用高精尖,先按需求实现,活下来再说。我们需要考虑的是哪些可以用云服务,哪些可以直接用现成的开源方案或技术,哪些需要自己开发; 我们可以粗旷一些,要的是快速出活,让产品活下来。

前期那么几杆枪,就技术而行,要用团队成员最熟悉的,要有人能全盘掌控所有的技术栈。虽然我们用的是最熟悉的东西,但是在整个技术选型和开发过程中,需要有以下几个基本的思路:

1. 原则和规范

  • 注意解耦,分层,动静分离、轻重分离的原则;
  • 开发的规范,代码及代码分支管理规范、发布流程;
  • 在开发过程中,对于公共的操作要抽象成组件,即我们常说的职责单一,如缓存操作,数据库操作等等都封装成组件,一边开发一边封装;

2. 保留水平扩展的能力

  • 业务服务端无状态,会话通过 memcache 等来管理;
  • 数据库设计考虑到一定时间内的容量,做好必要的分库分表,如1到2年的容量规划;
  • 热点数据缓存起来,将大量请求打到缓存而不是数据库;

3. 业务隔离

  • 隔离关键业务和非关键业务;
  • 隔离主业务系统与旁路上报、日志上报等周边系统;如果是 HTTP 服务,至少要在域名级别保证其隔离;
  • 不同端业务的隔离; 如 PC 侧的业务和 H5 的页面可以是同一套代码,但是域名不同,接入点不同,后端机器相同;

4. 用好开源的轮子

  • 在满足现有业务需求的情况下,对业界开源的轮子做技术选型,在能驾驭的前提下尽量使用已有的,成熟的,经过了大量公司实践的开源组件,如nginx,redis,elk等等。

5. 必要的安全策略

  • 安全是互联网应用无法回避的问题,我们需要在框架或基础组件层面引入常见的 XSS 、CSRF 和 SQL注入等安全问题的过滤;
  • 对于静态的能放到CDN的内容尽量放到CDN,一是就近接入,提高访问速度,二是减少后台的服务压力;
  • 保留快速切到云服务防 DDoS 的能力;
  • 在业务层面实现一定的规则以及联合 WEB 容器实现一定程度上的防 CC 攻击能力;

6. 备份、备份、备份

  • 宕机、不同城市的机房同时起火、光缆被挖断、数据错乱等等各种神奇的事情都有可能出现,此时备份就显示出其价值。我们不仅仅是要备份业务数据库,还要备份代码,备份部署脚本等等;
  • 当所有的不幸都发生的时候,我们所有的东西都不见的时候,我们能够很快的将应用恢复到上一个可预见的备份版本,即我们有灾备方案,最好是能够提前演练过;

7. 监控可能出现的异常

  • 使用第三方的监控服务监控网站的访问可用性,服务的可用性等;
  • 对业务的数据和关键的节点进行监控,比如做金融的需要确认每个用户的进出钱要对得上账,在这里至少要有一个监控;

8. 灰度发布

  • 前期按机器做灰度发布,一个简单的脚本就可以搞定,后期可以实现按用户灰度等,以此提高业务的连续性,保证业务的可用性;

从 0 到 1,不管是技术还是业务都是不成熟的,大家都是摸着石头过河,所以我们需要快速的试错,需要快速的反馈。

在技术层面,在保证以上一些原则的同时,快速迭代,实现产品需求,对于一些出错统计类的东西直接交给第三方来实现;在业务层面,如果是网站,一些流量分析直接也是直接交给第三方,比如百度统计,Google Analytics等,对于具体的业务,一个脚本每天早上跑出报表以邮件的形式发到指定邮件组,将相关人加入邮件组列表接以能接收到报表邮件。

以上是最开始需要注意的原则和必须要实现的东西,在此之外,还有很重要的需要搭建的内容需要持续搭建和实现,包括但不限于以下一些:

  1. 降级服务能力:在遇到正常或不正常的大流量时,可以在一定范围内将业务降级,业务降级可以前期提供手动降级能力,后续实现自动降级;
  2. 第三方服务可替换:花钱能解决问题,但花钱一般不能真正的解决问题,因为花钱买来的可能是一个坑,还是一个需要自己填的坑。在使用第三方服务时,需要多家备用可替换,如短信服务,多接两家,平时两家均衡分发,或者按业务分发,当某一家出问题时,直接切到正常的那家;
  3. 日志中心:日志是定位问题的必备工具,当后台服务有多台机器时,就不能一台一台的用 grep 搜索了,需要有一个集中存储的地方,直接上一个 elk 也许能解决大部分的问题;

创业要的是活下来,技术要的是产生价值。 架构会随着业务的发展而不断的演化。


除了眼前的苟且,还有架构与远方。

介绍创业路上的技术选型和架构、大型网站架构、高性能高可用可扩展架构实现,技术管理等相关话题,紧跟业界主流步伐。

qrcode_for_gh_5d3f534e15fe_344 (1)

数据集合类系统如何架构

数据集合类系统如何架构

以下内容来源于QCon某高可用架构群聊天记录整理

如果携程网想把旅游信息展示到另一平台上 平台和他们的系统数据对接,pull好一些还是post好一些?或者说一个系统只是把好多其他商家的数据集合展示到统一的系统上,这样的系统一般如何架构?

先回答第一个问题:数据对接是pull好一些还是post好一些,这里需要根据实际业务做权衡,如果平台系统很大部分是通过聚合第三方数据再展示,那么比较推荐让第三方post数据,自己设计统一数据规则接口。这种情况,需要考虑自身服务的稳定性了,预防第三方误调用,击垮自身系统。如果只有小部分内容聚合第三方,那就pull,比较好保证自己系统稳定性,不过最终还得把所有的数据转换成自己格式,需要自己开发团队做这块工作。

相比较而言,post时效性高,数据交互少,如果系统会需要各个源的信息,最终也不会只是展示那么简单。如果使用post方案,则需要在接入,数据,读取等方面做隔离,在接入使用mq可以提高吞吐,在读的时候用Cache抗。并且在前期需要考虑好数据存储和数据的量级,因为是第三方的数据,在存储的扩展性方面要有比较好的方案。

最终落地的方案可能是:

按业务隔离,不同的业务相互不影响,拆分子系统;
使用redis和kafka保障高性能,kafka主要一方面用到日志上 一方面用到缓解数据库并发上;
使用nginx和lvs保障高可用;
在后期所有数据进hbase然后用storm做数据流处理和分析

以上这些并不需要一次性做到位,不要过早优化,只需要有一些大的原则,比如隔离,扩展等。小系统会随着业务慢慢演变,最终会变成大系统。在演变的过程中,可能会需要读写分离、业务分布式,分服务,架构就是在这样演变的路上成长起来的。