图片 1

云计算环境下的需求

云计算环境引入的技术难点:

  • 如果该环境使用了混合交易型和非交易型的备份和恢复方案,那么最终恢复的数据不一定是正确的
  • 如果某个服务必须在不停机的情况下更新,那么不同版本的逻辑可能同时并行操作数据
  • 如果所有其他有交互关系的服务不是同步更新的,那么在更新过程中各服务的不同版本之间可能会有多种组合,那么就更加增大了数据意外丢失和损坏发生的概率。

扩展API特性:

  • 数据本地性和缓存
  • 本地和全局的数据分布
  • 强一致性/或最终一致性
  • 数据持久性,备份于灾难恢复

AST静态语法分析树

  • 以uglify-js为例,分析一下AST树是个啥
var UglifyJS = require('uglify-js');var code = 'var a = 100';var ast = UglifyJS.parse;//AST语法分析树‘var transformer = new UglifyJS.TreeTransformer(function{ if(node instanceof UglifyJS.AST_Number){//查找需要修改的叶子节点 node.value = '0x' + Number(node.value).toString;//转成16进制 return node;//返回一个新的叶子节点,替换原来的叶子节点 }});ast.transform(transformer);//遍历AST树var ncode = ast.print_to_string();//从AST还原成字符串console.log;//var a = 0x1;

这段代码的结构比较简单,只是实现了一个功能。整个功能的实现可以分为五个小的逻辑代码块。为了能够更直观的展现代码的逻辑线,使用了脑图的垂直时间线结构把他们顺序的列出来,这个过程也是了解代码作者设计思路过程。脑图软件用的xmind,脑图效果如下:

架构与依赖

依赖列表可以用来保证该服务的相关依赖都有足够的容量。

示例问题:

  • 从用户到前端再到后端,请求流到顺序是什么样的?
  • 是否存在不同延迟要求的请求类型?

特办事项:

  • 将非用户请求与用户请求进行隔离
  • 确认预计的请求数量。单个页面请求可能造成后端多个请求。

Loader的原理分析

图片 2image.png

target:目标对象。

  • 必须有一个准确的自然增长需求预测模型,需求预测的时间应该超过资源获取的时间
  • 规划中必须有准确的非自然增长的需求来源的统计
  • 必须有周期性压力测试,以便准确的将系统原始资源信息与业务容量对应起来
//例如 文件都起名为 xxx-xxx.entry.jslet _entry = {};if (/.+\/([a-zA-Z]+-[a-zA-Z]+)(\.entry\.js$)/g.test == true) { const entrykey = RegExp.$1 _entry[entrykey] = item; const [dist, template] = entrykey.split; }

object1:源对象1;

容量规划的步骤:

开启对Webpack多核的支持

  • Webpack是基于NodeJS的,所以开启多核编译来加快编译速度
  • 利用happypack插件来实现
  • webpack5会集成happywebpack,尽情的等待吧!!!
const HappyPack = require('happypack');const os = require;//获取系统信息//开辟一个线程池const happyThreadPoll = HappyPack.ThreadPool({ size: os.cpus().length });module.exports.plugins = [ new HappyPack({ id: 'babel', threadPool: happyThreadPoll, loaders: [{ loader: 'babel-loader' }] }), new HappyPack({ id: 'css', threadPool: happyThreadPoll, loaders: [{ loader: 'css-loader', options: { importLoaders: 1 } },'postcss-loader'] })];//集成到webpack.config.jsmodule: { rules: [ { test: /\.js$/, exclude: /(node_modules)/, use: 'happypack/loader?id=babel', }, { test: /\.css$/, exclude: /(node_modules)/, use: 'happypack/loader?id=css', }, ]}

图片 3

发布检查列表

检查列表可以用来减少失败,并且在多个职能部门之间保证一致性和完整性。

  • 问题
  • 待办事项

原则:

  • 每个问题的重要性必须非常高,理想情况下,都必须有之前发布的经验教训来证明
  • 每个指令必须非常具体、可行,开发者可以在合理的时间内完成

如何开发一个自己的Loader

//入口文件const a = 20;-------------------------loader/index.js-------------------------//loader执行之前module.exports.pitch = function(r1,r2,data){ data.value = 'yd';}//同步loadermodule.exports = function(content, map, meta){ console.log('得到的数据', content);//将const a = 20;转化成buffer <Buffer xxxxx ... > console.log('loader预先得到的数据', this.data.value);//yd return '{};'+content; // this.callback(null, content, map, meta);};//异步loadermodule.exports = function(content, map, meta){ var callback = this.async(); (funciton.then(function(){ if{ callback; }else{ callback(null, ......) } })};//流的方式//module.exports.raw = true;-----------------------------------webpack.config.js-----------------------------------const path = require;module.exports = { module: { rules: [ { test: /\.js$/, loader: path.resolve('./loader/index.js') } ] }};//最后生成代码eval("{};const a = 20;\r\n\r\n//import bar from './bar.js';\r\n//bar.init();\n\n//# sourceURL=webpack:///./src/index.js?");

事件钩子会有不同的类型
SyncBailHook,AsyncSeriesHook,SyncHook等如果是异步的事件钩子,那么可以使用
tapPromise 或者 tapAsync 来注册事件函数,tapPromise 要求方法返回 Promise
以便处理异步,而 tapAsync 则是需要用 callback 来返回结果

compiler.hooks.done.tapPromise('PluginName',  => { return new Promise((resolve, reject) => { // 处理promise的返回结果 reject : resolve;compiler.hooks.done.tapAsync('PluginName', (stats, callback) => { callback;

除了同步和异步的,名称带有 parallel
的,注册的事件函数会并行调用,名称带有 bail
的,注册的事件函数会被顺序调用,直至一个处理方法有返回值名称带有
waterfall
的,每个注册的事件函数,会将上一个方法的返回结果作为输入参数。有一些类型是可以结合到一起的,如
AsyncParallelBailHook,这样它就具备了更加多样化的特性

const pluginName = 'ConsoleLogOnBuildWebpackPlugin';class ConsoleLogOnBuildWebpackPlugin { apply { // 在 compiler的hooks中注册一个方法,当执行到该阶段时会调用 compiler.hooks.run.tap(pluginName, compilation => { console.log("The webpack build process is starting!!!"); }); }}//使用plugins: [ new ConsoleLogOnBuildWebpackPlugin()]webpack 利用了 tapable 这个库(https://github.com/webpack/tapable)来协助实现对于整个构建流程各个步骤的控制。 tapable 定义了主要构建流程后,使用 tapable 这个库添加了各种各样的钩子方法来将 webpack 扩展至功能十分丰富,这就是plugin 的机制

webpack 本质上就是一个 JS Module
Bundler,用于将多个代码模块进行打包。bundler
从一个构建入口出发,解析代码,分析出代码模块依赖关系,然后将依赖的代码模块组合在一起,在JavaScriptbundler中,还需要提供一些胶水代码让多个代码模块可以协同工作,相互引用

分析出依赖关系后,webpack 会利用JavaScript
Function的特性提供一些代码来将各个模块整合到一起,即是将每一个模块包装成一个JS
Function,提供一个引用依赖模块的方法,如下面例子中的webpack__require,这样做,既可以避免变量相互干扰,又能够有效控制执行顺序

// 分别将各个依赖模块的代码⽤ modules 的⽅式组织起来打包成⼀个⽂件================================entry======================================// entry.js import { bar } from './bar.js'; // 依赖 ./bar.js 模块 // bar.js const foo = require('./foo.js'); // 依赖 ./foo.js 模块递归下去,直至没有更多的依赖模块,最终形成一颗模块依赖树 ================================moudles====================================== // entry.js modules['./entry.js'] = function() { const { bar } = __webpack__require__('./bar.js') } // bar.js modules['./bar.js'] = function() { const foo = __webpack__require__('./foo.js') }; // foo.js modules['./foo.js'] = function() { // ... }================================output===========================// 已经执⾏的代码模块结果会保存在这⾥(function{ const installedModules = {} function __webpack__require__ { // 如果 installedModules 中有就直接获取 // 没有的话从 modules 中获取 function 然后执⾏, //将结果缓存在 installedModules 中然后返回结果 }})({ "./entry.js": (function(__webpack_require__){ var bar = __webpack_require__(/*code内容*/) }), "./bar.js": (function, "./foo.js": (function其实webpack就是把AST分析树 转化成 链表

图片 4image.png

4、如果有可能则试着重构或重写这段代码,如果时间不够至少也要重构或重写一些核心代码。

1.在每8-12小时的on-call轮值期间最多只处理两个紧急事件,事后撰写事后报告。2.如果一个产品事故没有触发警报,事后总结意义更大,因为它可以揭示监控系统中的漏洞。3.事故报告:事故发生、发现、解决的全过程、事故根本原因

对于多入口文件,如何巧妙地编写入口

object2:源对象2;

  • 基于用户的使用习惯,服务可靠性要达到什么程度用户才会满意?
  • 如果这项服务的可靠程度不够,用户是否有其它的替代选择?
  • 服务的可靠程度是否会影响用户对这项服务的使用模式?

在阅读代码的时候,我基本上是遵循下面四个步骤来阅读的。

事后总结

  • 究竟发生了什么?
  • 响应的有效程度
  • 下次是否可以采用其它方案解决问题
  • 如何确保这次故障不会再次发生

大数据云计算应用都是优化以下5项的某种组合:在线时间、延迟、规模、创新速度和隐私。

在线时间:经常也用“可用率”指代,代表某个服务可以被用户使用的时间比率。

延迟:服务对用户的相应时间。

规模:某个服务的用户数量,以及能够维持正常服务水平的最高负载

创新速度:某个服务能够在合理成本下,为用户提供更好的服务的创新速度。

隐私:这个名词的定义比较复杂。简单来说,用户删除服务中的数据后,数据必须在合理时间内真正被摧毁。

示例代码选用jquery的extend函数。函数位于jquery源码的227行处。源码如下:

物理服务器:代表具体的硬件(有时候也代表一个VM虚拟机)

梳理好逻辑线并将它们以脑图的形式画出来以后,接下来就从语法、知识点和调用函数三个方面去逐行的分析代码。这个过程也是了解掌握语言特性,书写语法的过程。需要我们去耐心的查找学习每行陌生的代码,了解里面的知识点以及作者为什么要这个知识点,还有没有其他的特性能够实现相同的功能、他们之间有什么优劣。对于没用过的语法也需要去了解并且和自己常用的语法对比,分析其优劣。最终去伪存真的将这些知识点和语法应用到自己的代码中去,提高自己的代码水平。这段店面整理出来的脑图效果如下:

集成

  • 给服务建立一个新的DNS
  • 微服务配置负载均衡系统
  • 为服务配置监控系统

$.extend( [deep ], target, object1 [, objectN ] )

SRE参与模型

  • 系统的体系结构和跨服务依赖
  • 指标的选择、度量和监控
  • 紧急事件处理
  • 容量规划
  • 变更管理
  • 性能:可用性、延迟和资源效率

具体用法请参考博客 jQuery.extend 函数使用详解

1.SRE是工程师,SRE使用计算机科学和软件工程手段来设计和研发大型、分布式计算机软件系统。2.SRE的关注焦点在于可靠性。可靠性应该是任何产品设计中最基本的概念:任何一个系统如果没有人能够稳定的使用,就没有存在的意义。SRE专注于对其负责的软件系统架构设计、运维流程的不断优化,让大型软件系统运行的更可靠,扩展性更好,能更有效的利用资源。3.SRE的主要工作是运维在分布式集群管理系统上运行的具体业务服务,不论是储存服务、web搜索服务、E-mail服务。

阅读代码是任何一个专业程序员所必备的基础技能。掌握一定的阅读技巧和工具不止能帮我们快速的去学习一个知识点、一种编程理论也能帮助我们快速的接手别人的工作或者修改别人的一段代码。那么如何才能去高效的阅读代码哪?接下来用一段代码为例说一下我是如何去阅读一段代码,以及在阅读过程中使用那些工具去协助整理收集知识点的。

容量规划

  • 新功能通常会在发布之初代来临时的用量增长,在几天内会消除。这种尖峰式的负载或流量分布可能与稳定状态下有显著区别,之前的压力测试可能失效。

示例问题:

  • 本次发布是否与新闻发布会、广告、博客文章或者其他类型的推广活动有关?
  • 发布过程中和之后预计的流量和增速是多少?
  • 是否已经获取到该服务需要的全部计算资源

发表评论

电子邮件地址不会被公开。 必填项已用*标注