航天科技大公司都有何样开源项目

紫蓝字体是近来比较火的


奇虎360** https://github.com/Qihoo360**

航天科技 1

1.MySQL中间层
Atlas

Atlas是由 Qihoo 360, 
Web平台部基础架构团队开发珍爱的三个基于MySQL协议的数量中间层项目。它在MySQL官方推出的MySQL-Proxy
0.八.二版本的根基上,修改了大批量bug,添加了不少效应特色。近来该类型在360商店里面获得了广泛应用,很多MySQL业务曾经接入了Atlas平台,每日承载的读写请求数达几10亿条。

首要作用:
* 读写分离
* 从库负载均衡
* IP过滤
* SQL语句黑白名单
* 自动分表

越来越多内容:https://github.com/Qihoo360/Atlas

 

style=”font-size: 14pt; color: #00ccff;”>2.360黑科技=》DroidPlugin 

​DroidPlugin 是360手提式有线电话机助手在 Android
系统上完结了一种新的插件机制:它能够在无需安装、修改的状态下运转APK文件,此体制对改良大型APP的框架结构,实现多组织合营开发具有自然的好处。

特点:

  1. 扶助Androd 二.3上述系统

  2. 插件APK完全不需做任何修改,能够独自设置运营、也能够做插件运维。要以插件方式运营有个别APK,你无需再次编写翻译、无需清楚其源码。

  3. 插件的四大组件完全不须求在Host程序中登记,辅助Service、Activity、布罗兹castReceiver、ContentProvider四大组件

  4. 插件之间、Host程序与插件之间会相互认为对方已经”安装”在系统上了。

  5. API低侵入性:极少的API。HOST程序只是亟需一行代码即可集成Droid
    Plugin

  6. 超强隔断:插件之间、插件与Host之间完全的代码级别的割裂:不能够互相调用对方的代码。通信只好动用Android系统级其他报导情势。

  7. 扶助具有系统API

  8. 能源完全隔开:插件之间、与Host之间完结了财富完全切断,不会并发财富窜用的情事。

  9. 金玉满堂了经过管理,插件的空进度会被随即回收,占用内部存款和储蓄器低。

  10. 插件的静态广播会被用作动态处理,假诺插件未有运营(即未有插件进度运维),其静态广播也永远不回被触发。

越来越多查看:https://github.com/Qihoo360/DroidPlugin/

 

style=”font-size: 1四pt;”>叁.高质量分布式存款和储蓄服务
HustStore

huststore 是三个高性能的分布式存款和储蓄服务,不但提供了 10w QPS 级别的kv 存储的职能,还提供了 hash、set
等壹体系数据结构的支撑,并且支持 二进制 的 kv 存款和储蓄,能够完全代替
Redis 的效用。其余,huststore 还组成特有的 HA
模块实现了分布式音讯队列的效益,包含音信的流式推送,以及音讯的
宣布-订阅 等职能,能够完全代替 RabbitMQ 的法力。

特性

huststore 分为 hustdb 以及 HA 模块两大学一年级部分。hustdb
(存款和储蓄引擎)的尾巴部分设计使用了自主开发的 fastdb,通过1套特种的 md伍 db
将QPS 提高至 十w 级别的水准(含互连网层的支出)。HA 以 nginx
模块的点子支付。nginx 是工业级的 http server 标准,得益于此,huststore
具备以下特点:

  • 高吞吐量
    hustdb 的互连网层选择了开源的 libevhtp 来完成,结合自主研究开发的高质量fastdb 存款和储蓄引擎,品质测试 QPS 在 10w 以上。

  • 高并发
    参考 nginx 的面世能力。

  • 高可用性
    huststore 全部架构补助 Replication (master-master),帮助 load
    balance 。
    HA 的可用性由nginx 的 master-worker 架构所保证。当某一个 worker
    意外挂掉时, master 会自动再开发银行多个 worker 进程,而且多少个 worker
    之间是互为独立的,从而保险了 HA 的高可用性。
    huststore 的高可用性由其总体架构特点保证。由于 hustdb
    的积存节点采用了 master-master 的构造,当某2个囤积节点挂掉时,HA
    会自动将请求打到别的一台 master,同时 HA
    会根据活动举办负荷均衡,将数据分布存款和储蓄在多个hustdb节点上,由此储存引擎不设有单点限制。
    再者 HA 集群本人也是分布式的宏图,而且每一种 HA
    节点都以单身的,当某壹台 HA 挂掉时, LVS
    会自动将请求打到别的可用的 HA 节点,从而消除了 HA 得单点限制。

  • 通用性的接口
    huststore 使用 http 作为通用协议,因而客户端的得以实现不限量于言语。

  • 支撑贰进制的 key-value

越多查看:https://github.com/Qihoo360/huststore

 

四.分布式配置管理工科具
QConf

QConf 是奇虎 360
内部分布式配置管理工科具。用来代替守旧的布局文件,使得配置音讯和程序代码分离,同时布署变化能够实时同步到客户端,而且保险用户赶快读取配置,那使的工程师从零碎的配备修改、代码提交、配置上线流程中解放出来,相当的大地简化了计划管理工科作。

特点

  • 一处改动,全体机器实时同步革新

  • 高速读取配置

  • 设置配备方便,使用简易

  • 服务器宕机、网络中断、集群迁移等相当情况对用户透明

  • 支持c/c++、shell、php、python、lua 等语言

更加多查看:https://github.com/Qihoo360/QConf

 

style=”color: #00ccff; font-size: 14pt;”>5.开源类Redis存款和储蓄系统 Pika

Pika 是 360 DBA 和底蕴架构组联合开发的类 Redis 存款和储蓄系统,完全支持Redis 共同商议,用户不供给修改任何代码,就能够将劳动员搬迁移至 Pika。有维护
Redis 经验的 DBA 维护 Pika 不要求学习开销。

Pika 重要消除的是用户使用 Redis 的内部存款和储蓄器大小超过 50G、80G
等等那样的图景,会遇见运维苏醒时间长,壹主多从代价大,硬件花费贵,缓冲区简单写满等难题。Pika
正是针对这一个情状的二个解决方案。

特点

  • 体积大,协理百G数据量的蕴藏

  • 包容redis,不用修改代码即可平滑从redis迁移到pika

  • 帮忙中央(slaveof)

  • 全盘的运行命令

更加多内容:https://github.com/Qihoo360/pika

 

style=”color: #00ccff;”>陆.对象缓存服务器 kmemcache

分布式linux内核内存对象缓存服务器,实现基于memcached v1.肆.一伍,基本十二分memcached的具备操作。经早先测试,内存数据操作比memcached快1倍,网络并发量比memcached的也大过多,近年来处于阿尔法版本。

优点:由于在根本的socket层完成,全数拍卖网络事件性质比epoll机制快,此外无需内部存款和储蓄器由用户空间到基础空间的正片。

症结:不提议在3二bits下利用。

越来越多内容: https://github.com/Qihoo360/kmemcache

 

style=”color: #00ccff; font-size: 14pt;”>7.ngx_http_subrange_module

当Nginx作为文件下载服务的反向代理,用户请求三个相当大的文本的时候,它会直接占满反向代理服务器与后端主机之间的带宽。因为nginx贰回得到整个文件,缓冲获取到的文件,导致客户端不能够即时读取到。带宽使用和iowait会很高。

ngx_http_subrange_module便是为了缓解这么些难题,它能分开HTTP
requests。将时局据量的HTTP请求切分为多少个子请求,当下载一个1G的文书,subrange将从后端主机中下载文件块,比如先获得5 M,然后再赢得5M,直到客户端下载完全体文件。

越来越多查看:https://github.com/Qihoo360/ngx_http_subrange_module

 

八.联合进行到异步的类库
马里奥

Mario是3个让编写从二只到异步的类库,它的线程安全较大,易于使用。马里奥的最中央的想法就是为着削减人士的配备,下跌本钱和岁月投入。可是有了这几个类库,操作人士就能够挤出精力做别的作业了。所以
Mario 类库能够很轻易的缓解你的难点,你只供给您自个儿的音讯作用。

引擎类型:

  • memory,那种类型正是将数据缓冲存款和储蓄器留在内部存款和储蓄器里。

  • file,这体系型正是能够在地面日志路径里创建做出三个 write二file。

越多查看:https://github.com/Qihoo360/Mario

 

任何壹连串请去360github库阅览

 —————————————————————————————————————-

百度
Baidu**
 https://github.com/fex-team/**

航天科技 2

https://github.com/ecomfe

 

1.UEditor
编辑器

U艾德itor是由百度web前端研究开发部开发所见即所得富文本web编辑器,具有轻量,可定制,珍惜用户体验等风味。

一言九鼎特色:

轻量级:代码精简,加载高效。

定制化:
全新的分支理念,满足多元化的须要。
采纳三层架构:

  1. 宗旨层: 为命令层提供底层API,如range/selection/domUtils类。
  2. 指令插件层: 基于宗旨层开发command命令,命令之间交互独立。
  3. 界面层: 为命令层提供用户使用界面。
    满足分歧层次用户的急需。

https://github.com/fex-team/ueditor

https://github.com/fex-team/umeditor

 

style=”font-size: 14pt;”>2.ECharts 图表库

ECharts开源来自百度生意前端数据可视化共青团和少先队,基于html5Canvas,是贰个纯Javascript图表库,提供直观,生动,可互相,可本性化定制的数码可视化图表。创新的拖拽重计算、数据视图、值域漫游等特点大大提升了用户体验,赋予了用户对数码举行挖掘、整合的力量。提供买卖产品常用图表,底层基于ZRender(四个全新的轻量级canvas类库),成立了坐标系,图例,提醒,工具箱等基础零部件,并在此上营造出折线图(区域图)、柱状图(条状图)、散点图(气泡图)、饼图(环形图)、K线图、地图、力导向布局图以及和弦图,同时协助任意维度的积聚和多图表混合表现。

更多:https://github.com/ecomfe/echarts

 

ECharts-X是 ECharts 团队推出的全新 3D 可视化库,它是基于 ECharts
的恢弘,底层深度整合了 WebGL 库QTEK和 Canvas二D 库ZRender。

扩展:https://github.com/ecomfe/echarts-x

 

三.WebUploader
上传控件

WebUploader 是由Baidu
WebFE(FEX)团队开销的3个粗略的以HTML伍为主,FLASH为辅的现代文件上传组件。在当代的浏览器里面能足够发挥HTML5的优势,同时又不丢掉主流IE浏览器,延用原来的FLASH运维时,包容IE6+,Andorid
四+,IOS
6+。两套运转时,同样的调用格局,可供用户自由选取。选取大文件分片并发上传,一点都不小的滋长了文件上传效用。

https://github.com/fex-team/webuploader

 

style=”font-size: 14pt; color: #00ccff;”>四.百度脑图 KityMinder

KityMinder
是百度FEX团队的f-cube小组(原UEditor小组)的又一大小说。作为1款在线的脑图编辑工具,它抱有许多Native编辑工具的并行体验。KM与UE有着同样的宏旨,正是重视最终用户的使用体验。同时,它丰硕发挥了Web云存款和储蓄的优势,能够一向将编写制定中的脑图同步到云端。其余,借由独创的
“云盘分享”作用,用户能够1键将最近编辑的脑图间接生成在线链接共享给其余用户,完毕无缝沟通。
KM是基于SVG技术落成,使用JavaScript+html实现。支持绝半数以上的主流浏览器。
辅助列表如下

  1. chrome
  2. firefox
  3. safari
  4. ie9-11

https://github.com/fex-team/kityminder

 

5.人造智能类别WALX570P-CTC

WAOdysseyP-CTC 基于 CTC 方法,当前可用的有的 CTC
达成普通须求大批量的内部存款和储蓄器照旧是慢十到几百倍。

百度研商所首席物军事学家 Andrew Ng
称他的钻研重点是人工神经网络怎么着在图形处理单元 (GPUs) 上运转,让
WA安德拉P-CTC 达成对 GPUs 和 x八6 CPUs 的支撑。

connectionist temporal classification (CTC) 方法能够追溯到 2007 年,在
Swiss AI 研商所 IDSIA 故事集上有记录。 百度研讨所开发的 WALacrosseP-CTC 就依据CTC 方案,然而革新了其自身的语音识别功效

https://github.com/baidu-research/warp-ctc

 

其他1连串请去baidu github库观望

 —————————————————————————————————————-

腾讯 QQ http://alloyteam.github.io/

航天科技 3

https://github.com/AlloyTeam/Mars

https://github.com/tencent-wechat

style=”font-size: 14pt; color: #ed0727;”>一.WeUI 为微信Web服务量身设计

WeUI
是1套同微信原生视觉体验一致的根基样式库,由微信官方安排团队为微信 Web
开发量身设计,能够令用户的施用感知越发统壹。包括buttoncelldialog、 progress、 toastarticleactionsheeticon等各式成分。

https://github.com/weui/weui

 

style=”font-size: 14pt; color: #ed0727;”>二.手提式有线电话机前端开发调节和测试利器
vConsole

咱俩在支付手提式有线电话机版网页的时候,平时会并发上面包车型大巴现象:

 (1)
开发时,在友好电脑上运营得呱呱叫的,在手提式有线话机上开辟就挂了,但是手提式有线电话机上又看不到error
log; 

 (二)
上线后,某用户表示页面失灵,但大家协调又复发不出去,看不到用户侧的失误音信。

假使说(1)仍是能够通过总结机延续手提式有线电话机以查看log来缓解,那(贰)在未有宏观的前端上报体系时就老大被动了。

作为开发者,大家的诉求很简短:有未有十分的快的法子在二弟大前端页面来看log日志?vConsole就那样出现了!

https://github.com/WechatFE/vConsole

 

style=”font-size: 14pt; color: #ed0727;”>三.正经级Web图像处理引擎
AlloyImage

AlloyImage是多少个运用Javascript语言开发的,基于Web的在线图像处理引擎,除了大旨底层图像处理引擎,还同时并入了有的方便快速的图像处理API,您能够将它差不多飞快的引用到你的Web网页中,做出与PhotoShop一样的华美效果。甚至,你能够用AlloyImage来开发贰个Web在线图像处理软件。

https://github.com/AlloyTeam/AlloyImage

https://github.com/AlloyTeam/AlloyPhoto 

 

style=”color: #00ccff;”>肆. GoPng 图片合并并生成CSS

Css
百事可乐,有时也称为百事可乐图、Smart图,是每2个前端开都会赶上的难点,也是普遍的小图片加载优化手段。 

在线版本:https://alloyteam.github.io/gopng/

源码地址:https://github.com/AlloyTeam/gopng

style=”line-height: 壹.五; background-color: initial;”>合成分解: style=”line-height: 1.5; background-color: initial;”>https://github.com/luyongfugx/hcSpriteCuter
(3个由多张小图合并而成的7-Up图中抠出个中一张大概几张图纸)

 

style=”color: #00ccff;”>5.可视化Web创设筑工程具
AlloyDesigner

AlloyDesigner
是1款致力于升高前端生产作用的浏览器内运转为工人身份具,AlloyDesigner + Chrome
F1贰(Especially with WorkSpace)  营造前端新的支出和测试情势

https://github.com/AlloyTeam/AlloyDesigner

 

style=”font-size: 14pt; color: #ed0727;”>六.Koala跨平台图形编写翻译工具

Koala是1款预处理器语言图形编写翻译工具,扶助Less、Sass、CoffeeScript、Compass
framework 的即时编写翻译。
无需手动输入指令去编写翻译,后台监听文件是不是有改变,如有修改会自动进行编写翻译。可以大大提高 Web 开发中的工效。

效能特色

  • 多语言协理 支持Less、Sass、CoffeeScript 和 Compass Framework。

  • 实时编写翻译 监听文件,当文件改变时自动执行编译,那一切都在后台运转,无需人工操作。

  • 编写翻译选项 能够设置各样语言的编写翻译选项。

  • 花色安顿 辅助为项目创立3个大局配置,为文件设置统一编译选项。

  • 张冠李戴提醒 在编写翻译时借使碰着语法的不当,koala将在右下角弹出错误信息,方便开发者定位代码错误地点。

  • 跨平台 Windows、Linux、Mac都能周到运转。

系统支持及供给

Koala支持跨平台运行,完美包容Windows、Linux与Mac 。
Linux系统下需安装好ruby运维环境, e.g. $ sudo apt-get install ruby.

https://github.com/oklai/koala

 

style=”font-size: 14pt;”>7.轻量级 CSS3 动画库
JX.Animate

JX.Animate
是3个开源的轻量级的CSS3动画库。动画可以行使专业的CSS三重大帧动画(KeyFrame)制作,也足以动用JavaScript制作,而且还足以支撑在JavaScript中动态变化动画关键帧。

https://github.com/AlloyTeam/JXAnimate

 

style=”color: #00ccff;”>8.Fanvas swf转为html5 canvas

Fanvas是1个把swf转为html5canvas动画的系统,由两局部构成:Actionscript达成的解析器、js运维库。Flash做动画是最成熟最高效的方法,但由于极端基本不扶助Flash播放,那给终端的卡通制作带来了不可枚举烦劳。Fanvas是Flash和Canvas的周密组合,能够把swf(包含矢量和位图)完美地转向为canvas动画.

https://github.com/TencentOpen/Fanvas

 

9.身上调测平台
GT

GT(随身调)是应用软件的身上调测平台,它是直接运行在手提式有线电话机上的“集成调测环境”(IDTE,
Integrated Debug
Environment)。利用GT,仅凭一部无绳电话机,无需接二连三电脑,您即可对APP举办高效的品质测试(CPU、内部存款和储蓄器、流量、电量、帧率/流畅度等等)、
开发日志的查看、Crash日志查看、网络数据包的抓取、APP内部参数的调节、真机代码耗费时间计算等。如若您认为GT提供的作用还不够满足你的急需,您仍是能够应用GT提供的基础API自行开发有万分功用的GT插件,支持你消除尤其复杂的APP调节和测试难题。

https://github.com/TencentOpen/GT

 

10.Frozen
UI 移动端UI框架

Frozen
UI是二个开源的简便易用,轻量快速的移动端UI框架。基于手Q样式规范,采取最常用的机件,做成手Q公用离线包减少请求,升级情势友好,文档完善,近期1揽子运用在腾讯手Q增值业务中。

https://github.com/frozenui/frozenui

 

1一.LivePool  Web
开发调节和测试工具

LivePool 是三个基于 NodeJS,类似 Fiddler 辅助抓包和本土替换的 Web
开发调节和测试工具,是 Tencent AlloyTeam 在付出实践进度总计出的一套的省心的
WorkFlow 以及调节方案。

特性

  • 基于 NodeJS, 跨平台

  • 支撑 http 抓包和本土替换调节和测试,Https/WebSockets
    直接代理转载(暂不辅助本地替换)

  • 方便的 UI 管理界面,跟 Fiddler 类似,降低学习花费

  • 能够退出 UI
    后台运转,适应于某个不须要抓包,只需求使用替换和简易路由的情景

  • 听大人说项指标更迭规则管理,方便高效,规则协助拖曳排序

  • 支撑基于请求路径的当半夏件替换,帮衬基于请求路径的路由转载(host
    配置)

  • 轮换类型帮助:文件/文件夹替换,combo合并替换,qzmin替换(批量combo),delay延时等

  • 支撑自动安装系统代理

  • 支撑规则过滤,只显示关怀的呼吁

  • 提供创设 http get/post 请求界面,方便接口调节和测试

  • 特色效益:模拟gprs/三g等低网速(mac only)

  • 特点效益:帮忙离线站点到本地,并活动代码格式化

https://github.com/rehorn/livepool

 

style=”color: #00ccff; font-size: 14pt;”>**12.KNVProtoEngine 高质量树型协议处理引擎**

KNV是三个形式自由的高品质树型协议处理引擎,是对Key-Value的3个通用结构化扩张。

动用天性

正如NoSQL对SQL的到底变革一样,KNV是对Key-Value的干净变革!

世家都很熟谙Key-Value系统,但KV操作极不方便:

你只可以本身做乐观锁(读重返seq->修改->带seq写->seq变化则重头伊始);
— 你只好拉取一群数据,然后再领取你想要的一部分;
— 为了修改3个bit,你不得不把一串数据拉取修改后再一并付出更新
而是未来有KNV,一切都化解了。KNV时代来了,你还在迟疑吗?

使用场景

KNV是越发针对以Protocol
Buffers(或接近树型结构)存款和储蓄的储存系统开发的,有二个应用场景:

  1. 储存系统 处理用户请求的通用化解办法(Get/Set/Delete),能够适配任意用户自定义的数据结构。

  2. 代办/通用逻辑层 服务器处理Protocol Buffers协议的通用方法 –
    比如通用Proxy,透传四个体协会议,
    对请求包进行鉴权、限频、计算等等操作,还支持对包体内容举办审计,使用KNV协议,
    那种艺术就有望还要很简短。

  3. 原生态 Protocol Buffers打解包库 的高品质代替品。

https://github.com/TencentOpen/KNVProtoEngine

 

一叁.Behaviac
游戏AI的支出框架组件

Behaviac是游玩AI的支出框架组件,也是游玩原型的高效设计工具。协助作为树BT,状态机FSM,HTN等各个范式,方便的编写和调节。帮助全平台,适用于客户端和服务器,助力游戏高速迭代开发。编辑器能够运作在PC上,操作便利直观可信,援救实时和离线调节和测试;编辑器能够导出xml,bson等多种格式,更能够导出C++,C#源码,提供最高作用。运营时帮助全平台,有C++和C#八个本子,原生协助Unity。

已被《每二日炫斗》、《QQ飞车》、《全体公民突击》、《全体公民夺宝》、《九龙战》等娱乐及别的越来越多预备性切磋项目选用。

https://github.com/TencentOpen/behaviac

 

style=”color: #00ccff;”>1四.现代创设系统 Typhoon Blade

Blade主要定位于linux下的重型C++项目,密切合作研究开发流程,比如单元测试,持续集成,覆盖率总括等。但像unix下的文件过滤程序一样,保持相对的独立性,可以独立运营。方今重大援助i386/x86_64Linux,现在能够设想支持任何的类Unix系统。

特点:

  • 机关分析头文件信赖关系,创设受影响的代码。

  • 增量编写翻译和链接,只营造因改动受影响而需求构建的。

  • 自行计算库的直接信赖,库的小编只要求写出直接注重,营造时自动物检疫查所正视的库是还是不是须要再行创设。

  • 在随心所欲代码树的任意子目录下都能营造。

  • 支撑1次递归创设四个目录下的全数目的,也支撑只营造任意的一定的对象。

  • 不论创设什么目的,那个目的所正视的指标也会被活动连坐更新。

  • 嵌入 debug/release 三种营造类型。

  • 彩色高亮构建进程中的错误消息。

  • 支持 ccache

  • 支持 distcc

  • 援助基于塑造多平台目的

  • 辅助创设时接纳编写翻译器(不相同版本的gcc,clang等)

  • 支撑编写翻译 protobuf,lex, yacc, swig

  • 支撑自定义规则

  • 支撑测试,在命令行跑五个测试

  • 援助相互测试(四个测试进程并发运营)

  • 支撑增量测试(无需另行运营的测试程序自动跳过)

  • 集成 gperftools,自动物检疫查测试测试程序的内部存款和储蓄器走漏

  • 创设脚本 vim 语法高亮

  • svn 式的子命令命令行接口。

  • 协理 bash 命令行补全

  • 用 Python 编写,无需编译,直接设置使用。

干净幸免以下难题:

  • 头文件更新,受影响的模块未有再度营造。

  • 被依赖的库供给更新,而营造时不曾被更新,比如某子目录信赖遥远的某外部目录的代码,小编在那么些目录营造,外部目录的代码会被电动物检疫查是或不是也需求再度营造。

https://github.com/chen3feng/typhoon-blade

 

style=”font-size: 14pt; color: #ed0727;”>15.RapidJSON C++的JSON开发包

Rapidjson 是2个 C++ 的火速 JSON 解析器和生成器,使用 SAX/DOM 风格的
API 设计。

https://github.com/miloyip/rapidjson

 

style=”font-size: 14pt;”>1陆. 微信开源PhxSQL

PhxSQL是一个包容MySQL、服务高可用、数据强1致的关系型数据库集群。PhxSQL以单Master多Slave情势安排,在集群内超越4/8机械存活的景况下,可自笔者完毕自动Master切换,且保险数据壹致性。

https://github.com/tencent-wechat/phxsql

 

 越多请自行查看:http://alloyteam.github.io/ https://github.com/tencent-wechat

 —————————————————————————————————————-

新浪:WeiBo https://github.com/weibocom

航天科技 4

style=”font-size: 14pt;”>一.分布式缓存服务器 memcachedb

class=”hilite一”>memcachedb是
二个由今日头条网的开发人士开放出来的开源项目,给memcached分布式缓存服务器添加了BerkeleyDB的持久化存款和储蓄机制和异步主辅复制机制,让memcached具备了业务恢复生机能力、持久化能力和分布式复制能力,万分适合于必要超高质量读写速度,但是不需求从严业务约束,能够被持久化保存的利用场景,例如 class=”hilite1″>memcachedb被选择在今日头条博客上面。

class=”hilite1″> class=”hilite1″>https://github.com/stvchu/memcachedb

二.动态流量管理方案
Upsync

Upsync,和讯开源基于Nginx容器动态流量管理方案 。Nginx
以其超高的质量与安定,在业界获得了左近的应用,新浪的七层就大气运用了
Nginx 。结合 Nginx 的健检模块,以及动态 reload
机制,能够接近无损的服务的提高上线与扩大体积。那年扩大体量的频次比较低,大多数景观下是有安排的扩大体积。Upsync,开发了模块
nginx-upsync-module,它的法力是拉取 consul 的后端 server
的列表,并创新 Nginx 的路由音信。此模块不借助于于别的第2方模块。consul
作为 Nginx 的 db,利用 consul 的 KV 服务,每一个 Nginx work
进度独立的去拉取各样 upstream 的安顿,并更新各自的路由。

https://github.com/weibocom/nginx-upsync-module

三.高品质的内核 Socket
完毕 法斯特socket

法斯特socket 是二个高扩充性的 Socket 以及 Linux
内核的底层网络实现。能够在多核机器上提供极好的性质,其它使用和掩护还格外不难。近来该项目现已在新浪的生育环境中运用。该品种由清华大学和天涯论坛网球联合会见重组的
法斯特os 团队开发,该团伙的职分是升级 Linux 内核的频率。法斯特socket
近来已经使用在知乎腾讯网的生产环境上,首要用于提供负载均衡服务的
HAProxy,线上实在质量提高一倍,从201肆年三月份祥和平运动转到现在,预计2012虚岁末形成负载均衡全体集群的
Fastsocket 升级。法斯特socket 完全相配 BSD Socket API,现有种种基于
Socket 的互连网选择可以向来动用
法斯特sockt。 近日透过分外测试的常用服务软件有:HAProxy、Nginx、Lighttpd、Redis
和 Memcached。

https://github.com/fastos/fastsocket

4.轻量级 RPC 框架
Motan

Motan 是1套高性能、易于使用的分布式远程服务调用(CR-VPC)框架。

功能

  • 支撑通过spring配置格局集成,无需额外编写代码即可为劳动提供分布式调用能力。

  • 支撑集成consul、zookeeper等配备服务组件,提供集群环境的劳务意识及治理能力。

  • 扶助动态自定义负载均衡、跨机房流量调整等高等服务调度能力。

  • 依照高并发、高负载场景实行优化,保证生产条件下CR-VPC服务高可用。

https://github.com/weibocom/motan

五.TCP
天性剖析工具 Tcpdive

Tcpdive 是 TCP 质量剖析工具,主要特征:

  • 更加多 TCP 内部质量消息

  • 定量评估 TCP 质量立异

  • 描述在 TCP 层的 HTTP 处理,依赖于 HTTP Apps

  • 不难布置,使用自个儿

Tcpdive 已经在网易的生育环境上陈设使用:

  • 提升博客园图片服务品质

  • 增进今日头条录制服务质量

  • 在有线和有线互连网中比较 TCP 品质

  • 笔录分歧选取的 TCP 流量

https://github.com/fastos/tcpdive

style=”font-size: 14pt;”>6.PHP框架 Yaf

Yaf是一个C语言编写的PHP框架,Yaf 的性格:

  1. 用C语言开发的PHP框架, 比较原生的PHP, 差不离不会拉动至极的习性费用.

  2. 全体的框架类, 不必要编写翻译, 在PHP运行的时候加载, 并常驻内部存款和储蓄器.

  3. 越来越短的内部存款和储蓄器周转周期, 进步内存利用率, 下跌内部存款和储蓄器占用率.

  4. 灵活的自发性加载. 扶助全局和局部二种加载规则, 方便类库共享.

  5. 高质量的视图引擎.

  6. 惊人灵活可扩充的框架, 协理自定义视图引擎, 协理插件,
    协理自定义路由等等.

  7. 内建各个路由, 能够相称如今大面积的种种路由协议.

  8. 强大而又中度灵活的布局文件援救. 并支持缓存配置文件,
    防止复杂的布置结构带来的属性损失.

  9. 在框架本身,对危险的操作习惯做了禁止.

  10. 更加快的执行进度, 更加少的内部存储器占用.

https://github.com/laruence/yaf


小米:XiaoMi https://github.com/XiaoMi

航天科技 5

style=”color: #00ccff; font-size: 14pt;”>壹.分布式的宣布和监理体系Minos

Minos
是Samsung公司支付的3个分布式的颁发和监察系统。最初是Nokia开发的用来在
Hadoop 和 ZooKeeper 集群上揭露和管制的工具。Minos
可轻松扩展来支撑任何的体系,如今已经协理包含 HDFS、YAPAJERON 和 Impala 。

https://github.com/XiaoMi/minos

 

style=”color: #ed0727; font-size: 14pt;”>二.网络公司级监督系统
OpenFalcon

Open-Falcon 是One plus运营部开源的一款互连网公司级监督检查类别缓解方案.

监督检查系统是总体运转环节,乃至整个产品生命周期中最要紧的壹环,事前随即预先警告发现故障,事后提供可信的数据用于追查定位难题。监察和控制系统作为二个深谋远虑的运行产品,产业界有成都百货上千开源的兑现可供接纳。当集团正好起步,业务规模较小,运行团队也刚好创设的最初,采取一款开源的督察系统,是一个省时省力,功效最高的方案。之后,随着工作规模的缕缕神速增加,监控的指标也越来越多,越来越复杂,监察和控制系列的采纳对象也从最初少数的几个SRE,扩充为越来越多的DEVS,SRE。这时候,监察和控制系列的体量和用户的“使用频率”成了极其出色的难题。

监督检查种类产业界有广大才占八斗的开源监察和控制系统。大家在最初,从来在用zabbix,然而随着事情的急速升高,以及互连网企业故意的有个别需要,现有的开源的督察系统在性质、扩展性、和用户的利用作用方面,已经无力回天支撑了。

从而,大家在过去的一年里,从互连网专营商的局地急需出发,从各位SRE、SA、DEVS的施用经验和反映出发,结合产业界的1部分大的网络专营商做监察和控制,用监督的1对心想出发,设计开发了BlackBerry的监督检查连串:Open-Falcon。

Highlights and features

  • 多少收集免布局:agent自发现、支持Plugin、主动推送格局
  • 容积水平扩充:生产条件每秒50万次数据搜集、告警、存款和储蓄、绘图,可不断水平扩充。
  • 报告警察方策略自发现:Web界面、协理政策模板、模板继承和覆盖、二种报告警察方情势、支持回调动作。
  • 报告警察方设置人性化:协助最大告警次数、告警级别设置、告警恢复生机布告、告警暂停、不相同时段分化阈值、帮助保障周期,帮助告警合并。
  • 历史数据神速查询:秒级重返上百个目的一年的野史数据。
  • Dashboard人性化:多维度的多少展现,用户自定义Dashboard等作用。
  • 架构划设想计高可用:整个系统无主旨单点,易运行,易布置。

https://github.com/XiaoMi/open-falcon

 

3.物联网框架
IoT.js

IoT.js 目的在于为物联网提供2个基于 Web 技术的可互相操作的服务平台。IoT.js
的对象是要在能源受限的设备上卓越运维,例如唯有几 KB 的
RAM。所以它辅助广大的物联。

https://github.com/Samsung/iotjs


豆瓣 DouBan https://github.com/douban

航天科技 6

 

一.分布式总计框架
DPark

DPark 是 斯Parker 的 Python
克隆,是三个Python完成的分布式总括框架,能够格外便于地落实科普数据处理和迭代计量。
DPark 由豆瓣达成,近来豆瓣内部的超过157%量解析都使用DPark
达成,正日趋完善。

https://github.com/douban/dpark

 

style=”color: #00ccff;”>2.iOS/Mac 音频播放器
DOU奥迪(Audi)oStreamer

DOU奥迪(Audi)oStreamer 是 iOS 和 Mac 的按执照主人旨音频的流媒体音频播放器。

https://github.com/douban/DOUAudioStreamer

 

3.CODE
豆类代码托管连串

Douban CODE 是豆类开发的三个根据 git 版本控制系统的合作平台。

CODE —— C: Community O: Original D: Developer E: Eldamar

时下 CODE 仅开放了2个框架,协助:

  • clone & push project

  • create project

  • create user

积谷防饥条件

  • MySQL

  • Memcached

  • Python >= 2.7

  • pip >= 1.4.1

  • virtualenv

  • git

https://github.com/douban/code

 


网易
NetEase
 https://github.com/netease

 航天科技 7

style=”font-size: 14pt; color: #ed0727;”>壹.分布式TCP压力测试工具
tcpcopy

tcpcopy是1种采纳请求复制(基于tcp的packets)工具,其应用领域较广,近日曾经应用于国内各大网络卖家。

一体化说来,tcpcopy主要有如下效果:

壹)分布式压力测试工具,利用在线数据,能够测试系统还行的压力大小(远比ab压力测试工具真实地多),也得以提前发现有的bug
贰)普通上线测试,能够发现新连串是不是稳定,提前意识上线进程中会出现的大队人马标题,让开发者有信心上线
叁)相比试验,同样请求,针对分歧或分裂版本程序,能够做性能相比等考试
四)利用两种手段,构造Infiniti在线压力,满足中型小型网址压力测试须求
伍)实战练习(架构师必备)

https://github.com/session-replay-tools/tcpcopy

 

style=”color: #ff0000; font-size: 14pt;”>二.桌面应用程式的跨平台消除方案
heX

heX
是乐乎有道搜索部门付出的一个同意你采用前端技术(HTML,CSS,JavaScript)开发桌面APP的跨平台解决方案,基于HTML5+ node.js,类似appjs。是你付出桌面应用的一种新的选取,目的在于缓解古板桌面应用开发中繁琐的UI和相互开发工作,使其变的简练而飞速。尤其符合重UI,重交互的桌面应用程式。

https://github.com/netease-youdao/hex

https://github.com/netease-youdao/hex-samples

 

三.Android品质测试工具
埃玛gee

埃玛gee是监督钦命被测应用在接纳进度中占有机器的CPU、内存、流量能源的属性测试小工具。

支撑SDK:Android二.2以及上述版本

埃玛gee效用介绍

一、检查测试当前岁月被测应用占用的CPU使用率以及完整CPU使用量

贰、检验当前光阴被测应用占用的内部存款和储蓄器量,以及占用的欧洲经济共同体内部存款和储蓄器百分比,剩余内部存款和储蓄器量

叁、检查测试采取从起步上马到目前日子花费的流量数

4、测试数据写入到CSV文件中,同时储存在手提式有线电话机中

5、能够挑选开启浮窗成效,浮窗中实时显示被测应用占用品质数据音讯

陆、在浮窗中得以快快捷运输营可能关闭手提式有线电话机的wifi互连网

https://github.com/NetEase/Emmagee

 

style=”font-size: 1四pt; color: #00ccff;”>四.基于udp的请求复制工具
udpcopy

udpcopy用来消除udp应用的贰个开源软件,与tcpcopy同属于xcopy体系,能够导入udp流量到测试系统中去,那样就能够使得地对系统举行各类测试,比如压力测试,冒烟测试等等。

https://github.com/wangbin579/udpcopy

 

style=”font-size: 1肆pt;”>伍.实时编辑刷新的前端服务器 Puer style=”font-size: 1八px; color: #000000;”>( style=”color: #ff6600;”>推荐: style=”color: #ff6600;”>browser-sync  style=”font-size: 15px;”>https://github.com/BrowserSync/browser-sync

简简单单,Puer是一个足以实时编辑刷新的前端服务器。特性一览:

  • 提供2个当下或钦赐路线的静态服务器

  • 全数浏览器的实时刷新:编辑css实时更新(update)页面样式,其它文件则重载(reload)页面

  • 提供简单纯熟的mock请求的安排效应,并且布署也是自动更新。

  • 可用作代理服务器,调节和测试开发既有服务器的页面,可与mock功用同盟使用

  • 集成了weinre,并提供二维码地址,方便移动端的调试

  • 能够看做connect中间件使用(前提是后端为nodejs,不然请使用代理情势)

https://github.com/leeluolee/puer

————————–Alibaba开源的好软件太多,请自行选拔所需,作者列多少个大家用的————————-

阿里Baba阿里Baba(Alibaba) https://github.com/alibaba/ https://github.com/thx

航天科技 8

style=”font-size: 1肆pt;”>一.分布式key/value存款和储蓄系统
Tair

Tair是由Taobao网自主开发的Key/Value结构数据存储系统,在天猫网有着广阔的行使。您在报到天猫商城、查看商品详情页面也许在淘江湖和挚友“捣浆糊”的时候,都在直接或直接地和Tair交互。Tair是一个Key/Value结构数据的化解方案,它默许协助基于内部存储器和文件的二种存款和储蓄方式,分别和我们经常所说的缓存和持久化存款和储蓄对应。

Tair除了常见Key/Value系统提供的功用,比如get、put、delete以及批量接口外,还有部分叠加的实用功用,使得其有更广的适用场景,蕴涵:

  • Version支持

  • 原子计数器

  • Item支持

https://github.com/alibaba/tair

 

style=”font-size: 14pt; color: #ff0000;”>二.TFS 分布式文件系统

TFS(TaobaoFileSystem)是2个高可扩充、高可用、高质量、面向网络服务的分布式文件系统,其设计指标是支撑海量的非结构化数据。

时下,国内自主研究开发的文件系统可谓凤毛麟角。天猫在那壹世界做了实惠的探赜索隐和履行,TmallFile
System(TFS)作为天猫内部使用的分布式文件系统,针对海量小文件的任性读写访问质量做了异样优化,承载着Taobao主站全数图片、商品描述等数码存款和储蓄。

https://github.com/alibaba/tfs

 

3.新闻中间件
罗克etMQ

style=”font-size: 14pt; color: #ff0000;”>航天科技 9

https://github.com/alibaba/RocketMQ

https://github.com/alibaba/RocketMQ-docs

 

style=”font-size: 14pt; color: #ff0000;”>四.分布式总结种类 JStorm

 Jstorm是参照storm的实时代时尚式计算框架,在网络IO、线程模型、能源调度、可用性及平安上做了源源革新,已被越来越多商户应用

https://github.com/alibaba/jstorm

 

5.淘宝Web服务器
Tengine

Tengine是由Taobao网发起的Web服务器项目。它在Nginx的根基上,针对大访问量网址的要求,添加了很多尖端功效和特色。Tengine的习性和平静已经在大型的网址如天猫网,天猫商城超级市场等获取了很好的视察。它的最后目的是创立2个飞快、稳定、安全、易用的Web平台。

 

以下沿引项目主页上的特色介绍:

 

  • 此起彼伏Nginx-1.贰.八的保有天性,百分之百合营Nginx的布局;

  • 动态模块加载(DSO)补助。参预三个模块不再供给再行编写翻译整个Tengine;

  • 越多负载均衡算法帮助。如会话保持,1致性hash等;

  • 输入过滤器机制辅助。通过使用那种体制Web应用防火墙的编纂更为便利;

  • 动态脚本语言Lua扶助。扩展成效非凡高效简明;

  • 支撑管道(pipe)和syslog(本地和远端)情势的日志以及日志抽样;

  • 重组多少个CSS、JavaScript文件的造访请求变成三个请求;

  • 能够对后端的服务器举行主动健康检查,遵照服务器状态自动上线下线;

  • 自行根据CPU数目设置进程个数和绑定CPU亲缘性;

  • 监察系统的负荷和财富占用从而对系统实行拥戴;

  • 体现对运行人士更温馨的失误音讯,便于定位出错机器;

  • 越来越强有力的防攻击(访问速度限制)模块;

  • 更有益的命令行参数,如列出编写翻译的模块列表、帮衬的一声令下等;

  • 能够依据访问文件类型设置过期时间;

https://github.com/alibaba/tengine

  

陆.SeaJS
模块加载框架

Sea.JS
是3个遵照 CommonJS 规范的模块加载框架,可用来轻松快活地加载任意
JavaScript 模块。SeaJS 辅助的正儿八经模块遵从 Modules/Wrappings 规范的
define 格局,可运转于 Web 浏览器以及 node.JS 等条件中。

https://github.com/seajs/seajs

 

style=”font-size: 14pt; color: #00ccff;”>7.阿里Baba(Alibaba)分布式数据库同步系统
otter

otter
基于数据库增量日志解析,准实时1起到本机房或异地机房的mysql/oracle数据库.
二个分布式数据库同步系统。

https://github.com/alibaba/otter

 

8.Taobao Open API
客户端 TOP
(有Net版)

TOP 是 Taobao Open API 客户端。

APIs

User

  • 航天科技,taobao.user.buyer.get 查询买家音讯API

  • taobao.user.get 获取单个用户消息

  • taobao.user.seller.get 查询卖家用户音讯

  • taobao.users.get 获取五个用户消息

Category (Working)

  • taobao.itemcats.authorize.get 查询商家被授权品牌列表和类目列表

  • taobao.itemcats.get 获取后台供专营商发表商品的正规化商品类目

  • taobao.itemcats.increment.get 增量获取后台类目数据

  • taobao.itemprops.get 获取标准商品类目属性

  • taobao.itempropvalues.get 获取标准类目属性值

  • taobao.topats.itemcats.get 全量获取后台类目数据

Shop

  • taobao.shop.get (白名单用户才能调用)

style=”color: #00ccff;”>九.模拟数据生成器 Mock.js

Mock.js
是一款仿照数据生成器,目的在于支持前端攻城师独立于后端进行开发,支持编写单元测试。提供了以下模拟成效:

  • 基于数量模板生成模拟数据

  • 上行下效 Ajax 请求,生成并回到模拟数据

  • 据他们说 HTML 模板生成模拟数据

https://github.com/nuysoft/Mock

 

style=”font-size: 1四pt;”>10.服务框架 Dubbo

Dubbo
是阿里Baba公司开源的一个高质量特出的劳务框架,使得应用可由此高性能的
陆风X八PC 完成服务的输出和输入成效,能够和 Spring框架无缝集成。

主要主旨部件:

  • Remoting: 网络通讯框架,完毕了 sync-over-async 和
    request-response 新闻机制.

  • RPC: 三个远程进程调用的空洞,支持负载均衡、容灾和集群效应

  • Registry: 服务目录框架用于服务的挂号和劳务事件发表和订阅

https://github.com/alibaba/dubbo

 

11.接口文书档案管理工科具
RAP

 

RAP通过GUI工具帮衬WEB工程师更火速的田管接口文书档案,同时经过分析接口结构自动生成Mock数据、校验真实接口的没有错,使接口文书档案成为费用流程中的强正视。有了结构化的API数据,RAP能够做的更加多,而大家得以幸免越来越多重复劳动。

 

https://github.com/thx/RAP

 

Nginx7天入门:https://github.com/taobao/nginx-book

 


别的项目:

style=”color: #ff6600;”>1.去哪儿:

style=”color: #00ccff;”>MySQL自动化运营工具
Inception

MySQL语句的核对,在业界都曾经基本被肯定了,实际上也是对MySQL语句写法的统一化,标准化,而以前的人为审查批准,针对业内这些题材其实是很
吃力的,标准越来越多,DBA越累,开发也越累。
那么在那一个都追求自动化运行的时日,审核也不能不要跟上步履,由此英斯ption诞生了。而英斯ption可以做的劳作远不止是贰个自动化审核工
具,同时还装有实践,生成对影响多少的回滚语句(类似闪回的效能),这样一条龙服务的工具,将会给DBA的做事带来颠覆的变化,DBA从此就从繁重的
审核、登上去执行,出错了很难回滚(假诺提前未有备份的话)的被动局面解放了出去,突然意识,做DBA原来能够如此轻松,工作能够不饱和了,那就有越多的
自由时间读书、进一步向自动化运行平台的贯彻等更智能化的势头去发展,是兼具里程碑意义的。

https://github.com/mysql-inception/inception

style=”color: #ff6600; font-size: 1四pt;”>贰.群众点评

实时应用监察和控制平台
CAT

CAT 由群众点评开发的,基于 Java
的实时应用监察和控制平台,包涵实时应用监察和控制,业务监察和控制。

CAT 协助的督察新闻类型包括:

  • Transaction 适合记录跨越系统边界的次序访问行为,比如远程调用,数据库调用,也适合施行时间较长的事务逻辑监察和控制,Transaction用来记录一段代码的施行时间和次数。

  • Event 用来记录壹件事时有产生的次数,比如记录系统尤其,它和transaction比较贫乏了光阴的总结,费用比transaction要小。

  • Heartbeat   表示程序钦命期产生的总结新闻, 如CPU%, MEM%,
    连接池状态, 系统负荷等。

  • Metric 用于记录业务指标、指标大概包括对二个指标记录次数、记录平均值、记录总和,业务指标最低总结粒度为一分钟。

  • Trace 用于记录基本的trace音讯,类似于log4j的info新闻,那几个新闻仅用于查看壹些有关音讯

消息树

CAT监察和控制系统将每一趟U帕JeroL、Service的乞求内部实施景况都打包为一个完好的音信树、音信树大概包蕴Transaction、伊芙nt、Heartbeat、Metric和Trace信息。

https://github.com/dianping/cat

 

style=”font-size: 14pt;”>3.搜狐:

Redis云管理平台
CacheCloud

CacheCloud提供3个Redis云管理平台:达成伍种类型(Redis
Standalone
Redis SentinelRedis
Cluster
)自动铺排、化解Redis实例碎片化现象、提供周密总计、监察和控制、运营功用、减弱开发人士的运营花费和误操作,进步机器的利用率,提供灵活的紧缩性,提供方便的过渡客户端。

https://github.com/sohutv/cachecloud

依照MySQL 的数据库中间件 SOHU-DBProxy

SOHU-DBProxy 是由 今日头条数据库共青团和少先队开发尊敬的三个根据MySQL协议的数额中间层项目。它在MySQL官方推出的MySQL-Proxy 0.捌.三版本的底子上,
修改了大量bug,添加了无数职能特色。未来已经在sohu的多个业务线上选用

DBProxy 首要功用:

1 就算在同1个三番五次(只要不在同1个工作中)也能接二连三复用

2 负载均衡提升读品质,扶助动态扩充

三动态增加的SQL审核和过滤。能够总括的SQL长日子运作影响属性,并且阻止其运作

4 用户连接限制

5 自动摘除宕机的DB

陆 读写分离(当前版本未有,代码和测试已经形成,未有统1到日前版本)

https://github.com/SOHUDBA/SOHU-DBProxy

 

style=”font-size: 18px;”>58https://github.com/58code

style=”font-size: 18px;”>大众点评https://github.com/dianping

style=”font-size: 18px;”>豌豆荚https://github.com/wandoulabs

style=”font-size: 18px;”>华为https://github.com/HuaweiBigData

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注