推特年度工程总结,数据动人,什么代码变小60万行、节流1亿美元
出品|开源中国
推特官方帐号公布了一年的工程总结,亮点数据包含:
彻底重构 For you 办事和排名体系,代码行数从 700K 变小到 70K,变小了 90%,盘算占用质变小了 50%,帖子吞吐量增长了 80%。
重构了武艺栈的 API 正中件层,并简化了架构,删除凌驾 10 万行代码和数千个未使用的内里端,消弭未接纳的客户端办事。
关闭萨克拉门托数据中央兼顾新设置 5,200 个机架和 148,000 台办事器,每年节流凌驾 1 亿美元。
元数据获取后延长变小了 50%,全局 API 超时错误变小了 90%。
优化了对云办事提供商的使用,在当地举行更多事情,每月云本钱低落了 60%。具体是将一切媒体 /blob 工件移出云,使得全体云数据存储轻重变小了 60%。同时,云数据处理本钱低落了 75%。
构建当地 GPU 超等盘算集群,并计划、开发和交付 43.2Tbps 的新网络布局架构以支持集群。
扩展网络主干容量和冗余,每年节流 1,390 万美元。