• WRL比赛巅峰之战，首届英雄联盟手游职业联赛总决赛精彩不容错过

• 解锁次元自由 | 机械师2022夏季新品发布会全回顾

• 解锁次元自由,机械师2022夏季新品发布会即将来袭

• 牵手电竞选手UZI，AMD锐龙6000H系列完美诠释“像我一样战斗”

• 为梦而战进“莞”来，2022东莞ACT和平精英嘉年华，为东莞文化产业锦上添花

• 《剑网3缘起》公测首日爆抽奖bug！玩家偷着乐，官方还在嘴硬

• 全球潮玩集合店MDV（漫迪威）进军潮玩市场

• 机械师搞事情?发布会路透,好像大型开盲盒现场

• 字节跳动股东领投StarryNift千万美元融资

• 万豪旅享家2022年KPL春季赛总决赛线下专属观战间即将惊喜亮相

• 2022和平精英城市赛深圳STE站总决赛落幕，全民电竞热潮正在开启

• 龙主题手游再添强劲选手，手游《战龙出击》预约开启

• WUCG x 必胜客二度跨界合作，探索新型「高校电竞营销方法论」

• 鑫博淼拥有多元化主题游戏，成功实现财富获利！

• 简约时尚奥特朗即热式电热水器，点缀浴室美

• 京东电竞手机品类日实力宠粉 下单享30天无忧退服务

• 玉剑游峡谷，风荷舞清影丨第十届英雄联盟全国高校联赛南大区赛圆满落幕

• 全系搭载长寿版150W超级闪充！一加Ace王牌属性再升级

• 【喜报】银盛支付荣获“金松奖”金融科技企业公益奖

• 京东418电脑数码秒杀日必购款：创维48英寸OLED电竞显示器G90，为电竞而生

• 是时候探索全新的奖励路线了！

• 经典回归,横版仙侠射击《山海皆可平》登陆Steam平台

• 腾讯加速器调整？外服加速还有野豹加速器备选！

• 腾讯加速器已调整，野豹加速器免费白嫖福利更给力

• TX加速器已调整，推荐AK加速器超长免费+白嫖

• 腾讯加速器改版，不要方，还有AK加速器可以玩耍

• 椰子合约ZGYE全球化战略布局：产品创新+合规化双管齐下

• 从中邮消费金融官网，了解“校园贷”骗局

• 勤哲Excel服务器做项目库存管理系统

• 哈利波特手游被抹黑，生事者道歉信到底能否被玩家接受？

• 勤哲Excel服务器实现生产管理系统

• 飞利浦显示器携手《神秘海域》电影跨圈层联动，赋能品牌声量传播

• 官宣 | 全民挥杆，为梦而战，高尔夫尊中国公开赛强势打响！

• 第十九届杭州亚运会电子竞技项目一澳门选拔赛

• 《2021年四川食品行业发展蓝皮书》四川食品行业名优企业名单正式发布！

• 奇幻星球探索《诺亚之心》手游

• 万代南梦宫新企业宗旨和品牌标识将于4月1日正式启用

• 良品铺子紫衣腰果、酥脆薄饼等8款产品荣获2022“顶级美味大奖”

• 满足多元化学习需求，阿卡索全新升级优享VIP 1v1 课程

• 完善游戏知识产权保护 提升游戏产品准入门槛

• 动作冒险大片《神秘海域》特效震撼，冒险之旅高能开挂！

• 这几款热门的电竞手机 哪一部最能戳中你的心

• 冷宴华“人设崩溃”或许只是表象，“踩高捧低”怪相是本质

• 有Ta在的地方，快乐就是这么简单！

• 超6嘉品 隆重上市 嘉实多全合成产品全线升级,适用国六b及以下车型

• 飞利浦显示器携手电影《神秘海域》，共同开启高能寻宝之旅

• AION S Plus首款“跨次元梦想电竞舱”开启预售 千款游戏任你玩

• 精准听声辨位，沉浸聆听体验 JBL QUANTUM系列游戏产品

• 高竞推出治愈系APP，STE战队落户深圳首秀在以陌语音

• WRL比赛巅峰之战，首届英雄联盟手游职业联赛总决赛精彩不容错过

• 《太阁立志传V DX》正式发售 追加超百名新武将及新事件、新结局等

• 《勇者斗恶龙10离线版》新情报公开 游戏发售时间将延期到夏季

• 《黑道圣徒：重启版》预览视频发布 正式版将于8月23日发售

• 开发商强调Xbox恐怖游戏《蔑视》仍有望10月发售 将登陆Xbox、PC等平台

• 《AI 梦境档案 涅槃计划》发布角色宣传片 目前售价约398港币

• 《狙击精英5》官方发布“升级击杀镜头”宣传片 优化物理效果及视觉效果

• 《最终幻想11》开发者访谈 回顾游戏诞生20周年及后续更新规划

• 《怪物猎人崛起：曙光》武器动作介绍 可通过演奏强化全队队员打击武器

• Twitch 4月直播数据统计：《GTA5》观看词数达1.27亿小时

• 拳头投资Aim Lab开发商 拟开发免费虚拟靶场等官方训练平台

• 《三角符文》游戏开发进展顺利 目前前两章已发布免费游玩版本

• 虚幻5新5.1版《黑客帝国：觉醒》Demo演示 游戏运行更加流畅

• 《霍格沃茨 遗产》发布ASMR视频 多个游戏夜晚场景展示

• 消息称《死亡循环》系列新作开发中 仍将延续前作游戏设计风格

• 《拾荒者》主机版取消 相关开发人员已安排到新项目开发工作中

• 《我的世界》成英国第三畅销的NS游戏 目前油管播放量已破万亿次

• 开发商CI Games拟回购印度独立发行商United Label！曾发布《钢铁之尾》等游戏

• 哥特式吸血鬼游戏V Rising抢先发布 目前Steam售价为70元

• 《龙珠：超宇宙2》新DLC角色“蒂斯破”公布 速度可以超越光的强大战士

• 暴雪宣布《守望先锋2》将于6月举行直播活动 展示更新计划及PVP测试版

• 卡普空更新白金作品列表 《怪物猎人：世界》1800万份销量稳居榜首

• 中世纪《骑士精神2》6月在Steam发售 大型DLC“特诺森入侵”将同步发售

• 海盗游戏《ATLAS》工业革命版本更新 目前蒸气平台可享3.3这优惠

• 日系RPG《卡里古拉2》即将登陆PC平台 目前暂未公布售价

• 《碧蓝档案》克制关系都有哪些？碧蓝档案全克制关系讲解

• 《幻塔》雀头薯食材怎么获得？幻塔雀头薯食材获取渠道及效果展示

• 《创造与魔法》宠物酷酷狗从哪获得？创造与魔法酷酷狗获取途径介绍

• 《明日之后》海姆达尔地窖怎么进入？明日之后海姆达尔地窖入口线索分享

• 《黑创世纪》弓箭手职业怎么玩？黑创世纪弓箭手职业技巧攻略分享

• 《林中小女巫》解除诅咒糖果配方怎么制作？解除诅咒糖果制作流程分享

• 《江南百景图》绿荫草堂图在什么地方？江南百景图绿荫草堂图获取方法介绍

• 《永劫无间》封魔结界在什么地方？永劫无间封魔结界出现位置分享

• 《永劫无间》萤火虫在什么地方？永劫无间萤火虫固定刷新位置介绍

• 《APEX手游》昲影英雄好用吗？APEX手游昲影角色技能强度分析

• 《盐与献祭》蓝心走私半矛强度怎么样？盐与献祭蓝心走私半矛武器介绍

• 《盐与献祭》原力太刀武器怎么样？盐与献祭原力太刀武器全方面解析

• 《光遇》紫色毛靴棉裤先祖在什么位置？光遇紫色毛靴棉裤先祖位置分享

• 《盐与献祭》时间大刀效果怎么样？盐与献祭时间大刀附带技能展示

• 《LOL》我在第五层成就怎么达成？LON我在第五层成就解锁途径介绍

• 《LOL》致命高效成就如何完成？LOL致命高效成就解锁方法介绍

• 《LOL》终极召唤师成就如何达成？英雄联盟LOL终极召唤师成就解锁攻略

• 《LOL》拆眼大师成就怎么做？英雄联盟LOL拆眼大师成就解锁条件分享

• 《雪地奔驰》第七赛季月底上线！追加地图和两款汽车

• 心理恐怖新作《绝叫死人》宣传片 6月3日正式发售

• 《COD18》多人模式周免试玩将至 体验全地图和模式

• 505新作《黑森林迷踪》宣传片 Steam页面现已开通

• 505《百英雄传：崛起》内维埃城镇介绍 现已加入XGP

• 动作冒险游戏《迷瘴纪事》新预告 2023年正式发售

• T2游戏发售表曝光！《GTA6》至少2025年以后发售？

• 动物园大冒险第八关通关攻略

• 少年的人间奇遇结局攻略分享

• 职业选手禁参赛!女排成员惠若琪晒《NS Sports》游玩照

• 《数码宝贝新世纪》超究极体怎么进化？数码宝贝新世纪超究极体进化条件分享

• 《最终幻想：起源》下载版75折优惠开启：5月25日截止

• 《斗诡》帮派怎么建立？斗诡建立帮派条件介绍

• 《泰拉瑞亚》税收官入住需要什么条件？泰勒瑞亚税收官入住条件分享

• 《泰拉瑞亚》代达罗斯风暴弓怎么获得？泰拉瑞亚代弓掉落说明

• 《明日之后》护甲店在什么地方？明日之后护甲店位置坐标分享

• 快快更新！粉丝抱怨《NS Sports》内容不足兴味索然

• 少年的人间奇遇胶达的头在哪里找

• 解锁次元自由 | 机械师2022夏季新品发布会全回顾

• 玩家刷新《塞尔达》速通记录：宿敌是林克“老丈人”！

• RTS游戏新作《无线电指挥官》续作发表！预告片公布

• 西游伏魔记孙悟空阵容搭配推荐

• 首部CG视频居然是女团出道，《猫之城》是要改音游了吗?

• 回头客不少 任天堂CEO：很多人正在购买第二台Switch

• 抖个大包袱击败姬无命通关攻略

• 战略冒险新作《迷瘴纪事》现已上线Steam！支持简中

• 《雪地奔驰》第七季5月31日更新 同日登陆次世代主机

• 凌云诺年素言强度怎么样

• 虚幻引擎5全新5.1版本「黑客帝国：觉醒」Demo演示

• 凌云诺萌宠探秘玩法攻略

• 《森林》新史低后在线人数再创新高！一起去野人家做客

• 《英雄联盟》MSI对抗赛赛程公布 揭幕战G2对阵T1

• 手游《Apex英雄 移动版》新预告 独占英雄“昲影”全技能效果展示

• GOG喜加一：《巫师》系列游戏周边合集限时免费领！

• 《狙击精英5》PS5和XSX将支持4K60帧 正式版确定5月26日发售

• 恐怖游戏《邪吟》新预告食品发布 正式版确定年内秋季发售

• 动作RPG《虚无与物质的少女》上线Steam平台 支持双主角操作功能

• 家人侠《速激10》新片场视频 与海王开拍激情互殴戏

• 世嘉公布《索尼克 起源》实机演示 将提升画面质量并支持16:9全屏显示

• 像素RPG《林中小女巫》Steam抢先体验发售 首周优惠价45元

• 网曝育碧对《波斯王子：时之沙》重制版管理不善 整个项目运作情况非常糟糕

• 《炎炎消防队》将制作完全原创游戏 TV动画第三季制作时间确定

• 《战场的赋格曲》DLC第三弹“奇幻服装包”发布 将包含多位可换装角色

• 《奇妙探险队2》DLC“太师海岸” 5月19日发售

• 《命运2》新赛季展望 完成任务并获取足够多品质勋章

• 城市建造模拟游戏《再占一岛》登录Steam游戏商城 支持世界地图动态生成等功能

• 阴阳师SP大蛇传记三解锁方法

• 话题名作《最终之剑:决定版》上架PS商店 正式版确定5月19日发售

• 虚幻5打造《上古卷轴5》绝美溪木镇 光影、模型等质量提升明显

• 《仙剑客栈2》新情报 支持玩家联机对战小游戏

• 《女忍秘密特训》VR新游众筹正式启动 首发将支持简体中文

• 《植物大战僵尸：花园战争2》豪华版登陆Steam平台 首发特惠仅39.5元

• 幻塔终幕演出副本打法攻略

• 多人吸血鬼动作RPG《吸血鬼崛起》EA发售预告 首发将支持简中

• 《决胜点 网球锦标赛》发布新预告 本作将支持简体中文

• 《最终幻想》35周年优衣库联名纪念T恤已上线 单件售价99元

• 《碧海黑帆》澳大利亚过审评级 可支持5V5夺宝模式

• 《原神》风系新角色“鹿野院平藏”立绘公布 2.7版本新角色确定

• 恐怖游戏《绝叫死人》上线Steam页面 6月3日正式发售

• 《艾尔登法环》地图会随更新变化 更精准，路线更直观

• 《微软飞行模拟》世界更新9推出!赏意大利马耳他美景

• 我还能肝！《星际战甲》开发商DE注册商标疑推新作

• 《物质世界：终极版》发售 Steam评价“多半好评”

• 《奇妙探险队2》DLC“太师海岸” 预计5月19日发售 新增地块、场所等内容

• 《末日地带：与世隔绝》“远方”DLC发售 售价32元

• 《CS:GO》职业选手“Hobbit”否认前队友假赛指控 称随时可协助调查

• 《最终幻想15》全球累计销量突破1000万 官方发文称感谢玩家陪伴

• 恐怖游戏《绝叫死人》登录Steam平台 正式版预计6月3日发售

• NS日常新闻 糖豆人免费登陆全平台 怪猎曙光NPC队友

• 阴阳师SP大蛇斗技就业方向一览

• 《黎明杀机》主题恋爱模拟游戏来了！分手会被处决吗

• 《最终幻想15》全球累计销量突破1000万 官方发文感谢玩家

• 英雄联盟手游艾克连招推荐

• 王者荣耀高能杯直播观看地址分享

• 《咒术回战》五条悟的学弟“七海建人”手办开订！

• PS5新配色主机开启预购！三种新配色外壳任君挑选

• 王者荣耀高能杯直播观赛入口分享

• 神觉者积分赛进攻阵容搭配详解

• 威斯克降临！《黎明杀机》联动《生化危机》W计划公开

• 成龙郭麒麟主演！动作喜剧《龙马精神》新剧照公布！

• 神觉者积分赛防守阵容搭配攻略

• “雷神”新片《蜘蛛头》正式预告！《创战纪》导演执导

• 《怪物猎人：崛起 曙光》新映像见闻录 游方医 、盟友

• 魔力宝贝旅人商城购买推荐

• 洋果子店rose焙茶可丽饼卷怎么做

• 坎公骑冠剑自由机器MK2值得抽吗

• 网曝育碧对《波斯王子时之砂RE》破罐子破摔 处理不当

• XGP豪华套餐 五月下旬新增和删减游戏完整阵容公布

• 筑梦公馆特别印象怎么获得

• 《植物大战僵尸：花园战争2》豪华版上架Steam 带简中

• 间谍过家家漫画官方原画集 [远藤达哉][EYES ONLY]试看

• 魔力宝贝旅人氪金礼包性价比一览

• 生存恐怖新作《Oxide Room 104》公布 体验密室逃脱的压迫感

• 打造沉浸电竞体验,ROG跑酷游戏《SCAR Runner》发布

• 《最终幻想15》全球出货量达1000万 官方感谢玩家支持

• 四大国民级IP出击 庵野秀明“新日本英雄宇宙”联动企划

• ROG新品笔记本发布：枪神6Plus超竞版/幻16翻转版缔造新旗舰

• 虚幻5重制《上古卷轴5》溪木镇 焕然一新，山清水秀

• 《最后的仙门》弟子的资质怎么选？最后的仙门弟子资质选择攻略

• 《盗贼遗产2》海盗职业怎么解锁？盗贼遗产2海盗职业解锁方法介绍

• 《盗贼遗产2》比逊干湖底隐藏密室怎么进入？盗贼遗产2比逊干湖底隐藏密室入口攻略

• 《盐与献祭》黎明合作者阵营怎么加入？盐与献祭黎明合作者阵营说明

• 《盐与献祭》异域绳索材料怎么获得？盐与献祭异域绳索材料获取方法介绍

• 《盐与献祭》蓝心走私犯职业怎么获取？盐与献祭蓝心走私犯转职说明

• 《征服之歌》装备主动性有什么效果？征服之歌装备主动性机制解析

• 《黄泉之路》破甲攻击怎么触发？黄泉之路破甲攻击操作指南

• 《盐与献祭》罪行怎么选择？盐与献祭全罪行效果展示

• 《高尔夫大乱斗》推出联动装备 首发周限时免费领取

• 《索尼克：起源》实机演示 童年经典蓝皮刺猬即将来袭

• 《泰拉瑞亚》迎来11周年纪念日 后续追加新宠物史莱姆

• 《刀剑乱舞无双》Steam版预告 预购开启，支持简中

• 已经等到魔怔！粉丝自制《GTA6》地图能以假乱真！

• 带着小姨子跑路了？Bluebox《废弃》竟是一场营销骗局

• 《糖豆人：终极淘汰赛》关卡编辑器开发中 崽种人狂喜

• 《糖豆人》6.21全平台免费 第一赛季、季票、传承礼包

• 孕育艺术和创造力？麦当娜回应大尺度NFT作品争议！

• 《逆水寒》手游战斗实录 预约开启送保时捷和千万现金

• 《坎巴拉太空计划2》又双叒叕跳票 延期至2023年发售

• 别惹农夫红袍法师奇异博士怎么解锁

• 《灵魂骇客2》新角色“才藏”介绍 耍帅的浪漫主义者

• 德普有望回归“加勒比”！“小丑女”将主演《海盗》新作

• 别惹农夫终结机甲解锁方式一览

• 恐怖游戏新作《氧化室104号》上架Steam！支持简中

• 华纳《多元宇宙大乱斗》宣传片 兔八哥、小丑女、超人

• 我的勇者机神牧装备搭配攻略

• 荒野行动时砂霍克猪鼻车介绍

• 华纳全明星格斗游戏《多元宇宙大乱斗》电影预告片公布

• 《迪士尼：竞速风暴》新地图宣传片 今夏免费推出

• 天刀手游贼兵入侵攻略详解

• 绅士VR游戏《美少女忍者的秘密特训》现已开启众筹！

• 创造与魔法召唤魔法怎么画

• 我来自江湖茅九任务触发方法

• 神作回归还是继续拉胯？网飞计划推出《黑镜》第六季

• 我来自江湖社交值快速提升攻略

• 《GTA三部曲：终极版》安卓/IOS版本跳票 延期时间待定

• 《异度之刃3》最新角色背景情报公布！里克与玛娜娜

• 重建家园缠绕者近战攻略

• 航天模拟游戏《坎巴拉太空计划2》叒叒叒官宣跳票了

• 《觅长生》碎星岛都能学到什么神通？觅长生碎星岛全可学神通汇总

• 《觅长生》离火门高级修士神通有哪些？觅长生离火门高级神通汇总

• 《幻塔》黑藓食材在什么地方？幻塔黑藓食材采集位置分享

• 《盐与献祭》根顶洞穴都有哪些收集元素？盐与献祭根顶洞穴全收集汇总

• 龙之国物语武器改装选择攻略

• 手游《Apex英雄 移动版》新预告 独占英雄“昲影”揭晓

• 《刀剑乱舞无双》推出Steam版 5月24日正式发售

• 人气漫画改编《电锯人》动画2022年内播出 MAPPA制作

• 《跑跑卡丁车》手游幽冥翼龙怎么获得？跑跑卡丁车幽冥翼龙获取途径介绍

• 《仙岛大乱斗》灵气如何收集？仙岛大乱斗灵气收集途径介绍

• 《原神》落落莓怎么收集？原神落落莓最佳采集路线分享

• 我来自江湖最强流派玩法分享

• 《原神》无妄坡秘境如何解锁？原神无妄坡秘境解锁方法介绍

欢迎来到Tungsten Fabric用户案例系列文章，一起发现TF的更多应用场景。“揭秘LOL”系列的主人公是Tungsten Fabric用户Riot Games游戏公司，作为LOL《英雄联盟》的开发和运营商，Riot Games面临全球范围复杂部署的挑战，让我们一起揭秘LOL背后的“英雄们”，看他们是如何运行在线服务的吧。

这个长系列的文章，探讨并记录了Riot Games如何开发、部署和运营后端基础架构的历程。我们是Riot 开发体验团队的软件架构师兼产品经理Nicolas Tittley和Ala Shiban。我们团队负责帮助Riot开发人员在玩家所处的任何地方构建、部署和运营游戏，同时专注于云无感（cloud-agnostic）平台，这些平台使游戏的发行和运营变得更加轻松。

在过去的两年前的一篇文章中，Maxfield Stewart介绍了有关开发生态系统，以及当时使用的许多工具。这里我们将更新一些最新的内容，包括面临的新挑战，如何解决问题，以及我们从中学到的东西。

我们强烈建议您回过头阅读以前的文章，但是如果您想直接阅读本文，这里有一个超级精简版本来帮您赶上进度。

Riot使用裸金属和云基础架构的组合来在全球范围内运行后端系统。这些后端系统被分散到不同的地理位置，基于完全不同的部署，运行着允许玩家与LOL《英雄联盟》互动的整套服务。像大多数游戏的后端系统一样，LOL后端开始时作为一个整体，由专门的运营团队来负责运营。随着时间的推移，Riot逐渐拥抱了DevOps实践和基于微服务的体系架构。做了详细介绍，为了帮助我们的开发人员更快地服务玩家，Riot大量依赖于Docker容器这种打包服务，并开始在集群调度程序中运行它们。直到，讨论了为实现此目的而使用的许多工具。

非常牛，但，痛并快乐着。

在上篇文章发表之时（编者按：发表时间为2017年12月），我们运营着5000多个生产容器。这个数字并没有停止增长，今天，仅在Riot自主运营的区域（Riot-operated regions），我们就运行了14,500多个容器。Riot的开发人员喜欢为玩家创造新事物，当他们越容易编写、部署和运营服务，他们就越能创造出令人兴奋的新体验。

开发团队以真正的DevOps方式，拥有并负责他们的服务。他们创建了工作流来部署、监视和运营那些服务，当他们找不到所需的东西时，就干脆自己发明再造。对于开发人员来说，这是一个非常自由的时期，他们很少遇到无法自行解决的问题。

但慢慢地，我们开始注意到一些令人担忧的趋势。每个月的QA和负载测试环境变得越来越不稳定。我们不得不花费更多的时间，来查找错误的配置或过时的依赖关系。这些孤立的事件并不是关键，但总的来说，它们耗费了团队很多时间和精力——我们更愿意将其花费在创造玩家价值上。

更糟糕的是，在非Riot自主运营的分片区域（non-Riot shards），不仅开始出现类似的困难，而且还爆出一系列其它问题。合作伙伴们必须与越来越多的开发人员进行对接，并采用越来越多的微服务，每种微服务都有不同的方式，彼此各不一样。现在，运营人员必须比以往更加努力，以创造出有效且稳定的分片区域。在这些非Riot自主运营的分片区域，问题发生率要高得多，直接原因就是微服务的实时版本不兼容，或者其它类似的跨界问题。

在讨论如何解决打包、部署和运营之前，让我们花一点时间来探讨Riot的运行环境。这些都不是Riot所独有的，但所有这些细节的重叠，都说明了我们是如何组织起来，以便为所有玩家提供价值的。

Riot的工程师们喜欢自己建造东西！为了帮助他们做到这一点，我们采用了强大的DevOps思维方式。团队建立并拥有了自己的后端服务，确保对其提供支持，并在服务表现不如预期时进行分流。总的来说，Riot工程师很高兴能够实现快速迭代，也很乐意对自己的实时服务负责。这是一个非常标准的DevOps设置，Riot并没有在任何方面逆势而上。

由于历史原因、规模性问题，以及法律方面你的因素，Riot产品的后端系统按照分片的方式进行组织。其中，生产分片通常在地理位置上靠近目标受众。这样做有许多好处，包括改进的延迟问题，更好的匹配性，有限的故障域，以及清晰的非高峰时间窗口（可在其中执行维护操作）。当然，我们还在内部和外部运行着许多开发和QA分片，例如《英雄联盟》公开测试服（PBE）。

这是事情变得更加复杂的地方。尽管Riot是开发者，但出于合规性和专有技术的原因，我们与一些本地运营商合作以提供一些服务分片。实际上，这意味着Riot的开发人员必须打包分片的每个组件，将其交付给运营人员，并指导他们如何部署、配置和运营所有分片。Riot的开发人员不会自己去操作、访问甚至查看这些分片。（编者按：文中的分片逻辑可以理解成分块分区域的定义）

尝试1-新的联盟部署工具
我们第一次尝试改善情况，就采取了全新的方法，尝试利用开源组件和最少Riot定制功能，来推进Riot的部署和运营工作。尽管这项工作成功地部署了完整的《英雄联盟》分片，但工具的设计方式并没有达到开发人员和运营人员的期望。团队表达了对工具的不满——这种工具被证明对运营来说太难采用，对开发者来说太受约束。

因此，在第一个分片部署后，我们就做出了痛苦的决定——让这些工具退役。这看起来好像很激进，但由于所有团队仍然拥有自己维护的部署系统并且尚未完全过渡，因此我们能够快速淘汰新的工具。

由于第一次尝试并不如预期的成功，我们转向传统，通过添加流程来达到要求。广泛的沟通，明确的发布日期，文档化的流程，变更管理会议和仪式，以及永远存在的电子表格，在某种程度上取得了一点点进展，但始终感觉不佳。团队喜欢他们的自由DevOps，巨大的变化量和变化速度，都使他们的工作更加繁重。尽管合作伙伴的情况有所改善，但我们仍未达到所期望的运营水准。

我们决定尝试另一种方法。之前我们一直将开发人员作为工具的主要受众，现在则开始研究针对于合作伙伴的运营人员，部署/运营系统将如何工作。我们精心设计了一种工具，允许开发人员向其Docker容器的打包微服务添加标准化元数据，例如所需的配置和扩展特性。这带来了进步，运营人员可以采用更加标准化的方式来理解所需的服务配置和部署特性，并且在日常运营中减少对开发人员的依赖。
此时，本地和合作伙伴运营站点的故障率、事件率和额外的停机时间都有所改善，但我们仍然频繁遇到部署和运营故障，这些故障本来都是可以避免的。

尝试4-Riot的应用程序和环境模式
我们最终采用了一种新方法，将关注点从个人服务转移到了整个产品。我们创建了一个高级别的声明性规范，以及可对其执行操作的工具集，让规范和工具变得与众不同。在详细介绍之前，我们先来看一下前三次的尝试中出了什么问题。

部署和运营的是产品，而非服务
尽管拥抱DevOps和微服务给我们带来了许多好处，但它创建了一个危险的反馈环路。开发团队创建微服务，对其进行部署、运营，并对其性能负责。这意味着他们为自己优化了日志、度量标准和流程，并且通常很少考虑其服务能否为其他人所理解，包括没有开发背景甚至工程能力的人。

随着开发人员创建出越来越多的微服务，运营整体产品变得非常困难，并导致越来越多的失败。最重要的是，Riot的流动团队结构，使一些微服务的所有权变得不清晰，很难在分流时搞清楚应该与谁联系，从而导致出现很多属性错误的页面。越来越多的异构微服务、部署流程和组织变更，使得合作伙伴地区的运营团队不知所措。

我们检查了Riot运营区域和非Riot运营区域的故障，并将故障频率的差异提炼为一项关键的观察结果：

允许不连续的变更流进入分布式系统最终将导致可预防的事件。

当团队希望跨边界进行协调时，就会开始发生故障，因为依赖关系需要将发布与多个更改捆绑在一起。团队要么使用人工流程来创建发布周期，通过项目管理仪式协调发布，要么临时发布较小规模的发布更改，导致团队在找出兼容版本的过程中陷入混乱。

两者各有其优缺点，但是在大型组织中往往会崩溃。想象一下，数十个团队需要以协调的方式，连续交付代表共享产品的数百个微服务，并且允许这些微服务使用不同的开发实践。更糟的是，对于合作伙伴来说，尝试应用这些流程非常困难，他们的操作人员缺乏关于各个部分如何组合起来的上下文。

新解决方案：Riot的应用程序和环境模型

鉴于先前的尝试未能产生预期的结果，我们决定通过创建一个自用固有对的（opinionated）声明性规范来消除部分状态操纵，该声明性规范可以捕获整个分布式产品——环境。环境包含完全指定、部署、配置、运行和运营一组分布式微服务所需的所有声明性元数据，这些微服务共同代表一种产品，并且是完整且不变的版本。我们之所以选择“环境”这个名字，是因为它是Riot 最不会过度使用的一个词。命名实在是一件难事。

随着游戏《符文之地传奇》LOR的发布，我们证明了可以描述整个的微服务游戏后端（包括游戏服务器），并使其在Riot自主运营地区以及全球合作伙伴的数据中心中，作为产品进行部署、运行和运营。我们还展示了实现这一目标的能力，同时改善了已经广受喜爱的DevOps方法的优势。

该规范描述了服务捆绑包或环境之间的层次关系。
捆绑到环境规范中的应用程序规范

声明性规范的好处之一是它易于操作。对于合作伙伴的运营人员，他们的其中一个困难，就是无法理解、调整和潜在地自动化整个游戏后端的部署方式。规范的声明性性质，意味着它不需要工程师具有脚本或编程专业知识，就可以对规范中的大多数内容进行更改。

保持规范的高等级，有助于将游戏后端的定义与基础实现脱钩。这使我们能够在对游戏工作室影响最小的情况下，从名为Admiral的内部编排器/调度程序，迁移到基于Mesos的调度程序，以及考虑迁移到Kubernetes。它还使我们的合作伙伴运营人员可以在需要时交换其基础架构组件。例如，它允许运营人员可以使用不同的指标聚合系统，而不需要更改微服务工具。

我们发现，要在快速发展的DevOps世界中有效部署和运营，使用共享语言来引用服务和环境至关重要。版本控制服务和环境及其关联的元数据，使我们能够确保所有位置都部署了正确的版本。它使我们的合作伙伴运营人员可以确定地知道正在运行哪个版本，并且回传给我们。此外，当应用于整个环境时，它提供了一组众所周知的服务，可以对其进行质量检查并标记为“好”。这种捆绑消除了在向合作伙伴传达新版本时遗失依赖项的任何可能性。

使这些版本不可变，可以确保我们维持这种通用语言。当相同版本的服务被部署在两个不同的分片中，我们现在也可以确定它们是完全相同的。

鉴于我们的目标是提高合作伙伴运营人员服务玩家的水平，我们很快意识到，部署软件只是第一步。了解如何对实时系统进行分类、运营和维护，是同样重要的事情。

从历史上看，我们非常依赖于运行手册。手册由开发人员维护，并取得了不同程度的成功，他们记录了从必需的配置值到高等级体系架构的所有内容。为了使合作伙伴运营人员具备配置和操作每种服务所需的全部知识，我们决定将这些运行手册中包含的尽可能多的信息带到服务规范的最前面。这大大减少了合作伙伴地区投入新服务的时间，并确保他们在微服务更新时被告知所有重要变化。

如今，合作伙伴运营人员可以使用该规范来了解有关操作元数据的信息，包括所需/可选配置、扩展特性、维护操作，重要指标/警报定义、部署策略，服务间依存关系，以及越来越多的其它有用信息。

当然，分片不是彼此完全相同的副本。尽管我们希望使它们尽可能地接近，但总有一些配置必须有所不同。数据库密码、支持的语言、扩展参数，以及特定的调整参数必须随每个分片而变化。为了支持该模式，我们的工具使用分层的覆盖系统部署环境规范，使运营人员可以专门化特定的部署，同时仍然知道它们都源自已知的良好版本。让我们看看它是如何工作的！

一个简单的游戏后端可以包括两个环境，一个用于游戏服务器，另一个用于元游戏服务（排行榜，匹配系统等）。元游戏环境由多种服务组成：排行榜、匹配系统、比赛历史等等。每个服务都包含一个或多个Docker映像，从概念上讲，它们等效于Kubernetes容器。对于所有环境，相同的层次结构都是正确的，并且从哲学上讲，每一个环境都毫无例外地封装了在任何受支持的基础架构或云上部署、运行和运营的游戏后端所需的一切，及其所有的依赖项。

该规范还包括运行和运营整个环境所需的所有元数据。不断增长的集合包括配置、机密、指标、警报、文档、部署及rollout策略、入站网络限制，以及存储、数据库和缓存要求。

下面我们有一个示例，演示在两个区域中进行两个假设的游戏分片部署。您可以看到它们都由元游戏环境和游戏服务器环境组成。在欧洲分片中的游戏服务器产品环境，落后于美国分片中的同类游戏环境。这为游戏和运营团队提供了描述和比较不同游戏分片部署的通用语言。每个环境中不断增加的服务数量可以保持简单性，从而可以可靠地部署数十个分片。游戏分片部署示例

我们的下一步：延迟感知调度
我们希望能够描述服务之间的预期和可接受的延迟，并使工具针对基础区域和较低级别的PaaS服务进行优化，使其能够满足这些需求。这将导致某些服务位于同一个机架、主机或云区域中，而不是允许它们分布在其它服务中。
由于游戏服务器和支持服务的性能特点，这件事与我们高度相关。Riot已经是一家多云公司，有我们自己的数据中心，也有AWS以及合作伙伴的云，但是我们依靠静态设计的拓扑。纸牌游戏和射击游戏具有不同的配置文件，不必针对一、两种情况的优化进行手工拓扑，从而节省了工程师们的时间，使他们可以专注在游戏上面。

我们在运行游戏过程中面临着稳定性下降的问题，主要是来自合作伙伴经营的游戏分片。工具开发团队捆绑了开源部署工具，并将元数据添加到了容器中，而游戏团队则实施了集中发布流程。这些方法可以解决症状，但不能解决导致问题的根本原因，这意味着我们未能达到目标水准。

我们最终采用的解决方案引入了一个新规范，该规范捕获了整个游戏后端的所有拓扑、层次结构和元数据及其所有依赖项。这种方法之所以有效，是因为它带来了绑定容器的一致的版本发布，它们之间交互方式的依赖关系，以及启动和操作整个游戏所需的所有支持元数据。而不可变性带来了确定性的部署和可预测的操作。

作为一个平台团队，我们的目标是挑选能够产生良性循环的系统和构建模块，在这样的良性循环中，功能开发工作自然会带来易于操作的产品。将DevOps模式的敏捷性与易于操作的整个产品相结合是长期组织敏捷性的关键。我们的环境捆绑方法直接改善了运营指标，更重要的是提高了玩家体验的质量。我们很高兴看到业界其他人士如何解决类似的问题。我们已经看到了来自CNCF（云原生计算基金会）和大型云供应商（例如Microsoft开放应用程序模式规范）的想法和项目。希望其中一些项目能够取代我们自己制定的规范，并朝着全行业解决方案迈进。

在以后的文章中，我们还将更详细地探讨Riot规范，介绍示例，并讨论设计中的权衡以及Riot特定的快捷方式。

谢谢阅读！如果您有任何疑问，非常欢迎与我们取得联系。

更多“揭秘LOL”系列文章

《lol2018MSI5月12日比赛前瞻：Karsa对上老东家闪电狼FW》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：

比赛看点：这场比赛一定是LPL与LMS观众心目中的重头戏，Karsa转会RNG后在LPL打的风生水起，在出征前的采访中，Karsa表示十分想要对战老东家闪电狼...