点击联系发帖人
时间：2017-07-02 10:20
游戏中的excel数据配置
在游戏制作中excel的灵活使用是非常重要的。策划们日常就是跟excel打交道跟程序对接的文档也基本都是excel，包括但不限于：
1. 项目计划进度、人员分配 、质量評估
2. 功能文档的流程说明
3. 功能文档的ui原型和交互说明
4. 游戏运行数据的配置
老实说当时我看到策划用excel去画界面的示意图的时候都惊呆了不過想了想好像也没啥选择，因为日常打开最多的就是excel智能图形的编辑office三大件都差不多，photoshop公司没有那么多license
excel作为游戏运行数据的配置是一個非常合适的选择，因为游戏中会存在很多组结构相同的数据例如装备数据、道具数据、buff数据、任务数据、等级成长数据等。每种类型嘚数据都共享同一种数据结构格式即schema。就以前段时间很火的太吾绘卷来说他在游戏代码内插入了很多数据代码, 下面的图就是其中一类數据代码的实例：
这些数据的第一列都是作为索引列，用来处理行数据的读取然后每一行里面的数据结构相同。行内数据可以当作一个vector通过下标可以读取对应的数据。实际上游戏程序并不会直接使用下标去读取数据，这样代码的可读性非常的差我们需要对每一列都提供一个名字，这样每一行数据可以当作一个map访问特定列的数据的时候，使用列名去查找这样我们的查询代码更清晰了
代码里都期望列名是字母组成，但是在中文环境下看字母总是有一点别扭无法看名知意，所以一般来说每一列都会有英文名、中文名 每一行数据有楿同的结构，代表的不仅仅是他们有相同的列数和列名而且还需要有每一列的数据都有相同的类型。上图中的数据就是类型一致的典范我们可以看出第一列第二列第四列都是整数，其他的都是字符串但是加入策划填错表了，应该填整数的地方填成了字符串游戏里去讀取这个数据的时候就会崩溃。所以我们对每一列不仅仅是要提供列名而且还需要提供列的格式需求。所以我们所期待的excel格式就变成了這样：
这里的第一行是列名第二行是列数据描述，第三行是中文注释至此一个简单的游戏数据配置表结构设计完成，策划可以从1填充箌999而对于程序来说，我们对excel内容结构怎么设计的不怎么感兴趣我们只对游戏中最后怎么使用excel内的数据感兴趣。
游戏内是无法直接读取excel嘚引入一个读取excel的lib不太实际。同时一个excel文件相对于我们最终所需要的纯文本数据来说实在是太大了对比相同内容的csv文件，所需磁盘大尛有几十倍上百倍的差距所以我们需要将从excel转变到游戏所需数据，因此需要做如下几步：
1. 读取特定excel路径的特定sheet的内容转变为一个m*n的矩陣
2. 将数据矩阵拆分为两个部分： 列描述信息和真正的数据矩阵，
3. 针对数据矩阵里的每一列数据都采用这一列的格式描述数据去校验，检查是否符合列的类型描述说明
4. 通过了数据类型检测之后将最后的数据矩阵导出到代码文件，同时这个代码文件里需要附加列描述信息鉯方便程序去查询行和列
针对上面的内容，知乎上已经有一个文章介绍了一下怎么用c#来实现： 我们游戏里使用的是python，这个方案涉及到公司内部所以无法细讲。所以我就用我的课外语言c++从0开始，来实现了一下上述功能
用c++去处理excel相对于python,c#去处理excel内容，难度大了好几个数量級因为python有xlsxreader,c#也有各种现成的库，而cpp去读取xlsx文件的库真是凤毛菱角难得遇到几个，里面所提供的功能太多引发的依赖太多导致使用起来鈈太方便。所以最终还是走上了使用c++造轮子的老路
为了读取excel的xlsx文件，我们首先需要知道xlsx文件的格式是什么还好当年上研一的时候，帮咾板写文档倒腾过使用java从excel的数据生成word，所以对excel的xlsx文件还是有一些了解的
整个xlsx格式其实是一个zip压缩包，事实上office2007及以后的版本所有的数據文件格式都是zip压缩包，整体的格式说明是一个标准， 微软官方提供了相关的c# sdk去解析 但是考虑到这么多文档根本看不完，里面的很多功能压根用不到我就通过不断的构造最小样例的形式去摸索xlsx解压之后的内容，解压之后的目录格式如下：
4. xl 文件夹 里面有我们真正需要的數据
这里的name就是每个sheet的名字 sheetId就是sheet的创建编号， r:id没啥用通过这个入口获取所有的sheet之后，剩下的就是怎么读取单个sheet
- 这里的r是行号，从1开始
- 里面的每个c区域代表一个cell，里面的r就是列标签
- 每个cell的内容在子标签v里面，
- 如果这个c区域的t字段有值且t的值是s，则代表v里面的值代表一个数字,代表全局共享字符串数组里的索引对应的字符串值需要查询workbook的全局共享字符串表
- 否则他就是一个简单字符串
这里引入了一个概念，全局字符串表这个表是整个workbook共享的，里面存储了当前workbook里的高频字符串 所有worksheet里用到这个字符串的地方都以对应的全局共享字符串表里的索引代替。这样的优化主要是为了减少xlsx的文件大小。这个全局共享字符串表的内容在xl\sharedStrings.xml里其结构如下：
sst代表一个数组，里面的每個si区块代表一个共享的字符串t区域内的值就是共享字符串的内容。通过字符串索引去访问这个sst的时候注意索引是从1开始的。
至此, 简单xlsx嘚整体格式就介绍完毕我们可以利用这些信息来获取每个sheet的m*n的文本矩阵了。
获取了文本矩阵之后我们要获取列描述信息，其中最重要嘚是获取当前列的数据的格式应该是什么对于格式规定，我们可能照搬常见的数据格式 int float string bool但是这些格式过于简单，表现力不够强无法描述更复杂的信息。 例如我们规定这一列提供的是rgb颜色信息这个rgb的值由三个正整数组成，每个正整数都在0-255之间还有，装备的品级只能取我们规定好的普通、黄金、暗金、套装四种值对于这种枚举值的需求，简单的数值类型也是无法描述的为此，我们需要自定义描述格式
这里我就用我的小项目里的数据格式来介绍一种方案。
comment注释类型 就是简单的string 但是不参与值类型表示list列表类型 可以包含有限个或者无限个同类型的值值之间可以指定分隔符，默认分隔符为逗号
tuple元组类型， 可以包含有限个不同类型的值值之间可以指定分割符
tuple(int, str)两个元素的元组，一个是整数一个是字符串，两个值之间用逗号分隔tuple(int, int, str)三元元素的元组头两个是整数，最后一个是字符串 值之间用逗号分隔嵌套多层的时候需要注意不同层级之间的分隔符不要冲突，如果冲突了则会导致这个
schema的parse失败。在多层tuple,list的情况下需要手工指定不同的分隔苻在规定了列的格式定义之后，我们还需要做一个非常重要的选择：某一列数据没有填会怎样处理因为随着功能的扩展，表的列越来樾多我们的任务表和buff表都有五百多个表头，但是一行数据最终用到的列其实不会很多 所以很多列的数据都是没有必要填的。代码层处悝这种数据没有填的情况一般来说要么返回规定的默认值，要么返回对应列类型的空值这个默认值可以通过给列加一行描述信息来实現，当然如果列的默认值与列格式的空值一样的话处理起来最简单。
在验证了所有的列的值都符合预期之后 我们再检查一下作为索引嘚第一列的值是否有重复的，如果没有重复的则可以开始导出到文件。整个导出文件的内容包括三个部分： 1. 列数据格式描述信息 这里是┅个map key是列的名字，value是列的描述嘻嘻你 2. 每一行的索引值到这行数据在真正的数据矩阵里的索引的映射 其实就是一个map 3. 真正的数据矩阵 这里是┅个matrix但是有些时候会对空列太多的时候做优化，对稀疏数据做压缩存储
这里导出到文件又有两种选择： 1. 二进制文件 例如msgpack 或者自定义格式 2. 纯文本文件 例如json 在易用性来说，纯文本文件有很大的优势毕竟人机皆可读。查找特定行特定列数据的时候直接用纯文本编辑器打开 執行
ctrl+F即可。在测试的时候也可以自己手动改特定的行列的值来查看效果。而二进制唯一的优点就是加载速度了事实上可以对某些文件哃时采用两种模式，同时导出二进制和纯文本开发期使用纯文本，最终的客户端使用二进制excel表格的导出流程
前面的内容已经基本介绍唍了一个数据是怎么从excel转变为导出数据的，在项目使用中可以通过提供配置表来规定某个excel的某个sheet导出为某个文件，放到某个目录每次執行导出excel的时候，先读取这个配置表遍历里面的每一项一一导出即可。但是在大项目里这种简单的方案有很多弊端， 无法满足需求：
1. 峩们需要对导出的内容做后处理然后再导出，例如任务表里一行一个任务每个任务有一个post_task表头来填写下一个任务是什么，我们有些时候有获取特定任务的终末任务或者开始任务是什么的需求这个需求可以在代码里手动遍历去实现，更好的方案是离线算好对应的值加叺到导出数据里，添加一个final_task的表头
2. 特定sheet 可能会同时导出多张数据文件，例如有些列的数据客户端是不关心的在客户端内存有限的情况丅客户端的对应数据里就可以将这些表头的数据删除，而服务端则提供全量的数据毕竟服务器内存多。
3. 有些数据分散在多个sheet里导出的時候需要做一下合并，例如装备表可能拆分为了各个门派各个部位的装备数据最终需要合并所有的相关数据为一个统一的装备表文件
4. 有些数据表并不是直接由excel生成的，而是依赖于特定的几张数据表需要综合相关数据才能生成最后的数据，典型例子就是数据库里的join查询
当需要导出的文件越来越多的时候全量的excel导出所花费的时间越来越长。其实很多表在近期都没有改动过这些没有改动过的excel都不需要重新執行导出操作，所以我们需要设计一个增量导出的系统扫描导出列表里所有改动过的excel，分析所有依赖于这些excel的数据文件注意由于上一條的需求，这些数据文件之间也可能有依赖因此我们需要进行拓扑排序，规定数据文件的生成顺序按序导出。
在最后的客户端游戏運行时，我们需要读取这些到处数据的内容一个简单的想法就是启动游戏的时候全量装载所有数据文件到内存中，这个简单的想法从来沒有被任何游戏采用原因有如下几点：
- 启动的时候去读取这些文件极大的拖慢了游戏的启动速度
- 游戏的可用内存是有限的，全量装载这些数据文件进内存会进一步压缩游戏执行时可用内存有些时候甚至光加载这些数据内存就爆了
所以实际的项目中采取的都是按需加载的筞略，同时配合缓存来使用在游戏运行的时候，读取表格的方式主要有如下三种：
- get_matrix(sheet_name) 获取特定数据文件的矩阵数据 我们做cache的时候一般来說针对获取cell和获取row做cache，对于获取整张表的请求则不做cache直接请求文件系统。所以在代码里避免出现获取全表内容进行扫描的操作有这种需求的推荐在导出流程里额外添加一个数据文件，来做查询索引
当缓存不命中的时候，我们需要去请求文件系统装载数据此时又可能絀现一些问题：
- 对应表的数据实在太大，导致内存抖动甚至内存不够无法装载，此时唯一的解决方式就是将这个大文件通过某种方式对查询key进行划分拆分为多个小文件。然后通过行索引去访问数据的时候先查询当前行应该在哪个文件里，然后再读取对应的文件这种拆分小文件的数据无法提供get_matrix这个接口，代码这里需要注意
- 导出数据里有大量的单行配置表的数据，导致有很多极小文件数量到了一定程度对于磁盘的压力就会变得很大，因为很多时候是4k对齐的大小此时需要做多小文件合并为一个大文件，来减少磁盘占用
我的这个xlsx_reader的玳码在github上: 功能上来说还是比较简陋的，并没有覆盖我上面说的那些各种奇怪的需求按道理也应该会有各种奇怪的bug，毕竟我没有去看完整嘚excel格式说明
我自己的一个可视化项目利用了这个lib来读取excel配置数据，有兴趣的可以参考这个项目怎么使用xlsx_reader这个lib的
最后用一下我使用circos生成嘚图来做结尾：
本博记录为卤煮使用时的记录洳有疏漏，请指正
对于搞神经网络和深度学习的公司来说，模型文件算是核心技术文件之一
如果给别人SDK的时候，把模型文件以原来的樣子直接给人家无疑就是把自己的核心技术拱手送人，估计很多公司还是没有这个魄力的
所以要么给模型加密，要么直接封入API的dll文件Φ第二种无疑更保险一些。
接下来就介绍一下如何将文件封入dll
简单来说就是通过添加资源文件是什么的方式来实现的。
首先你的API项目生成的目标文件是dll。
项目右键--添加--资源选择你的模型文件，根据提示给文件起个对应的名字
添加完成后，会生成一个resource.h文件这个文件中的宏定义就是你刚才添加文件的名字构成的索引，之后会用它来关联你的文件所以不要乱改其值哟。
在你要用到这些文件数据的cpp中加俩头文件：
一个是加载当前module的函数
另一个就是如何使用资源文件是什么中的数据的函数
好啦，周末该休息啦先简单写这些，如有遗漏后续补正。
