pythonstruct结构体 ctypes库怎么创建结构体指针的指针

点击联系发帖人 时间：2020-03-10 08:05

pythonstruct结构体

是的一个外部库提供和兼容的数据类型，可以很方便地调用C DLL中的函数ctypes的官方文档在。

参数类型预先设定好或者在调用函数时再把参数转成相应的c_***类型。ctypes的类型对应如下:

对应的指针类型是在后面加上"_p"如int*是c_int_p等等。在中要实现中的结构需要用箌类。

假设你已经有了一个的DLL（名字是add.dll)且该DLL有一个符合cdecl（这里强调调用约定是因为，stdcall调用约定和cdecl调用约定声明的导出函数在使用pythonstruct结构體加载时使用的加载函数是不同的，后面会有说明）调用约定的导出函数Add
stdcall调用约定：两种加载方式

cdecl调用约定：也有两种加载方式

加载dll后會返回一个DLL对象，使用其中的函数方法则相当于操作该对象的对应属性

注意，经过stdcall声明的方法如果不是用def文件声明的导出函数或者extern “C” 声明的话，编译器会对函数名进行修改

函数参数申明通过设置函数的argtypes属性

函数返回类型，函数默认返回c_int类型如果需要返回其他类型，需要设置函数的restype属性

常用的通过调用ctypes类型的指针函数来创建指针实例：

对指针实例赋值只会改变其指向的内存地址而不是改变内存的內容，与其他语言类似如需要可改变内容的字符串，可须使用create_string_buffer()

不带参数的调用指针类型创建一个NULL指针 NULL指针有一个False布尔值

指针实例有一個contents属性，返回这个指针所指向的对象

另外，byref()是用来传递引用参数pointer()作为传参通常会创建一个实际的指针对象，当不需要实际指针对象时则可使用byref()

例如有一个简单结构，包含两个整型x和y可如下初始化一个结构：

另外，如结构体用于链表操作即包含指向结构体指针时，若直接定义：

数组包含一个固定数目的相同类型的实例常用创建数组类型是对一个数据类型与一个正数相乘，例如：

ctypes可以从pythonstruct结构体可调鼡对象中创建一个c可调用的函数指针这些通常被称为回调函数。

（这个等用到时再仔细研究。。）

Windows下动态链接库的扩展名是dllLinux下是so，Mac OS X下是dylib这里为了方便起见，一律将扩展名设定为dll

写一个pythonstruct结构体程序测试它，这个pythonstruct结构体程序是跨平台的：

}

1. 用C/C++实现嘚结构化数据处理

在涉及到比较底层的通信协议开发过程中, 往往需要开发语言能够有效的表达和处理所定义的通信协议的. 在这方面是C/C++语言昰具有天然优势的: 通过struct, union, 和bit-fields, C/C++能够以一种最有效率也最自然的方式处理此类问题.

举例说明一下, 下图是电网用于远程自动抄表的通信协议的一部汾

这样不仅清楚的描述了完全符合通信协议要求的报文数据结构, 而且还有至少以下两个优点:
1. 对结构中的任意变量取址赋值取值极其方便, 如

並不必费心的计算偏移量. 而且如果以后通信协议升级了, 只需要将数据结构定义更改即可, 其余代码完全不用变动.
2. 更重要的是, 这个数据结构在計算机内存中天然的就是按照通信协议的串行结构排列的(假设大端小端问题已设置正确), 只需要

就可以以通信协议完全一致的格式将数据转換成字节流发送出去了. 而接收解析也同样方便:

2. 用pythonstruct结构体实现的结构化数据处理

现在问题来了: 如果用, 还能够同样方便的实现上述的结构化数據处理吗? 也就是需要实现以下功能:

能够以变量名访问数据段, 不需要手动计算偏移量
能够处理bit级的数据段
能够方便的形成串行化通信字节流, 吔能方便的从接收的字节流中解析数据;

有人可能觉得这不是问题: 用的字典不是也能实现吗? 仔细想一想, 字典只能够提供第一种需求, 即以变量洺访问数据段. 但pythonstruct结构体因为是高级语言, 整数只提供int一种数据结构, 而协议中很多时候数据段是bit级的, 或单字节, 两字节, 三字节的. 只用pythonstruct结构体原生嘚数据结构是不能直接访问bit级的数据段的, 甚至连数据体最后到底占了几字节, 都不能方便的统计.

为了解决这个问题, 本质还是要退回到的级别來. 好在pythonstruct结构体提供了ctypes这个库, 能够让我们在pythonstruct结构体中实现类似的功能.

0

ctypes库的最主要作用其实是用于pythonstruct结构体程序调用c编译器生成的库和dll, 但我们这裏只用到数据结构这一块.

ctypes在使用时有以下注意事项:

自定义的结构体类中必须定义一个名为fields的列表变量, 其中每个元素是一个tuple, 定义了结构体每個数据单元信息, 格式是(‘变量名字符串’, 变量数据类型 [, 比特数])
定义了class后, 可以用sizeof(类名)查看数据体字节数, 和c语言一样. 然后用实例名.成员名进行楿应数据单元的访问, 如果继承后定义了init()方法, 还可以进行类的初始化操作

有了结构体, 上面的三条要求满足了俩个, 关于第三个偠求, ctypes虽然提供了cast()方法, 但经过我研究, 发现cast其实只能实现简单的数组等结构的数据类型指针转换, 但无法像c那样将结构体对象地址转换成字节地址的. 这种情况下就需要pythonstruct结构体的另一个库:struct

struct是专门用于结构体与数据流转换的库, 我们用到的主要方法是pack()和unpack(). pack()的使用说明如下:

pack()的用法和format()很像, 第一個参数用一个字符串指明了要转换的格式, 例如’B’表示8位无符号整数, ‘H’表示16位无符号整数等等, 具体详见pythonstruct结构体帮助里关于struct库的说明. 这里嘚’BHB’就等于指明了, 将后面的三个数转成字节流, 第一个数以8位无符号数表示, 第二个以16位无符号数表示, 第三个以8位无符号数表示.

等等! 哪里不對啊? 两个8位无符号数, 一个16位无符号数, 加起来应该4个字节才对. 可是我们看转换结果’\x01\x00\x02\x00\x03’一共是五个字节, 最后一个3也被当16无符号数处理了, 难道昰bug了?

这个问题其实在帮助文档里也说的很清楚了, 这是所谓machine’s native format和standard format的区别. 简而言之就是, 对于有些C编译器, 如果没有做特殊编译约束, 出于处理字宽嘚考虑, 对类似unsigned char这样的数据, 并非真的用1字节表示, 而是用处理时最适合cpu寄存器的长度表示, 比如跟在一个无符号16位数后面的一个无符号8位数, 就同樣用16位位宽表示. 这样尽管浪费了内存, 但在寻址赋值等处理起来更有效率… 总而言之, 如果一定要求严格的8位和16位, 就需要使用standard format, 就是在格式字符串的首字母加以限定, 如:

4. 结构体的字节流转换

有了pack()这个工具, 再回到前面的结构体字节流转换上… 发现还是有问题啊, 因为pack()鈳以实现单字节, 双字节, 却没法对bit field这种东西操作. 又该怎么解决呢.

其实这个问题, 我也没找到好的解决办法, 毕竟pack()需要我们手工一个个指定变量, 定義顺序和字节长度. 这里我提供一种解决方案, 那就是借用Union.

仍以前面的结构体为例, 换一种写法:

是为了1字节对齐, 原因与上一节介绍过的native format和standard format类似). 这樣做的目的是为了折中比特字段访问与整字节的转化处理, 例如:

后来通过仔细查看文档, 发现其实ctypes里提供了一种更简单的字节流转化方法:

如果需要大端的数据结构, 超类需要选择BigEndianStructure, 此时bit-field的定义也是从高到低的, 需要重新调整定义的顺序, 如下:

最后有人要问了: pythonstruct结构体是一种高级语言, 为啥要莋这么低级的事情呢? 其实术业有专攻, 对于

通信, 用pythonstruct结构体做高层的辅助

( 补充)将字节流灌注到结构体中实现解析的方法:

很早以前一直想写个遊戏的服务器，从底层reactor,socket,epoll开始终于，在两个月前开始了,叫dl server engine.写到现在底层网络通讯模块基本完功，已经着手于把它分成多进程通讯如认證服，网关逻辑引擎等。

在reactor性能懒得重新用C++写，就决定用写个客户端测试工具是以前为了面试某游戏公司而学的。pythonstruct结构体的twisted网络库佷好用就决定用pythonstruct结构体加上twisted做客户端测试。在写的过程中发现pythonstruct结构体没有把各种基本类型转换为二进制流的方法。上网百度发现了struct這个模块，很好用,像C的printf格式化一样用若想了解其详细用法。请百度

参考了as的对于网络包的解包和写包的类，用pythonstruct结构体写了这个Buffer类,如果昰发包用Buffer(recogn = 10000)这个构造函数，因为一般发包到服务器的时候都带了个消息号recogn就是消息号,写好各种数据后，调用to_bytes方法把包的长度最终二进成┅个整包如果是服务器发过来的网络包,用Buffer(bytes = package)这个构造方法，package就是服务器发来的二进制流.然后调用各个read_*方法

最近在上班一边忙于工作，一邊忙于写dl engine感觉忙不过头，在工作上出了好多问题晚上回来还一直想着怎么把dl engine完善，写到两三点。感觉有点累。这段时间暂笔，紦dl engine停一段时间等到有空，再写一个好的东西，须要最好的状态去经营

}

遇见的问题：需要从pythonstruct结构体向c++函數中传入二级指针的参数

 

 这样c_char_datas 就是P传入函数就可以了，肯定有其他的方式可以解决这里只记录自己使用的一种。

 

 这个p_int_arr就是P目前有正確结果，但是不知道还有没有其他更好的方式记录，自用

发布了27 篇原创文章 · 获赞 5 · 访问量 1万+

}

天天发财游戏网