多语言序列化的类型映射
注意:
- 有关类型定义 ,请参阅 Spec 中的类型系统
int16_t[n]/vector<T>
表示int16_t[n]/vector<int16_t>
.- 跨语言序列化并不稳定,请勿在生产环境中使用。
Type Mapping
Fury 类型 | Fury 类型 ID | Java | Python | Javascript | C++ | Golang | Rust |
---|---|---|---|---|---|---|---|
bool | 1 | bool/Boolean | bool | Boolean | bool | bool | bool |
int8 | 2 | byte/Byte | int/pyfury.Int8 | Type.int8() | int8_t | int8 | i8 |
int16 | 3 | short/Short | int/pyfury.Int16 | Type.int16() | int16_t | int16 | i6 |
int32 | 4 | int/Integer | int/pyfury.Int32 | Type.int32() | int32_t | int32 | i32 |
var_int32 | 5 | int/Integer | int/pyfury.VarInt32 | Type.varint32() | fury::varint32_t | fury.varint32 | fury::varint32 |
int64 | 6 | long/Long | int/pyfury.Int64 | Type.int64() | int64_t | int64 | i64 |
var_int64 | 7 | long/Long | int/pyfury.VarInt64 | Type.varint64() | fury::varint64_t | fury.varint64 | fury::varint64 |
sli_int64 | 8 | long/Long | int/pyfury.SliInt64 | Type.sliint64() | fury::sliint64_t | fury.sliint64 | fury::sliint64 |
float16 | 9 | float/Float | float/pyfury.Float16 | Type.float16() | fury::float16_t | fury.float16 | fury::f16 |
float32 | 10 | float/Float | float/pyfury.Float32 | Type.float32() | float | float32 | f32 |
float64 | 11 | double/Double | float/pyfury.Float64 | Type.float64() | double | float64 | f64 |
string | 12 | String | str | String | string | string | String/str |
enum | 13 | Enum subclasses | enum subclasses | / | enum | / | enum |
list | 14 | List/Collection | list/tuple | array | vector | slice | Vec |
set | 15 | Set | set | / | set | fury.Set | Set |
map | 16 | Map | dict | Map | unordered_map | map | HashMap |
duration | 17 | Duration | timedelta | Number | duration | Duration | Duration |
timestamp | 18 | Instant | datetime | Number | std::chrono::nanoseconds | Time | DateTime |
decimal | 19 | BigDecimal | Decimal | bigint | / | / | / |
binary | 20 | byte[] | bytes | / | uint8_t[n]/vector<T> | [n]uint8/[]T | Vec<uint8_t> |
array | 21 | array | np.ndarray | / | / | array/slice | Vec |
bool_array | 22 | bool[] | ndarray(np.bool_) | / | bool[n] | [n]bool/[]T | Vec<bool> |
int8_array | 23 | byte[] | ndarray(int8) | / | int8_t[n]/vector<T> | [n]int8/[]T | Vec<i18> |
int16_array | 24 | short[] | ndarray(int16) | / | int16_t[n]/vector<T> | [n]int16/[]T | Vec<i16> |
int32_array | 25 | int[] | ndarray(int32) | / | int32_t[n]/vector<T> | [n]int32/[]T | Vec<i32> |
int64_array | 26 | long[] | ndarray(int64) | / | int64_t[n]/vector<T> | [n]int64/[]T | Vec<i64> |
float16_array | 27 | float[] | ndarray(float16) | / | fury::float16_t[n]/vector<T> | [n]float16/[]T | Vec<fury::f16> |
float32_array | 28 | float[] | ndarray(float32) | / | float[n]/vector<T> | [n]float32/[]T | Vec<f32> |
float64_array | 29 | double[] | ndarray(float64) | / | double[n]/vector<T> | [n]float64/[]T | Vec<f64> |
tensor | 30 | / | / | / | / | / | / |
sparse tensor | 31 | / | / | / | / | / | / |
arrow record batch | 32 | / | / | / | / | / | / |
arrow table | 33 | / | / | / | / | / | / |
类型信息(目前尚未实现)
由于语言类型系统之间的差异,这些类型无法在语言之间一对一地映射。
如果用户看到一种语言中的一种类型对应 Apache Fury 类型系统中的多种类型。
例如:java 中的 long
类型对应 int64/varint64/sliint64
类型。类型为 int64/varint64/sliint64
这意味着该语言缺少某些类型,用户在使用 Fury 时必须提供额外的类型信息。
类型注解
如果类型是另一个类的字段,用户可以为类型的字段或整个类型提供 meta hints。 这些信息也可以用其他语言提供:
- java:使用注解;
- cpp:使用宏和模板;
- golang:使用 struct tag;
- python: 使用 typehint;
- rust:使用宏。
下面是一个例子:
-
Java:
class Foo {
@Int32Type(varint = true)
int f1;
List<@Int32Type(varint = true) Integer> f2;
} -
Python:
class Foo:
f1: Int32Type(varint=True)
f2: List[Int32Type(varint=True)]
类型包装器
如果类型不是类的字段,用户必须用 Fury 类型来包装该类型,以传递额外的类型信息。
例如:假设 Apache Fury Java 提供了 VarInt64
类型,当用户调用 fury.serialize(long_value)
时,需要像下面这样调用
调用 fury.serialize(new VarInt64(long_value))
。