Delta 类型拓宽

注意

此功能在 Delta Lake 3.2 及更高版本中提供预览，在 Delta Lake 4.0 及更高版本中完全支持。

类型拓宽功能允许将 Delta 表中列的类型更改为更宽的类型。这使得可以使用 ALTER TABLE ALTER COLUMN 命令进行手动类型更改，并在写入操作期间通过模式演进进行自动类型迁移。

支持的类型更改

该功能在 Delta Lake 3.2 中引入了一组有限的受支持类型更改，并在 Delta Lake 4.0 及更高版本中进行了扩展。

源类型	支持的更宽类型 - Delta 3.2	支持的更宽类型 - Delta 4.0
byte	short, int	short, int, long, decimal, double
short	int	int, long, decimal, double
int		long, decimal, double
long		decimal
float		double
decimal		具有更高精度和小数位数的 decimal
date		timestampNTZ

为避免意外将整数值提升为小数，您必须手动提交从 byte、short、int 或 long 到 decimal 或 double 的类型更改。当将整数类型提升为 decimal 或 double 时，如果任何下游摄取将此值写回整数列，Spark 默认将截断值的小数部分。

注意

当将整数或小数类型更改为小数时，总精度必须等于或大于起始精度。如果同时增加小数位数，则总精度必须相应增加。也就是说，decimal(p, s) 可以更改为 decimal(p + k1, s + k2)，当且仅当 k1 >= k2 >= 0。

例如，如果想要为 decimal(10,1) 的字段添加两位小数，最小目标是 decimal(12,3)。

byte、short 和 int 类型的最小目标是 decimal(10,0)。long 的最小目标是 decimal(20,0)。

类型更改支持顶级列以及结构体、映射和数组中嵌套的字段。

如何启用 Delta Lake 类型拓宽

重要

使用 Delta Lake 3.3 及更高版本启用类型拓宽会设置 Delta 表特性 typeWidening，这是一个读写器协议特性。一旦设置了此表特性，只有支持此表特性的客户端才能读写该表。您必须使用 Delta Lake 3.3 或更高版本才能读写此类 Delta 表。

使用 Delta Lake 3.2 启用类型拓宽会在表上设置 Delta 表特性 typeWidening-preview。您必须使用 Delta Lake 3.2 或更高版本才能读写此类 Delta 表。

您可以通过将 delta.enableTypeWidening 表属性设置为 true 来在现有表上启用类型拓宽

SQL

ALTER TABLE <table_name> SET TBLPROPERTIES ('delta.enableTypeWidening' = 'true')

或者，您可以在创建表时启用类型拓宽

SQL

CREATE TABLE <table_name> USING DELTA TBLPROPERTIES('delta.enableTypeWidening' = 'true')

要禁用类型拓宽

SQL

ALTER TABLE <table_name> SET TBLPROPERTIES ('delta.enableTypeWidening' = 'false')

禁用类型拓宽可防止将来对表应用类型更改。它不影响先前应用的类型更改，特别是它不会移除类型拓宽表特性，也不允许不支持类型拓宽表特性的客户端读写该表。

要从表中移除类型拓宽表特性并允许不支持此特性的其他客户端读写该表，请参阅移除类型拓宽表特性。

手动应用类型更改

当 Delta 表上启用了类型拓宽时，您可以使用 ALTER COLUMN 命令更改列的类型

SQL

ALTER TABLE <table_name> ALTER COLUMN <col_name> TYPE <new_type>

表架构会更新，而无需重写底层 Parquet 文件。

通过自动模式演进进行类型更改

模式演进与类型拓宽协同工作，以更新目标表中的数据类型，使其与传入数据的类型匹配。

注意

如果未启用类型拓宽，模式演进总是尝试将数据向下转型以匹配目标表中的列类型。如果您不想自动拓宽目标表中的数据类型，请在启用模式演进的情况下运行工作负载之前禁用类型拓宽。

要在摄取过程中使用模式演进拓宽列的数据类型，您必须满足以下条件

• 写入命令在启用自动模式演进的情况下运行。
• 目标表已启用类型拓宽。
• 源列类型比目标列类型宽。
• 类型拓宽支持类型更改。
• 类型更改不是从 byte、short、int 或 long 到 decimal 或 double。这些类型更改只能使用 ALTER TABLE 手动应用，以避免将整数意外提升为小数。

不满足所有这些条件的类型不匹配将遵循正常的模式强制规则。

移除类型拓宽表特性

可以使用 DROP FEATURE 命令从 Delta 表中移除类型拓宽特性

SQL

ALTER TABLE <table_name> DROP FEATURE 'typeWidening' [TRUNCATE HISTORY]

注意

使用 Delta Lake 3.2 启用类型拓宽的表需要改为删除特性 typeWidening-preview。

有关删除 Delta 表特性的更多信息，请参阅删除 Delta 表特性。

删除类型拓宽特性时，如有必要，会重写底层 Parquet 文件，以确保文件中的列类型与 Delta 表架构中的列类型匹配。从表中移除类型拓宽特性后，不支持该特性的 Delta 客户端可以读写该表。

限制

Iceberg 兼容性

Iceberg 不支持类型拓宽涵盖的所有类型更改，请参阅 Iceberg 模式演进。特别是，Iceberg V2 不支持以下类型更改

• byte、short、int、long 到 decimal 或 double
• decimal 精度增加
• date 到 timestampNTZ

当 Delta 表上启用了带有 Iceberg 兼容性的 UniForm 时，应用这些类型更改之一将导致错误。

如果将这些不受支持的类型更改之一应用到 Delta 表，则在表上启用带有 Iceberg 兼容性的 UniForm 将导致错误。要解决此错误，您必须删除类型拓宽表特性。