什么是删除向量？

注意

此功能在 Delta Lake 2.3.0 及更高版本中可用。此功能处于实验支持模式。

删除向量是一种存储优化功能，可以在 Delta Lake 表上启用。默认情况下，当数据文件中的单行被删除时，必须重写包含该记录的整个 Parquet 文件。对于启用了删除向量的表，某些 Delta 操作使用删除向量将现有行标记为已删除，而无需重写 Parquet 文件。对表的后续读取通过将删除向量记录的删除应用到最新表版本来解析当前表状态。

对删除向量的支持随着每个 Delta Lake 版本的发布而逐步增加。下表描述了每个 Delta Lake 版本支持的操作。

Operation	首个可用 Delta Lake 版本	自 Delta Lake 版本起默认启用
SCAN	2.3.0	2.3.0
DELETE	2.4.0	2.4.0
UPDATE	3.0.0	3.1.0
MERGE	3.1.0	3.1.0

启用删除向量

您可以通过设置 Delta Lake 表属性来启用 Delta Lake 表对删除向量的支持。

SQL

ALTER TABLE <table_name> SET TBLPROPERTIES('delta.enableDeletionVectors' = true);

警告

启用删除向量时，表协议版本会升级。升级后，不支持删除向量的 Delta Lake 客户端将无法读取该表。请参阅Delta Lake 如何管理功能兼容性？。

在 Delta Lake 3.0 及更高版本中，您可以删除删除向量表功能以启用与其他 Delta 客户端的兼容性。请参阅删除 Delta 表功能。

将更改应用到 Parquet 数据文件

删除向量将对行的更改表示为软删除，这些软删除逻辑上修改了 Delta Lake 表中现有的 Parquet 数据文件。这些更改在数据文件被重写时物理应用，由以下事件之一触发：

• 在表上运行禁用删除向量的 DML 命令（通过命令标志或表属性）。
• 在表上运行 OPTIMIZE 命令。
• 对表运行 REORG TABLE ... APPLY (PURGE)。

UPDATE、MERGE 和 OPTIMIZE 没有严格保证解决删除向量中记录的更改，如果目标数据文件不包含更新的记录，或者不符合文件压缩的条件，则删除向量中记录的某些更改可能不会应用。REORG TABLE ... APPLY (PURGE) 重写所有包含使用删除向量记录的修改的记录的数据文件。请参阅通过 REORG TABLE 应用更改

注意

修改后的数据可能仍存在于旧文件中。您可以运行 VACUUM 以物理删除旧文件。REORG TABLE ... APPLY (PURGE) 在完成时创建表的新版本，这是您必须考虑的用于 VACUUM 操作的保留阈值，以完全删除已删除的文件。

通过 REORG TABLE 应用更改

通过使用 REORG TABLE 重写文件以清除软删除数据（例如由删除向量标记为已删除的行）来重组 Delta Lake 表

SQL

REORG TABLE events APPLY (PURGE);

-- If you have a large amount of data and only want to purge a subset of it, you can specify an optional partition predicate using `WHERE`:
REORG TABLE events WHERE date >= '2022-01-01' APPLY (PURGE);

REORG TABLE events
  WHERE date >= current_timestamp() - INTERVAL '1' DAY
  APPLY (PURGE);

注意

• REORG TABLE 仅重写包含软删除数据的文件。- 当清除生成的文件很小时，REORG TABLE 会将它们合并成更大的文件。有关更多信息，请参阅OPTIMIZE。- REORG TABLE 是幂等的，这意味着如果它在同一数据集上运行两次，则第二次运行没有效果。- 运行 REORG TABLE 后，软删除的数据可能仍存在于旧文件中。您可以运行 VACUUM 以物理删除旧文件。