跳到内容

Delta 表属性参考

属性描述数据类型默认值
delta.appendOnly如果此 Delta 表为仅追加,则为 true。如果为仅追加,则不能删除现有记录,也不能更新现有值。请参阅表属性布尔值false
delta.checkpoint.writeStatsAsJson如果 Delta Lake 将文件统计信息以 JSON 格式写入检查点的 stats 列,则为 true布尔值true
delta.checkpoint.writeStatsAsStruct如果 Delta Lake 将文件统计信息以结构体格式写入检查点的 stats_parsed 列,并将分区值以结构体格式写入 partitionValues_parsed,则为 true布尔值(无)
delta.compatibility.symlinkFormatManifest.enabled如果 Delta Lake 配置 Delta 表,以便表上的所有写入操作自动更新清单,则为 true。请参阅更新清单布尔值false
delta.dataSkippingNumIndexedColsDelta Lake 为数据跳过收集统计信息的列数。值 -1 表示为所有列收集统计信息。更新此属性不会自动再次收集统计信息;相反,它重新定义了 Delta 表的统计信息架构。例如,它改变了未来统计信息收集(例如在追加和优化期间)以及数据跳过(例如忽略超出此数量的列统计信息,即使存在此类统计信息)的行为。请参阅数据跳过Int32
delta.deletedFileRetentionDurationDelta Lake 在物理删除逻辑删除的数据文件之前保留这些文件的最短持续时间。这是为了防止在压缩或分区覆盖后过时读取器出现故障。此值应足够大,以确保:- 如果您在存在并发读取器或写入器访问 Delta 表时运行 VACUUM,它应大于作业可能的最长持续时间。- 如果您运行从表中读取的流式查询,则该查询停止的时间不应超过此值。否则,查询可能无法重新启动,因为它仍然必须读取旧文件。请参阅数据保留CalendarInterval间隔 1 周
delta.enableChangeDataFeed若要启用更改数据源,则为 true。请参阅启用更改数据源布尔值false
delta.logRetentionDurationDelta 表的历史记录保留多长时间。每次写入检查点时,Delta Lake 都会自动清理早于保留间隔的日志条目。如果您将此属性设置为足够大的值,则会保留许多日志条目。这不应影响性能,因为对日志的操作是恒定时间的。历史记录操作是并行的,但随着日志大小的增加会变得更加昂贵。请参阅数据保留CalendarInterval间隔 30 天
delta.minReaderVersion允许从此 Delta 表读取的读取器所需的最低协议读取器版本。请参阅版本控制Int1
delta.minWriterVersion允许写入此 Delta 表的写入器所需的最低协议写入器版本。请参阅版本控制Int2
delta.setTransactionRetentionDuration新快照保留事务标识符(例如 SetTransaction)的最短持续时间。当新快照看到一个早于或等于此属性指定的持续时间的事务标识符时,快照会将其视为已过期并忽略它。SetTransaction 标识符用于使写入操作幂等。有关详细信息,请参阅foreachBatch 中的幂等表写入CalendarInterval(无)
delta.checkpointPolicy对于经典 Delta Lake 检查点为 classic。对于 v2 检查点为 v2。有关详细信息,请参阅V2 检查点规范。有关兼容性的详细信息,请参阅版本控制Stringclassic