对象 DeltaTable 扩展 Serializable

用于创建 DeltaTable 实例的伴生对象。

DeltaTable.forPath(sparkSession, pathToTheDeltaTable)
自

0.3.0

线性超类型
Serializable, AnyRef, Any
排序
  1. 按字母顺序
  2. 按继承顺序
继承
  1. DeltaTable
  2. Serializable
  3. AnyRef
  4. Any
  1. 隐藏所有
  2. 显示所有
可见性
  1. 公共
  2. 受保护的

值成员

  1. final def !=(arg0: Any): Boolean
    定义类
    AnyRef → Any
  2. final def ##: Int
    定义类
    AnyRef → Any
  3. final def ==(arg0: Any): Boolean
    定义类
    AnyRef → Any
  4. final def asInstanceOf[T0]: T0
    定义类
    Any
  5. def clone(): AnyRef
    属性
    protected[lang]
    定义类
    AnyRef
    注解
    @throws(classOf[java.lang.CloneNotSupportedException]) @IntrinsicCandidate() @native()
  6. def columnBuilder(spark: SparkSession, colName: String): DeltaColumnBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaColumnBuilder 实例以指定列。有关示例和 DeltaColumnBuilder 详细 API，请参阅 DeltaTableBuilder。

    spark

    sparkSession 用户传入的 sparkSession

    colName

    字符串 列名

    注解
    @Evolving()
    自

    1.0.0

  7. def columnBuilder(colName: String): DeltaColumnBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaColumnBuilder 实例以指定列。有关示例和 DeltaColumnBuilder 详细 API，请参阅 DeltaTableBuilder。

    注意：这使用当前线程中的活动 SparkSession 读取表数据。因此，如果活动 SparkSession 未设置，即 SparkSession.getActiveSession() 为空，则会抛出错误。

    colName

    字符串 列名

    注解
    @Evolving()
    自

    1.0.0

  8. def convertToDelta(spark: SparkSession, identifier: String): DeltaTable

    从给定的 parquet 表创建 DeltaTable。

    从给定的 Parquet 表创建 DeltaTable。获取现有 Parquet 表并在表的基路径中构造 Delta 事务日志。

    注意：在转换过程中对表的任何更改都可能导致转换结束时状态不一致。用户应在转换开始前停止对表的任何更改。

    一个例子是

    io.delta.tables.DeltaTable.convertToDelta(
 spark,
 "parquet.`/path`"
    自

    0.4.0

  9. def convertToDelta(spark: SparkSession, identifier: String, partitionSchema: String): DeltaTable

    从给定的 parquet 表和分区模式创建 DeltaTable。

    从给定的 Parquet 表和分区 schema 创建 DeltaTable。获取现有 Parquet 表并在该表的基路径中构造 Delta 事务日志。

    注意：在转换过程中对表的任何更改都可能导致转换结束时状态不一致。用户应在转换开始前停止对表的任何更改。

    一个用法示例是

    io.delta.tables.DeltaTable.convertToDelta(
 spark,
 "parquet.`/path`",
 "key1 long, key2 string")
    自

    0.4.0

  10. def convertToDelta(spark: SparkSession, identifier: String, partitionSchema: StructType): DeltaTable

    从给定的 parquet 表和分区模式创建 DeltaTable。

    从给定的 Parquet 表和分区 schema 创建 DeltaTable。获取现有 Parquet 表并在该表的基路径中构造 Delta 事务日志。

    注意：在转换过程中对表的任何更改都可能导致转换结束时状态不一致。用户应在转换开始前停止对表的任何更改。

    一个用法示例是

    io.delta.tables.DeltaTable.convertToDelta(
 spark,
 "parquet.`/path`",
 new StructType().add(StructField("key1", LongType)).add(StructField("key2", StringType)))
    自

    0.4.0

  11. def create(spark: SparkSession): DeltaTableBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaTableBuilder 实例以创建 Delta 表，如果表已存在则报错（与 SQL CREATE TABLE 相同）。有关更多详细信息，请参阅 DeltaTableBuilder。

    spark

    sparkSession 用户传入的 sparkSession

    注解
    @Evolving()
    自

    1.0.0

  12. def create(): DeltaTableBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaTableBuilder 实例以创建 Delta 表，如果表已存在则报错（与 SQL CREATE TABLE 相同）。有关更多详细信息，请参阅 DeltaTableBuilder。

    注意：这使用当前线程中的活动 SparkSession 读取表数据。因此，如果活动 SparkSession 未设置，即 SparkSession.getActiveSession() 为空，则会抛出错误。

    注解
    @Evolving()
    自

    1.0.0

  13. def createIfNotExists(spark: SparkSession): DeltaTableBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaTableBuilder 实例以创建 Delta 表（如果不存在）（与 SQL CREATE TABLE IF NOT EXISTS 相同）。有关更多详细信息，请参阅 DeltaTableBuilder。

    spark

    sparkSession 用户传入的 sparkSession

    注解
    @Evolving()
    自

    1.0.0

  14. def createIfNotExists(): DeltaTableBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaTableBuilder 实例以创建 Delta 表（如果不存在）（与 SQL CREATE TABLE IF NOT EXISTS 相同）。有关更多详细信息，请参阅 DeltaTableBuilder。

    注意：这使用当前线程中的活动 SparkSession 读取表数据。因此，如果活动 SparkSession 未设置，即 SparkSession.getActiveSession() 为空，则会抛出错误。

    注解
    @Evolving()
    自

    1.0.0

  15. def createOrReplace(spark: SparkSession): DeltaTableBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaTableBuilder 实例以替换 Delta 表，或在表不存在时创建表（与 SQL CREATE OR REPLACE TABLE 相同）。有关更多详细信息，请参阅 DeltaTableBuilder。

    spark

    sparkSession 用户传入的 sparkSession。

    注解
    @Evolving()
    自

    1.0.0

  16. def createOrReplace(): DeltaTableBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaTableBuilder 实例以替换 Delta 表或在表不存在时创建表（与 SQL CREATE OR REPLACE TABLE 相同）。有关更多详细信息，请参阅 DeltaTableBuilder。

    注意：这使用当前线程中的活动 SparkSession 读取表数据。因此，如果活动 SparkSession 未设置，即 SparkSession.getActiveSession() 为空，则会抛出错误。

    注解
    @Evolving()
    自

    1.0.0

  17. final def eq(arg0: AnyRef): Boolean
    定义类
    AnyRef
  18. def equals(arg0: AnyRef): Boolean
    定义类
    AnyRef → Any
  19. def forName(sparkSession: SparkSession, tableName: String): DeltaTable

    使用以下方法之一实例化 DeltaTable 对象：1。

    使用以下方法之一实例化 DeltaTable 对象：1. 使用给定 SparkSession 和 SessionCatalog 的给定 tableName。2. tableName 也可以是 Delta 数据源的绝对路径（即 delta.path），如果是，则实例化一个 DeltaTable 对象，表示给定路径上的数据（与 forPath 一致）。3. 传入完全限定的 tableName 形式 catalog.db.table，如果是，则通过指定的 catalog 而不是默认的 *SessionCatalog* 解析表

    如果给定 tableName 无效（即不存在表或现有表不是 Delta 表），则会抛出 不是 Delta 表 错误。注意：传递视图名称也会导致此错误，因为不支持视图。

  20. def forName(tableOrViewName: String): DeltaTable

    使用给定表名实例化 DeltaTable 对象。

    使用给定表名实例化 DeltaTable 对象。如果给定 tableOrViewName 无效（即不存在表或现有表不是 Delta 表），则会抛出 不是 Delta 表 错误。注意：传递视图名称也会导致此错误，因为不支持视图。

    给定的 tableOrViewName 也可以是 Delta 数据源的绝对路径（即 delta.path），如果是，则实例化一个 DeltaTable 对象，表示给定路径上的数据（与 forPath 一致）。

    注意：这使用当前线程中的活动 SparkSession 读取表数据。因此，如果活动 SparkSession 未设置，即 SparkSession.getActiveSession() 为空，则会抛出错误。

  21. def forPath(sparkSession: SparkSession, path: String, hadoopConf: Map[String, String]): DeltaTable

    Java 友好 API，用于实例化一个表示给定路径数据的 DeltaTable 对象。如果给定路径无效（即

    Java 友好 API，用于实例化一个表示给定路径数据的 DeltaTable 对象。如果给定路径无效（即不存在表或现有表不是 Delta 表），则会抛出 不是 Delta 表 错误。

    hadoopConf

    以 "fs." 或 "dfs." 开头的 Hadoop 配置将被 DeltaTable 获取，以便在执行查询时访问文件系统。其他配置将被忽略。

    val hadoopConf = Map(
  "fs.s3a.access.key" -> "<access-key>",
  "fs.s3a.secret.key", "<secret-key>"
)
DeltaTable.forPath(spark, "/path/to/table", hadoopConf)
    自

    2.2.0

  22. def forPath(sparkSession: SparkSession, path: String, hadoopConf: Map[String, String]): DeltaTable

    实例化一个表示给定路径数据的 DeltaTable 对象。如果给定路径无效（即

    实例化一个表示给定路径数据的 DeltaTable 对象。如果给定路径无效（即不存在表或现有表不是 Delta 表），则会抛出 不是 Delta 表 错误。

    hadoopConf

    以 "fs." 或 "dfs." 开头的 Hadoop 配置将被 DeltaTable 获取，以便在执行查询时访问文件系统。其他配置将不被允许。

    val hadoopConf = Map(
  "fs.s3a.access.key" -> "<access-key>",
  "fs.s3a.secret.key" -> "<secret-key>"
)
DeltaTable.forPath(spark, "/path/to/table", hadoopConf)
    自

    2.2.0

  23. def forPath(sparkSession: SparkSession, path: String): DeltaTable

    实例化一个表示给定路径数据的 DeltaTable 对象。如果给定路径无效（即

    实例化一个表示给定路径数据的 DeltaTable 对象。如果给定路径无效（即不存在表或现有表不是 Delta 表），则会抛出 不是 Delta 表 错误。

    自

    0.3.0

  24. def forPath(path: String): DeltaTable

    实例化一个表示给定路径数据的 DeltaTable 对象。如果给定路径无效（即

    实例化一个表示给定路径数据的 DeltaTable 对象。如果给定路径无效（即不存在表或现有表不是 Delta 表），则会抛出 不是 Delta 表 错误。

    注意：这使用当前线程中的活动 SparkSession 读取表数据。因此，如果活动 SparkSession 未设置，即 SparkSession.getActiveSession() 为空，则会抛出错误。

    自

    0.3.0

  25. final def getClass(): Class[_ <: AnyRef]
    定义类
    AnyRef → Any
    注解
    @IntrinsicCandidate() @native()
  26. def hashCode(): Int
    定义类
    AnyRef → Any
    注解
    @IntrinsicCandidate() @native()
  27. def isDeltaTable(identifier: String): Boolean

    检查提供的 `identifier` 字符串（在这种情况下是文件路径）是否是 Delta 表的根目录。

    检查提供的 `identifier` 字符串（在这种情况下是文件路径）是否是 Delta 表的根目录。

    注意：这使用当前线程中的活动 SparkSession 搜索表。因此，如果活动 SparkSession 未设置，即 SparkSession.getActiveSession() 为空，则会抛出错误。

    例如：

    DeltaTable.isDeltaTable(spark, "/path/to/table")
    自

    0.4.0

  28. def isDeltaTable(sparkSession: SparkSession, identifier: String): Boolean

    使用给定的 SparkSession 检查提供的 `identifier` 字符串（在这种情况下是文件路径）是否是 Delta 表的根目录。

    使用给定的 SparkSession 检查提供的 `identifier` 字符串（在这种情况下是文件路径）是否是 Delta 表的根目录。

    例如：

    DeltaTable.isDeltaTable(spark, "path/to/table")
    自

    0.4.0

  29. final def isInstanceOf[T0]: Boolean
    定义类
    Any
  30. final def ne(arg0: AnyRef): Boolean
    定义类
    AnyRef
  31. final def notify(): Unit
    定义类
    AnyRef
    注解
    @IntrinsicCandidate() @native()
  32. final def notifyAll(): Unit
    定义类
    AnyRef
    注解
    @IntrinsicCandidate() @native()
  33. def replace(spark: SparkSession): DeltaTableBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaTableBuilder 实例以替换 Delta 表，如果表不存在则报错（与 SQL REPLACE TABLE 相同）。有关更多详细信息，请参阅 DeltaTableBuilder。

    spark

    sparkSession 用户传入的 sparkSession

    注解
    @Evolving()
    自

    1.0.0

  34. def replace(): DeltaTableBuilder

    :: 演进中 :

    :: 演进中 :

    返回 DeltaTableBuilder 实例以替换 Delta 表，如果表不存在则报错（与 SQL REPLACE TABLE 相同）。有关更多详细信息，请参阅 DeltaTableBuilder。

    注意：这使用当前线程中的活动 SparkSession 读取表数据。因此，如果活动 SparkSession 未设置，即 SparkSession.getActiveSession() 为空，则会抛出错误。

    注解
    @Evolving()
    自

    1.0.0

  35. final def synchronized[T0](arg0: => T0): T0
    定义类
    AnyRef
  36. def toString(): String
    定义类
    AnyRef → Any
  37. final def wait(arg0: Long, arg1: Int): Unit
    定义类
    AnyRef
    注解
    @throws(classOf[java.lang.InterruptedException])
  38. final def wait(arg0: Long): Unit
    定义类
    AnyRef
    注解
    @throws(classOf[java.lang.InterruptedException]) @native()
  39. final def wait(): Unit
    定义类
    AnyRef
    注解
    @throws(classOf[java.lang.InterruptedException])

已弃用的值成员

  1. def finalize(): Unit
    属性
    protected[lang]
    定义类
    AnyRef
    注解
    @throws(classOf[java.lang.Throwable]) @Deprecated
    已弃用

    (版本 9 起)

继承自 Serializable

继承自 AnyRef

继承自 Any

未分组