Skip to content

连接数据库并检索数据 ​

Kotlin DataFrame 库提供了对最常见 SQL 数据库的支持:

探索 GitHub 上的 Kotlin DataFrame SQL 示例。

开始之前 ​

从 IntelliJ IDEA 2026.2 开始,Kotlin Notebook 将不再随 IDE 一同捆绑,也不再由 JetBrains 官方提供支持。 源代码仍可在 GitHub 上获取。

欲了解详情,请参阅博客文章。

按照本教程操作:

  1. 选择 File | New | Kotlin Notebook。

  2. 在笔记本的第一个单元格中添加适用于您数据库的 Java 数据库连接(JDBC 驱动程序)依赖项。

    例如,要连接到 MariaDB 数据库,请添加:

    kotlin
    USE {
       dependencies("org.mariadb.jdbc:mariadb-java-client:$version")
    }
  3. 导入 Kotlin DataFrame:

    kotlin
    %use dataframe

    请在运行任何其他代码单元之前运行包含 %use dataframe 行的代码单元, 以确保 DataFrame 库及其 API 在笔记本中可用。

要学习本教程,您也可以将 DataFrame 作为 Gradle 或 Maven 依赖项使用。

连接到数据库 ​

要连接到数据库,请使用 DbConnectionConfig() 函数创建连接配置:

  1. 导入以下功能性组件:

    kotlin
    import org.jetbrains.kotlinx.dataframe.io.DbConnectionConfig
    import org.jetbrains.kotlinx.dataframe.schema.DataFrameSchema
  2. 使用 DbConnectionConfig() 函数定义连接形参(URL、用户名、密码):

    kotlin
    val URL = "YOUR_URL"
    val USER_NAME = "YOUR_USERNAME"
    val PASSWORD = "YOUR_PASSWORD"
    
    val dbConfig = DbConnectionConfig(URL, USER_NAME, PASSWORD)

有关连接到 SQL 数据库的更多信息,请参阅 Kotlin DataFrame 文档中的从 SQL 数据库读取。

检查数据库架构 ​

在加载数据之前,请先检查数据库架构, 以了解您有哪些表以及它们包含哪些列。 您可以使用这些架构来决定将哪个表加载到 DataFrame 中。

要检索数据库中所有用户创建表的架构,请使用 DataFrameSchema.readAllSqlTables() 函数:

kotlin
val dataSchemas = DataFrameSchema.readAllSqlTables(dbConfig)

dataSchemas.forEach { (tableName, schema) ->
    println("---Schema for table: $tableName---")
    println(schema)
    println()
}

加载数据 ​

在检查数据库架构并选择数据之后,将数据 加载到 DataFrame 中。

Kotlin DataFrame 提供了两种从数据库加载数据的方式:

  • 直接从表中加载数据。
  • 加载自定义 SQL 查询的结果。

这两种方法都会返回一个 DataFrame,供您检查、转换和分析。

从表中加载数据 ​

要从表中加载数据,请使用 DataFrame.readSqlTable() 函数。

以下示例从 movies 表中加载前 100 行:

kotlin
val moviesDf = DataFrame.readSqlTable(
    dbConfig = dbConfig,
    tableName = "movies",
    limit = 100
)

moviesDf

使用 SQL 查询加载数据 ​

要在数据库上执行特定的 SQL 查询,请使用 DataFrame.readSqlQuery() 函数。 当您需要加载特定列、联接表、过滤行或在数据库中聚合数据时,此方法非常有用。

我们来检索与昆汀·塔伦蒂诺(Quentin Tarantino)执导的电影相关的特定数据集。 此查询选择电影详细信息并合并每部电影的类型:

kotlin
val TARANTINO_FILMS_SQL_QUERY = """
    SELECT name, year, rank, GROUP_CONCAT(genre) as "genres"
    FROM movies JOIN movies_directors ON movie_id = movies.id
    JOIN directors ON directors.id=director_id LEFT JOIN movies_genres ON movies.id = movies_genres.movie_id
    WHERE directors.first_name = "Quentin" AND directors.last_name = "Tarantino"
    GROUP BY name, year, rank
    ORDER BY year
    """

val tarantinoMoviesDf = DataFrame.readSqlQuery(dbConfig, TARANTINO_FILMS_SQL_QUERY)

tarantinoMoviesDf

处理数据 ​

将数据库加载到 DataFrame 后,您可以使用 DataFrame 操作来处理检索到的数据。

例如,让我们对上一节中的数据进行操作。以下代码:

  1. 使用 .fillNA() 函数替换 year 列中的缺失值。
  2. 使用 .convert() 函数将该列转换为 Int。
  3. 使用 .filter() 函数仅保留 2000 年之后上映的电影。
kotlin
val filteredTarantinoMovies = tarantinoMoviesDf
    .fillNA { year }.with { 0 }
    .convert { year }.toInt()
    .filter { year > 2000 }

filteredTarantinoMovies

分析数据 ​

使用 DataFrame 库 对数据进行分组、排序和聚合,以便发现和理解 数据中的模式。

例如,让我们从 actors 表中读取演员数据,并找出 20 个最常见的名字:

kotlin
// 从 actors 表中提取数据
val actorDf = DataFrame.readSqlTable(dbConfig, "actors", 10000)
val top20ActorNames = actorDf
   // 按 first_name 列对数据进行分组
   .groupBy { first_name }
   
   // 统计每个唯一名字的出现次数
   .count()
   
    // 按计数降序对结果进行排序
   .sortByDesc("count")
    
   // 选取出现频率最高的前 20 个名字进行分析。
   .take(20)

后续步骤 ​