自定义 SQL 构造和编译扩展

提供用于创建自定义 ClauseElement 和编译器的 API。

概要

用法包括创建一个或多个 ClauseElement 子类以及一个或多个定义其编译的可调用对象。

from sqlalchemy.ext.compiler import compiles
from sqlalchemy.sql.expression import ColumnClause


class MyColumn(ColumnClause):
    inherit_cache = True


@compiles(MyColumn)
def compile_mycolumn(element, compiler, **kw):
    return "[%s]" % element.name

上面，MyColumn 扩展了 ColumnClause，它是命名列对象的基表达式元素。compiles 装饰器将自身注册到 MyColumn 类，以便在对象编译为字符串时调用它。

from sqlalchemy import select

s = select(MyColumn("x"), MyColumn("y"))
print(str(s))

产生：

SELECT [x], [y]

方言特定的编译规则

编译器也可以是方言特定的。将为正在使用的方言调用适当的编译器。

from sqlalchemy.schema import DDLElement


class AlterColumn(DDLElement):
    inherit_cache = False

    def __init__(self, column, cmd):
        self.column = column
        self.cmd = cmd


@compiles(AlterColumn)
def visit_alter_column(element, compiler, **kw):
    return "ALTER COLUMN %s ..." % element.column.name


@compiles(AlterColumn, "postgresql")
def visit_alter_column(element, compiler, **kw):
    return "ALTER TABLE %s ALTER COLUMN %s ..." % (
        element.table.name,
        element.column.name,
    )

当使用任何 postgresql 方言时，将调用第二个 visit_alter_table。

编译自定义表达式构造的子元素

compiler 参数是正在使用的 Compiled 对象。可以检查此对象以获取有关正在进行的编译的任何信息，包括 compiler.dialect、compiler.statement 等。SQLCompiler 和 DDLCompiler 都包含一个 process() 方法，该方法可用于编译嵌入式属性。

from sqlalchemy.sql.expression import Executable, ClauseElement


class InsertFromSelect(Executable, ClauseElement):
    inherit_cache = False

    def __init__(self, table, select):
        self.table = table
        self.select = select


@compiles(InsertFromSelect)
def visit_insert_from_select(element, compiler, **kw):
    return "INSERT INTO %s (%s)" % (
        compiler.process(element.table, asfrom=True, **kw),
        compiler.process(element.select, **kw),
    )


insert = InsertFromSelect(t1, select(t1).where(t1.c.x > 5))
print(insert)

产生（格式化以提高可读性）：

INSERT INTO mytable (
    SELECT mytable.x, mytable.y, mytable.z
    FROM mytable
    WHERE mytable.x > :x_1
)

注意

上面的 InsertFromSelect 构造只是一个示例，此实际功能已通过 Insert.from_select() 方法提供。

SQL 和 DDL 编译器之间的交叉编译

SQL 和 DDL 构造分别使用不同的基础编译器进行编译 - SQLCompiler 和 DDLCompiler。一个常见的需求是从 DDL 表达式中访问 SQL 表达式的编译规则。DDLCompiler 为此包含一个访问器 sql_compiler，如下所示，我们在其中生成一个嵌入 SQL 表达式的 CHECK 约束。

@compiles(MyConstraint)
def compile_my_constraint(constraint, ddlcompiler, **kw):
    kw["literal_binds"] = True
    return "CONSTRAINT %s CHECK (%s)" % (
        constraint.name,
        ddlcompiler.sql_compiler.process(constraint.expression, **kw),
    )

上面，我们向 SQLCompiler.process() 调用的 process 步骤添加了一个额外的标志，即 literal_binds 标志。这表明任何引用 BindParameter 对象或其他“字面量”对象（例如引用字符串或整数的对象）的 SQL 表达式都应就地呈现，而不是作为绑定参数引用；在发出 DDL 时，通常不支持绑定参数。

更改现有构造的默认编译

编译器扩展同样适用于现有构造。当覆盖内置 SQL 构造的编译时，@compiles 装饰器在适当的类上调用（请务必使用类，即 Insert 或 Select，而不是创建函数，例如 insert() 或 select()）。

在新的编译函数中，要访问“原始”编译例程，请使用适当的 visit_XXX 方法 - 这是因为 compiler.process() 将调用覆盖例程并导致无限循环。例如，要将“prefix”添加到所有 insert 语句中。

from sqlalchemy.sql.expression import Insert


@compiles(Insert)
def prefix_inserts(insert, compiler, **kw):
    return compiler.visit_insert(insert.prefix_with("some prefix"), **kw)

上面的编译器将在编译时为所有 INSERT 语句添加 “some prefix” 前缀。

更改类型的编译

compiler 也适用于类型，如下所示，我们在其中为 String/VARCHAR 实现了 MS-SQL 特定的 ‘max’ 关键字。

@compiles(String, "mssql")
@compiles(VARCHAR, "mssql")
def compile_varchar(element, compiler, **kw):
    if element.length == "max":
        return "VARCHAR('max')"
    else:
        return compiler.visit_VARCHAR(element, **kw)


foo = Table("foo", metadata, Column("data", VARCHAR("max")))

子类化指南

使用编译器扩展的一个重要部分是子类化 SQLAlchemy 表达式构造。为了简化此操作，expression 和 schema 包提供了一组用于常见任务的“基类”。概要如下：

• ClauseElement - 这是根表达式类。任何 SQL 表达式都可以从此基类派生，并且可能是较长构造（例如专门的 INSERT 语句）的最佳选择。

• ColumnElement - 所有“类似列”元素的根。您可以放在 SELECT 语句的“columns”子句中的任何内容（以及 order by 和 group by）都可以从此派生 - 该对象将自动具有 Python “比较”行为。

  ColumnElement 类需要有一个 type 成员，它是表达式的返回类型。这可以在构造函数中的实例级别建立，或者在其通常恒定的类级别建立。

  class timestamp(ColumnElement):
      type = TIMESTAMP()
      inherit_cache = True

• FunctionElement - 这是 ColumnElement 和类似 “from clause” 对象的混合体，表示 SQL 函数或存储过程类型的调用。由于大多数数据库都支持 “SELECT FROM <some function>” 这样的语句，FunctionElement 添加了在 select() 构造的 FROM 子句中使用的能力。

  from sqlalchemy.sql.expression import FunctionElement
  
  
  class coalesce(FunctionElement):
      name = "coalesce"
      inherit_cache = True
  
  
  @compiles(coalesce)
  def compile(element, compiler, **kw):
      return "coalesce(%s)" % compiler.process(element.clauses, **kw)
  
  
  @compiles(coalesce, "oracle")
  def compile(element, compiler, **kw):
      if len(element.clauses) > 2:
          raise TypeError(
              "coalesce only supports two arguments on " "Oracle Database"
          )
      return "nvl(%s)" % compiler.process(element.clauses, **kw)

• ExecutableDDLElement - 所有 DDL 表达式的根，例如 CREATE TABLE、ALTER TABLE 等。ExecutableDDLElement 子类的编译由 DDLCompiler 而不是 SQLCompiler 发出。ExecutableDDLElement 也可以用作事件钩子，与 DDLEvents.before_create() 和 DDLEvents.after_create() 等事件钩子结合使用，允许在 CREATE TABLE 和 DROP TABLE 序列期间自动调用该构造。

  另请参阅

  自定义 DDL - 包含将 DDL 对象（它们本身是 ExecutableDDLElement 实例）与 DDLEvents 事件钩子关联的示例。

• Executable - 这是一个混入类，应与任何表示 “独立” SQL 语句的表达式类一起使用，该语句可以直接传递给 execute() 方法。它已在 DDLElement 和 FunctionElement 中隐式存在。

上述大多数构造也响应 SQL 语句缓存。子类化的构造将需要为对象定义缓存行为，这通常意味着将 inherit_cache 标志设置为 False 或 True 的值。有关背景信息，请参阅下一节 为自定义构造启用缓存支持。

为自定义构造启用缓存支持

SQLAlchemy 1.4 及更高版本包含一个 SQL 编译缓存机制，该机制将允许等效的 SQL 构造缓存其字符串化形式，以及用于从语句中获取结果的其他结构信息。

由于在 对象不会生成缓存键，性能影响 中讨论的原因，此缓存系统的实现对在缓存系统中包含自定义 SQL 构造和/或子类采取了保守的方法。这包括任何用户定义的 SQL 构造（包括此扩展的所有示例）默认情况下都不会参与缓存，除非它们明确声明能够这样做。当在特定子类的类级别将 HasCacheKey.inherit_cache 属性设置为 True 时，将指示可以安全地缓存此类实例，使用直接超类的缓存键生成方案。这适用于例如先前指示的 “概要” 示例。

class MyColumn(ColumnClause):
    inherit_cache = True


@compiles(MyColumn)
def compile_mycolumn(element, compiler, **kw):
    return "[%s]" % element.name

上面，MyColumn 类不包含任何影响其 SQL 编译的新状态；MyColumn 实例的缓存键将利用 ColumnClause 超类的缓存键，这意味着它将考虑对象的类 (MyColumn)、字符串名称和对象的数据类型。

>>> MyColumn("some_name", String())._generate_cache_key()
CacheKey(
    key=('0', <class '__main__.MyColumn'>,
    'name', 'some_name',
    'type', (<class 'sqlalchemy.sql.sqltypes.String'>,
             ('length', None), ('collation', None))
), bindparams=[])

对于可能在许多更大的语句中作为组件自由使用的对象，例如 Column 子类和自定义 SQL 数据类型，尽可能启用缓存非常重要，因为否则可能会对性能产生负面影响。

确实包含影响其 SQL 编译的状态的对象的示例是在 编译自定义表达式构造的子元素 中说明的示例；这是一个 “INSERT FROM SELECT” 构造，它将 Table 和 Select 构造组合在一起，每个构造都独立影响构造的 SQL 字符串生成。对于此类，示例说明它根本不参与缓存。

class InsertFromSelect(Executable, ClauseElement):
    inherit_cache = False

    def __init__(self, table, select):
        self.table = table
        self.select = select


@compiles(InsertFromSelect)
def visit_insert_from_select(element, compiler, **kw):
    return "INSERT INTO %s (%s)" % (
        compiler.process(element.table, asfrom=True, **kw),
        compiler.process(element.select, **kw),
    )

虽然上面的 InsertFromSelect 也可能被制作为生成由 Table 和 Select 组件的缓存键组成的缓存键，但此 API 目前尚未完全公开。但是，对于仅用于特定操作的 “INSERT FROM SELECT” 构造，缓存不如上一个示例中那么重要。

对于相对隔离使用且通常是独立的对象，例如自定义 DML 构造（如 “INSERT FROM SELECT”），缓存通常不太重要，因为此类构造缺少缓存只会对该特定操作产生局部影响。

更多示例

“UTC 时间戳” 函数

一个功能类似于 “CURRENT_TIMESTAMP” 的函数，但应用适当的转换，使时间为 UTC 时间。时间戳最好以 UTC 格式存储在关系数据库中，不带时区。UTC 格式是为了防止您的数据库认为在夏令时结束时时间倒退了一个小时，不带时区是因为时区就像字符编码 - 最好仅在应用程序的端点应用它们（即，在用户输入时转换为 UTC，在显示时重新应用所需的时区）。

适用于 PostgreSQL 和 Microsoft SQL Server

from sqlalchemy.sql import expression
from sqlalchemy.ext.compiler import compiles
from sqlalchemy.types import DateTime


class utcnow(expression.FunctionElement):
    type = DateTime()
    inherit_cache = True


@compiles(utcnow, "postgresql")
def pg_utcnow(element, compiler, **kw):
    return "TIMEZONE('utc', CURRENT_TIMESTAMP)"


@compiles(utcnow, "mssql")
def ms_utcnow(element, compiler, **kw):
    return "GETUTCDATE()"

用法示例

from sqlalchemy import Table, Column, Integer, String, DateTime, MetaData

metadata = MetaData()
event = Table(
    "event",
    metadata,
    Column("id", Integer, primary_key=True),
    Column("description", String(50), nullable=False),
    Column("timestamp", DateTime, server_default=utcnow()),
)

“GREATEST” 函数

“GREATEST” 函数接受任意数量的参数，并返回值最高的参数 - 它等效于 Python 的 max 函数。SQL 标准版本与仅容纳两个参数的基于 CASE 的版本。

from sqlalchemy.sql import expression, case
from sqlalchemy.ext.compiler import compiles
from sqlalchemy.types import Numeric


class greatest(expression.FunctionElement):
    type = Numeric()
    name = "greatest"
    inherit_cache = True


@compiles(greatest)
def default_greatest(element, compiler, **kw):
    return compiler.visit_function(element)


@compiles(greatest, "sqlite")
@compiles(greatest, "mssql")
@compiles(greatest, "oracle")
def case_greatest(element, compiler, **kw):
    arg1, arg2 = list(element.clauses)
    return compiler.process(case((arg1 > arg2, arg1), else_=arg2), **kw)

用法示例

Session.query(Account).filter(
    greatest(Account.checking_balance, Account.savings_balance) > 10000
)

“false” 表达式

呈现一个 “false” 常量表达式，在没有 “false” 常量的平台上呈现为 “0”。

from sqlalchemy.sql import expression
from sqlalchemy.ext.compiler import compiles


class sql_false(expression.ColumnElement):
    inherit_cache = True


@compiles(sql_false)
def default_false(element, compiler, **kw):
    return "false"


@compiles(sql_false, "mssql")
@compiles(sql_false, "mysql")
@compiles(sql_false, "oracle")
def int_false(element, compiler, **kw):
    return "0"

用法示例

from sqlalchemy import select, union_all

exp = union_all(
    select(users.c.name, sql_false().label("enrolled")),
    select(customers.c.name, customers.c.enrolled),
)

对象名称	描述
compiles(class_, *specs)	将函数注册为给定 ClauseElement 类型的编译器。
deregister(class_)	删除与给定 ClauseElement 类型关联的所有自定义编译器。

function sqlalchemy.ext.compiler.compiles(class_: Type[Any], *specs: str) → Callable[[_F], _F]

将函数注册为给定 ClauseElement 类型的编译器。

function sqlalchemy.ext.compiler.deregister(class_: Type[Any]) → None

删除与给定 ClauseElement 类型关联的所有自定义编译器。