feat: 完善扫描器、exec 及 schema 相关功能

- exec/scanner: 用 *interface{} 替换 **json.RawMessage 扫描目标,兼容 DuckDB 返回 map[string]interface{} 的场景;新增 toJSONRawMessage 转换函数
- exec/scanner: ScanVal 支持结构体指针,通过 JSON 中间层转换(DuckDB STRUCT 列)
- exec/scanner: 将 *sql.RawBytes 和 *[]byte 的处理从 ScanValContext 移入 scanner.ScanVal
- exec/query_executor: 简化 ScanValContext,移除私有 scan 方法
- exec: 补充 scanner 级别 ScanVal 测试用例
- internal/util/reflect: 重写 SafeSetVarValue,修复非指针 src 及 nil 指针字段的 panic
- internal/util/column_map: 恢复非匿名带标签结构体字段的展开逻辑
- schema: 新增 vector 列类型支持
- engine: 补充 DuckDB 相关配置
- dialect/sqlite3/vtab: 完善虚拟表适配器
- 各方言测试改用 sqlmock 虚拟连接
This commit is contained in:
2026-05-20 17:52:28 +08:00
parent ac81f1ff0b
commit 21b80bdea4
36 changed files with 1131 additions and 318 deletions
+7 -7
View File
@@ -38,13 +38,13 @@ func newColumnMap(t reflect.Type, fieldIndex []int, prefixes []string) ColumnMap
columnName := getColumnName(&f, dbTag)
if !shouldIgnoreField(dbTag) {
// 移除原来的关联结构,并 scans 字段出现 table.col
// if !implementsScanner(f.Type) {
// subCm := getStructColumnMap(&f, fieldIndex, []string{columnName}, prefixes)
// if len(subCm) != 0 {
// subColMaps = append(subColMaps, subCm)
// continue
// }
// }
if !implementsScanner(f.Type) {
subCm := getStructColumnMap(&f, fieldIndex, []string{columnName}, prefixes)
if len(subCm) != 0 {
subColMaps = append(subColMaps, subCm)
continue
}
}
ffTag := tag.New("ff", f.Tag)
columnName = strings.Join(append(prefixes, columnName), ".")
cm[columnName] = newColumnData(&f, columnName, fieldIndex, ffTag)
+48 -14
View File
@@ -203,21 +203,55 @@ func SafeSetFieldByIndex(v reflect.Value, fieldIndex []int, src interface{}) (re
}
func SafeSetVarValue(v reflect.Value, src interface{}) error {
f := reflect.Indirect(v)
srcVal := reflect.ValueOf(src).Elem()
srcReflect := reflect.ValueOf(src)
// 处理 converting NULL to string is unsupported
// 前面将 string 和 int 类型转为了 *string 和 *int
// 这里做还原
if srcVal.IsNil() {
f.Set(reflect.Zero(f.Type()))
} else if f.Type().ConvertibleTo(srcVal.Type().Elem()) {
f.Set(srcVal.Elem())
} else if f.Type().ConvertibleTo(srcVal.Type()) {
f.Set(srcVal)
} else if u, ok := srcVal.Interface().(*json.RawMessage); ok && len(*u) >= 2 {
if err := json.Unmarshal(*u, f.Addr().Interface()); err != nil {
return err
// src 可能是 **TcreateColumnScans 的扫描目标)或裸值(测试/直接调用)
if srcReflect.Kind() != reflect.Ptr {
if srcReflect.IsValid() && v.Type().ConvertibleTo(srcReflect.Type()) {
v.Set(srcReflect.Convert(v.Type()))
}
return nil
}
srcVal := srcReflect.Elem() // **T → *T*T → T
if IsNil(srcVal) {
v.Set(reflect.Zero(v.Type()))
return nil
}
if v.Kind() == reflect.Ptr {
// v 是指针字段(如 *sql.NullString
if srcVal.Kind() == reflect.Ptr {
// src = **T, srcVal = *T → v = *T
if v.Type().ConvertibleTo(srcVal.Type()) {
v.Set(srcVal.Convert(v.Type()))
}
} else {
// src = *T, srcVal = T → allocate new *T and set
if v.Type().Elem().ConvertibleTo(srcVal.Type()) {
p := reflect.New(v.Type().Elem())
p.Elem().Set(srcVal.Convert(v.Type().Elem()))
v.Set(p)
}
}
return nil
}
// v 是非指针字段
if srcVal.Kind() == reflect.Ptr {
// srcVal = *T,取其值赋给 v
if v.Type().ConvertibleTo(srcVal.Type().Elem()) {
v.Set(srcVal.Elem().Convert(v.Type()))
} else if u, ok := srcVal.Interface().(*json.RawMessage); ok && len(*u) >= 2 {
if err := json.Unmarshal(*u, v.Addr().Interface()); err != nil {
return err
}
}
} else {
// srcVal = T*T 扫描目标的 default 分支)
if v.Type().ConvertibleTo(srcVal.Type()) {
v.Set(srcVal.Convert(v.Type()))
}
}