关闭 x
IT技术网
    技 采 号
    ITJS.cn - 技术改变世界
    • 实用工具
    • 菜鸟教程
    IT采购网 中国存储网 科技号 CIO智库

    IT技术网

    IT采购网
    • 首页
    • 行业资讯
    • 系统运维
      • 操作系统
        • Windows
        • Linux
        • Mac OS
      • 数据库
        • MySQL
        • Oracle
        • SQL Server
      • 网站建设
    • 人工智能
    • 半导体芯片
    • 笔记本电脑
    • 智能手机
    • 智能汽车
    • 编程语言
    IT技术网 - ITJS.CN
    首页 » SQL Server »SQL Server 数据导入的实际行为规范描述

    SQL Server 数据导入的实际行为规范描述

    2010-07-12 17:06:00 出处:ITJS
    分享

    微信扫一扫:分享

    Scan me!

    微信里点“发现”,扫一下

    二维码便可将本文分享至朋友圈。

    此文章主要向大家讲述的是SQL Server 数据导入的实际行为规范,假如你对SQL Server 数据导入的实际行为规范有兴趣了解的话,你不妨浏览以下的文章对其进行了解,以下就是文章的主要内容描述。

    我最早使用的一个关系型 DBMS 就是 Microrim's R:Base 4000. R:Base,与其 PC 竞争对手 dBase 不同的是,它是真正的关系型数据库管理系统,是在 20 世纪 80 年代初作为 NASA RIM(关系信息管理,Relational Information Management)系统的一个 PC 版本开发出来的。

    而我最欣赏的功能之一是它允许用户在导入过程中查看示例数据。尽管像 bcp、DTS、新的 SQL Server 2005 集成服务这样的工具以及各种移植工具和向导已经将SQL Server 数据导入过程自动化到 SQL Server 之中,但这不意味着我们可以一劳永逸。本月,Ron Talmage 提供一些关于导入数据的非常好的常识性建议。

    SQL Server DBA(Database Administrator,数据库管理员)发现他们经常使用 T-SQL 导入和处理数据。为什么呢 因为一些数据传输需要技术成熟的 SQL 所具备的强大功能。最近我刚好完成了另一个SQL Server 数据导入的案例,该案例触动我汇编了一份供我使用的行为规范列表。

    确保将载入的原始数据暂存为 varchar 数据类型

    源自所谓的旧式系统的原始数据通常以文本格式传送,因此我首先总是将原始数据载入一个单独的暂存数据库。我从不尝试将数据直接载入一个成品数据库。

    我做的事情是将所有 原始文本数据载入相应的原始表,表中的列为 varchar 数据类型。(DTS 将自动完成该过程,这样很好。但是,DTS 还会将列命名为 COL001,因此您不用事先提供列名。)varchar 的主要优点是它能够接收任何数据 — 甚至是“坏”数据。假如您尝试从一个没有对用户输入的数据进行严格检查的旧式系统加载数据,那么被忽略的数据或写入异常文件的数据可能比加载的数据还多,假如您不想冒这样的风险,除非接收每一个可能的值。将字符载入 varchar 数据类型的列则可以做到这一点。

    在暂存表/列名时不要使用非字母数字字符

    您可能无法控制在包含原始数据的表中如何对列进行初始命名,但是我会尝试修改可能包含空格或其他非常规字符的旧式列名。当列名或表名包含非字母数字的字符时,我们必须使用方括号或双引号对其进行分隔。这种代码不但编写起来比较困难,而且可读性较差。

    不要在列名中使用关键字

    源自旧式系统的数据通常包含能够破坏 SQL 查询的描述性列名。例如,房地产数据可能会包含一个名为 KEY 的列,它用来反映放置在待售房屋上的钥匙箱。然而,KEY 也是 T-SQL 中的一个关键字 (!),假如使用这样的列名,查询操作在直接引用该列名时将失败。因此,最终您必须用方括号或双引号分隔含有关键字的列名。

    确保使用正确的数据类型创建一个暂存表

    下一步是创建一个或多个额外的暂存表,这些表有“正确的”数据类型。我喜欢使暂存表和目标 OLTP(Online Transaction Processing,联机事务处理)数据库中的目的表具有相同的列名。不管怎样,重要的是原始数据中每列的数据类型在载入暂存时都将执行检查并予以改正。在 SQL Server 表中找到坏数据比在加载失败的外部文件中找到坏数据容易得多。

    确保将新列添加到暂存表中

    当暂存数据没有相应的列时,您可以添加这些列,然后拆分或合并载入的数据。例如,即使目的表分解出街道名和门牌号,地址仍然可能作为一个简单的字符串载入暂存表。那么您可以在暂存表中添加街道名列和门牌号列,将旧式地址分解为两个列。这样做的优点是,原始数据与新拆分的数据并存,因此您能够通过比较列来测试脚本。

    确保使用本地副本来测试填充的产品数据

    当您准备好要插入暂存表的数据时,可以首先通过将其插入成品表的本地副本来测试这些数据。有时您只需清空表;有时,您必须填充表。

    确保保留产品约束

    在副表上总是保留产品约束。这样,您就能够测试暂存表数据满足这些约束的程度。这些约束包括 NULL、默认值、检查、主键和外键约束。首先保证副表列上的 NULL 或 NOT NULL 属性与目标系统的相同,然后再逐步检查其他所有约束。假如您的测试表明暂存数据插入过程满足所有约束,那么您距离成功就只有一步之遥了。

    确保在一个产品数据副本上测试

    虽然将SQL Server 数据导入数据插入空表将遇到很多潜在的问题,但是不会遇到所有的问题。在通过了所有之前的测试后,确保您将在一个目标数据或成品系统的副本(或至少是一个合理的子集)上测试导入。您能够接收的最终错误类型将由数据配置决定,而且这是此项测试能够检测到的。那么,您就能够在数据库副本中检查结果,甚至可能将应用程序重定向到该副本以便进一步测试和验证。【专栏作家 Tom Moreau 补充说,“使用每日成品更新数据进行测试可以为数据移植做准备。假如原来的系统没有足够的约束而新系统有,那么坏数据将进入原来的系统并破坏您的移植。” - Ed.】

    假如导入过程至此通过了所有测试,那么您可能已经准备好进行SQL Server 数据导入了,或者至少可以将导入过程交给质量管理员 (QA, Quality Assurance) 了。

    上一篇返回首页 下一篇

    声明: 此文观点不代表本站立场;转载务必保留本文链接;版权疑问请联系我们。

    别人在看

    抖音安全与信任开放日:揭秘推荐算法,告别单一标签依赖

    ultraedit编辑器打开文件时,总是提示是否转换为DOS格式,如何关闭?

    Cornell大神Kleinberg的经典教材《算法设计》是最好入门的算法教材

    从 Microsoft 下载中心安装 Windows 7 SP1 和 Windows Server 2008 R2 SP1 之前要执行的步骤

    Llama 2基于UCloud UK8S的创新应用

    火山引擎DataTester:如何使用A/B测试优化全域营销效果

    腾讯云、移动云继阿里云降价后宣布大幅度降价

    字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果

    这个话题被围观超10000次,火山引擎VeDI如此解答

    误删库怎么办?火山引擎DataLeap“3招”守护数据安全

    IT头条

    平替CUDA!摩尔线程发布MUSA 4性能分析工具

    00:43

    三起案件揭开侵犯个人信息犯罪的黑灰产业链

    13:59

    百度三年开放2.1万实习岗,全力培育AI领域未来领袖

    00:36

    工信部:一季度,电信业务总量同比增长7.7%,业务收入累计完成4469亿元

    23:42

    Gartner:2024年全球半导体营收6559亿美元,AI助力英伟达首登榜首

    18:04

    技术热点

    iOS 8 中如何集成 Touch ID 功能

    windows7系统中鼠标滑轮键(中键)的快捷应用

    MySQL数据库的23个特别注意的安全事项

    Kruskal 最小生成树算法

    Ubuntu 14.10上安装新的字体图文教程

    Ubuntu14更新后无法进入系统卡在光标界面解怎么办?

      友情链接:
    • IT采购网
    • 科技号
    • 中国存储网
    • 存储网
    • 半导体联盟
    • 医疗软件网
    • 软件中国
    • ITbrand
    • 采购中国
    • CIO智库
    • 考研题库
    • 法务网
    • AI工具网
    • 电子芯片网
    • 安全库
    • 隐私保护
    • 版权申明
    • 联系我们
    IT技术网 版权所有 © 2020-2025,京ICP备14047533号-20,Power by OK设计网

    在上方输入关键词后,回车键 开始搜索。Esc键 取消该搜索窗口。