没有找到合适的产品?
联系客服协助选型:023-68661681
提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
原创|其它|编辑:郝浩|2009-05-04 16:54:00.000|阅读 577 次
概述:在数据库初始化过程中,管理员需要面对的一个现实问题就是如何把大容量的数据导入到数据库系统中。在SQL Server数据库中提供了一些大容量数据导入导出的工具供数据库管理员实用。
# 界面/图表报表/文档/IDE等千款热门软控件火热销售中 >>
在数据库初始化过程中,管理员需要面对的一个现实问题就是如何把大容量的数据导入到数据库系统中。在SQL Server数据库中提供了一些大容量数据导入导出的工具供数据库管理员实用。如管理员可以通过bcp实用工具,实现大容量导出数据和大容量导入数据并生成格式化文件。如可以利用bulk insert语句将大容量数据直接从数据文件导入数据库表或者未分区的视图中去等等。
虽然在SQL Server数据库中提供了这些实用工具。不过管理员在实际工作中,仍然需要谨慎对待这项工作。具体的来说,在大容量数据导入导出的过程中,需要注意如下几方面的内容。
一、 尽量采用系统提供的工具来倒入导出大容量的数据。
以上笔者提到的几款实用工具,他们有一个共同的特点,即在导入的过程中会对大容量的数据进行一定的优化。如会规范一些数据的格式、节省导入导出的时间等等。但是利用这些工具的话,跟其他普通的数据导入导出工具有一个差异,就是大容量导入操作不支持逗号分隔符文件中导入数据,也就是常说的文本文件。虽然此时管理员也可以通过其他的工具来导入文件文件格式的大容量数据,但是通常情况下笔者不建议这么做。因为其他的工具不支持导入过程中的优化功能。为此笔者建议先用其他工具,如ACCESS等中间工具先把文本文件中的数据转化为普通的表格形式,然后再利用上面这些工具导入到系统中。这虽然会增加一定的工作量,但是却可以保证大容量数据的质量。为此,笔者在实际工作中,如果用户遇到这种问题笔者是强烈建议他们要采用系统提供的工具来导入导出大容量数据。
另外,利用格式化文件来提高大容量数据的规范化,也是一个不错的选择。上面提到的几款大容量导入导出工具都支持使用专门的格式化文件来存储原始数据文件中每个字段的格式信息。格式化文件还可以包含相应的数据库表的有关信息。格式化文件可以用于提供从数据库实例大容量导出数据和向其中大容量导入数据时所需的所有格式信息。通俗的讲,格式化文件提供了一种解释导入期间数据文件中数据的格式以及设置导出期间数据文件中数据格式的灵活方式。这种灵活性使得解释数据时无需编写专用代码,也无需为满足数据库或外部应用程序的特殊需要而重新设置数据的格式。如果灵活利用格式化文件,那么用户可以直接按需要的格式导出或者导入大容量数据,而不用事后再进行额外的格式调整。
二、 选择合适的数据库日志操作模式。
正如大家所知道的,用户在数据库中做的任何变化,都会记录在相关的日志中。导入导出大容量数据也不例外。可是由于大容量数据比较大,会占用比较大的事务日志功能。为此笔者建议,在用户导入大容量数据之前,最好选择合适的数据库日志操作模式。笔者的做法是,如果用户需要导入大容量数据,那么最好选择大容量日志恢复模式。等到导入工作完成之后,再恢复到原先的模式。
这主要是因为在大容量日志模式下,对于大容量数据导入工作中说,支持力度相对来说比较好。与其他日志恢复模式相比(如完全恢复模式),大容量日志恢复模式只对大容量操作进行最小记录。为此大容量日志操作恢复模式保护大容量操作不受硬件故障的危害,提供比较好的性能并且占用日志的空间也是最小的。所以,使用大容量日志恢复有助于防止事务日志出现空间不足的情况,因为大容量日志恢复不会插入日志行。这个大容量日志操作模式,非常适用于使用完整恢复模式的数据库。对无索引表执行大容量操作时,大容量日志恢复模式非常有用。
不过大容量日志操作模式也具有一定的风险。如大容量日志恢复模式会增加这些大容量复制操作丢失数据的风险。因为大容量日志操作模式将会阻止数据库系统捕获对每个事务逐一所做的更改。如果日志备份包含大容量日志操作,则无法还原到该日志备份中的时点,而只能还原整个日志备份。另外在大容量日志恢复模式下,如果日志备份覆盖了任何大容量操作,则日志备份将包含由大容量操作所更改的日志记录和数据页。这对于捕获大容量日志操作的结果至关重要。合并的数据区可使日志备份变得非常庞大。再者,备份日志需要访问包含大容量日志事务的数据文件。如果无法访问任何受影响的数据库文件,则事务日志将无法备份,并且在此日志中提交的所有操作都会丢失。所以大容量日志备份模式并不是安全的日志模式。
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@evget.com
文章转载自:网络转载面对“数字中国”建设和中国制造2025战略实施的机遇期,中车信息公司紧跟时代的步伐,以“集约化、专业化、标准化、精益化、一体化、平台化”为工作目标,大力推进信息服务、工业软件等核心产品及业务的发展。在慧都3D解决方案的实施下,清软英泰建成了多模型来源的综合轻量化显示平台、实现文件不失真的百倍压缩比、针对模型中的大模型文件,在展示平台上进行流畅展示,提升工作效率,优化了使用体验。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@evget.com
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢
慧都科技 版权所有 Copyright 2003-
2025 渝ICP备12000582号-13 渝公网安备
50010702500608号