没有找到合适的产品?
联系客服协助选型:023-68661681
提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
原创|其它|编辑:郝浩|2009-05-04 16:55:19.000|阅读 561 次
概述:在数据库初始化过程中,管理员需要面对的一个现实问题就是如何把大容量的数据导入到数据库系统中。在SQL Server数据库中提供了一些大容量数据导入导出的工具供数据库管理员实用。
# 界面/图表报表/文档/IDE等千款热门软控件火热销售中 >>
通常情况下,只有在需要大容量导入导出数据的时候才临时启用这种操作模式。为了大容量导入性能与数据库安全考虑,笔者建议建议数据库管理员可以在执行大容量导入操作之前,先将数据库改为使用大容量日志恢复模式。完成之后马上将数据库重设为完整恢复模式。
一、 考虑是否需要先暂时删除表的索引。
引是一种特殊的文件,在数据库中它的作用是举足轻重的。简单的来说,如果把数据库比喻成一本书的话,那么索引就好像是书的目录。索引包含着对数据表里所有记录的引用指针。索引可以提高数据库的性能,这是毋庸置疑的。但是不是在任何场合索引都可以起到正面的效果。在某些特殊情况下,其反而会降低一些操作的性能,如大容量数据的导入。
索引可以加快数据检索操作,但它会使数据修改操作变慢。因为每次修改或者插入数据记录,索引就必须刷新一次。也就是说,插入一百万条记录,则索引就必须重新所新一百万次。可见,当大容量数据导入的时候,索引将耗费数据库大量的资源,从而降低数据库的性能。如果目的表中有索引,那么不仅会影响数据库大容量数据导入的速度,而且还会降低其他用户正常访问数据库的性能。
为此,笔者的建议是,如果要导入的表中数据并不是很多,那么最好先删除索引来提高大容量数据导入的性能。导入之后再重新启用索引。但是,如果在需要导入的表中已经有不少的数据,而需要导入的数据可能跟已存在的数据差不多或者要少的话,那么还是不用删除索引。此时如果删除索引会起到适得其反的效果。因为数据库系统重新生成索引所需要的时间可能比大容量导入操作期间所节省的时间要更长。此时管理员删除目的表的索引就有点得不偿失了。
二、 数据导入后即时进行数据库备份。
同建立数据库对象一样,把大容量数据导入到数据库系统后,管理员要及时对现有的数据库进行备份。因为及时有系统大容量导入工具的帮助,这个数据导入的工作仍然是非常繁琐、耗时的。为此当大容量数据顺利导入到数据库系统之后,管理员要及时得对数据库进行备份。这里笔者要提醒大家的是,不同的操作日志模式下,其备份的方法往往是不同的。
大容量数据导入后,管理员需要对数据库进行备份。对此笔者的建议是,如果当时管理员采用的是简单的日志恢复模式,则管理员在大容量导入操作完成后应该立即执行完整备份或差异备份(如果时间允许的话,最好还是完整备份)。而如果数据库管理员当时采用的是大容量日志恢复模式或完整恢复模式,如果时间不是很多或者怕担心完全备份会影响当时用户的访问,那么只需执行日志备份就足够了。如果数据库服务器还没有变成生产服务器(即还有没有用户在用),则还是对数据库进行完全备份保险一点。
三、 常见的错误。
在大容量数据导入过程中,最常见的错误大概有两个。
一是提供文件的格式不对。如上面所说,通常情况下数据库提供的大容量导入工具不支持文本文件。为此管理员需要进行事先的转换。二是要注意隐藏字符可能带来到问题。许多软件和文本编辑器都会显示隐藏字符。这些隐藏字符通常位于数据文件末尾。在大容量导入操作期间,数据文件中的隐藏字符可能会导致一些难以预测的问题,如意外空字符错误等等。这个错误很好避免。只要数据库管理员在导入数据之前先查找并删除所有隐藏字符即可。其实,不仅在大容量数据导入过程中,还是在少量数据导入过程中,都会遇到这个问题。
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@evget.com
文章转载自:网络转载面对“数字中国”建设和中国制造2025战略实施的机遇期,中车信息公司紧跟时代的步伐,以“集约化、专业化、标准化、精益化、一体化、平台化”为工作目标,大力推进信息服务、工业软件等核心产品及业务的发展。在慧都3D解决方案的实施下,清软英泰建成了多模型来源的综合轻量化显示平台、实现文件不失真的百倍压缩比、针对模型中的大模型文件,在展示平台上进行流畅展示,提升工作效率,优化了使用体验。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
本站的模型资源均免费下载,登录后即可下载。模型仅供学习交流,勿做商业用途。
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@evget.com
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢
慧都科技 版权所有 Copyright 2003-
2025 渝ICP备12000582号-13 渝公网安备
50010702500608号