EntityFramework更新多条数据【8万】

摘要:
本文主要用于记录:原因:数据库迁移需要转换大量用户数据,两个数据的一个字段的加密方法不一致,需要批量转换注意:转换程序使用EntityFramework进程:1。读取要转换为列表的所有数据。2.使用Parallel.ForEach转换List的批处理数据。3.将转换后的List数据分成一定数量的List<List<T>>。4.创建对应数量的Task数组的List<List<T>>。5.使用Task.Run

此文主要用做记录用:

原因:数据库迁移,需要转换大量用户资料,两数据某字段加密方式不一致需要批量转换

注:转换程序用了EntityFramework

过程:

1.读取所有需要转换数据至List

2.采用Parallel.ForEach对List进行批次数据转换

3.将转换后的List数据按一定数量进行分割为List<List<T>>

4.建立List<List<T>>相应数量Task数组

5.采用Task.Run建立写入数据库Action

5.运行所有Task[],指令为Task.WaitAll(tasks);

总结:主要是针对写入数据库进行多线程方式处理,读取目前还能忍受,当时用foreach一笔笔写入程序直接假死,半天没反应,后采用多线程写入,效果非常明显

附代码如下:

List<TableName> query;
Stopwatch watch = new Stopwatch();
watch.Start();
using (DataBaseConext db = new DataBaseConext())
{
    db.Configuration.ValidateOnSaveEnabled = false;
    query = db.apuser.Where(p => p.unpwd != "").ToList();
}
watch.Stop();
MessageBox.Show(String.Format("读取使用秒数:{0}", watch.Elapsed.TotalSeconds));

watch.Restart();
Parallel.ForEach<TableName>(query, p =>
{
    //SomethingCode
});

watch.Stop();
MessageBox.Show(String.Format("轉換使用秒數:{0}", watch.Elapsed.TotalSeconds));

watch.Restart();
List<List<TableName>> users = new List<List<TableName>>();
int splitCount = 1000;
while (query.Any())
{
    users.Add(query.Take(splitCount).ToList());
    query = query.Skip(splitCount).ToList();
}

Task[] tasks = new Task[users.Count()];
for (int ctr = 0; ctr < users.Count(); ctr++)
{
    var s = users[ctr];
    tasks[ctr] = Task.Run(() =>
    {
        using (DataBaseConext db = new DataBaseConext())
        {
            db.Configuration.ValidateOnSaveEnabled = false;
            db.Configuration.AutoDetectChangesEnabled = false;
            s.ForEach(p =>
            {
                db.Entry<TableName>(p).State = System.Data.Entity.EntityState.Modified;
                db.SaveChanges();

                Debug.WriteLine(String.Format("當前線程編號:{0}", Thread.CurrentThread.ManagedThreadId));
            });
        }
    });
}
Task.WaitAll(tasks);
watch.Stop();
MessageBox.Show(String.Format("分割及保存使用秒數:{0}", watch.Elapsed.TotalSeconds));

MessageBox.Show("完成");

免责声明:文章转载自《EntityFramework更新多条数据【8万】》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇对 JavaScript 中的5种主要的数据类型进行值复制sass基础用法下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

爬虫 多任务异步爬虫 aiohttp selenim

协程 # # 协程 # import asyncio # import time # # # 创建一个协程对象 # #定义一个特殊函数,特殊:调用后返回一个协程对象,且函数内部的实现语句不会立即执行 # async def request(url): # print("start",url) # time.sleep(1) # pr...

Ansible进阶

YAML YAML简介   YAML是一个可读性高,并用来表达资料序列的格式。YAML参考了其它多种语言,包括:XML、C语言、Python、Perl以及电子邮件格式RFC2822等   它是一种直观的能够被电脑识别的数据序列化格式,是一个可读性高并且容易被人类阅读,容易和脚本语言交互,用来表达资料序列的编程语言 YAML特性   YAML的可读性好   ...

Python跨目录导包踩坑记录

Outline 写了个Flask+celery+Redis的项目,目录结构如下: muji-data-job-pyexecutor │ .gitignore │ app.py # Flask app,如果想项目后续扩展变大,可用蓝图管理 │ README.md │ requirements.txt │...

基于Flask的 api(三)

使用flask的RESTful扩展库 flask-restful 安装 pip install flask-restful eg: 最简单的api fromflask import Flask fromflask_restful import Api, Resource app =Flask(__name__) api =Api(app) classH...

基于Flask的 api(四)

restful安全认证 Flask-HTTPAuth是一个简单的扩展,它简化了使用Flask路由的HTTP身份验证的使用 安装Flask-HTTPAuth pip install Flask-HTTPAuth 认证方式有 Basic 、Digest、token 1.Basic认证 使用HTTP基本身份验证来保护路由 fromflask import Fla...

Celery模块使用

一 Celery初识 1.什么是celery:   指的是分布式任务队列,是一个异步任务调度工具,celery框架自带socket,所以自身是一个独立运行的服务。 2.文档 Celery 官网:http://www.celeryproject.org/ Celery 官方文档英文版:http://docs.celeryproject.org/en/late...