如何用django支撑千万并发(2023年最新整理)

导读:本篇文章首席CTO笔记来给大家介绍有关如何用django支撑千万并发的相关内容,希望对大家有所帮助,一起来看看吧。

django如何解决单表数据大的问题

通过mysql中间件来解决。

一般套路是在中间件中配置分表规则,一般也是分表维度和分表数量。

这样,程序要改动的地方只需要把数据库连接地址修改为中间件的地址就可以了,剩下的逻辑全部靠中间件来完成即可。

这种办法非常偷懒,但是可以解放RD的压力。

如何用django支撑千万并发(2023年最新整理)  第1张

如何在Django模型中管理并发性

1、我们在我们的查询器上使用select_for_update来告诉数据库锁定对象,直到事务完成。

2、在数据库中锁定一行需要一个数据库事务 - 我们使用Django的装饰器transaction.atomic来定义事务。

3、我们使用类方法而不是实例方法 - 我们告诉数据库要上锁,然后它会返回锁的对象给我们。 为了实现这一点,我们需要从数据库中获取对象。 如果我们使用self,那么就是在操作一个已经从数据库中获取出来的对象,这个对象无法保证自己是没有被上锁的。

4、帐户中的所有操作都在数据库事务中执行。

django 使用全局线程池

系统里面有频繁的异步操作,每次触发异步操作就会开始一个新的线程处理相关逻辑,逻辑集中在I/O密集型;频繁的新建/销毁线程,消耗大量资源;由此,考虑使用线程池替换现有逻辑。

经过查询资料,python有ThreadPoolExecutor( tomorrow )可以直接实现线程池的相关功能,它的使用方式

具体使用方法见 ThreadPoolExecutor

ThreadPoolExecutor建立的线程池会先启动若干数量的线程,并让这些线程都处于睡眠状态,当向线程池submit一个任务后,会唤醒线程池中的某一个睡眠线程,让它来处理这个任务,当处理完这个任务,线程又处于睡眠状态。减少了建立销毁线程池消耗

在本项目里面的实现如下(定义的装饰器)

总体的原则是: CPU密集型任务应配置尽可能小的线程,尽量跟CPU的个数相近;IO密集型任务应配置尽可能多的线程,因为IO操作不占用CPU,不要让CPU闲下来,应加大线程数量。推荐的公式:

Django本身提供了runserver,为什么不用来部署

      Django本身自带了runserver,但是我们只是在测试的时候,会用到它,而在真正的生产部署一般都会使用uwsgi+nginx方式。

       因为我们的生产环境一般都会有很大的并发访问量,而django自带的runserver非常不稳定,最大连接数大约在几十个,过多的并发连接,导致服务崩溃,而且安全性上也不好。

       而nginx可以支持高并发连接,官方给出最大连接数在50000个左右,实际生产中,大约也在20000~40000个左右,内存消耗少,稳定性高,支持热部署(可以在不间断服务的情况下,进行版本升级)。

      相对比较而言,Django自带的runserver,只适合我们在测试的时候使用。

django自带的开发服务器能同时支持多少人在线

django自带的那个是效率相当低下的,它没有采用epoll/kqueue。

具体支持多少人在线,这个很难说。

测了一下,对于我的电脑,初始django工程的根的并发能力大概是294。

相比而言,tornado是高性能的server,用它文档的web的范例,并发能力大概是1324。

对nginx上的一个只包含“hello world!"的静态文件的访问,并发能力大概是2942

python脚本中使用django orm

项目开发中,经常会遇到一个需求:将数据从旧数据库中导入到新数据库中。比如从SQL Server中导入到新的My SQL数据库中。一般可以借助pymysql和pymssql写脚本完成导入。但是字段特别多的时候,如果能借助Django 的orm, 则会方便很多。

在manage.py目录创建py文件 import_data.py

app.models

settings.py中配置多个数据库

结语:以上就是首席CTO笔记为大家整理的关于如何用django支撑千万并发的相关内容解答汇总了,希望对您有所帮助!如果解决了您的问题欢迎分享给更多关注此问题的朋友喔~

以上内容为新媒号(sinv.com.cn)为大家提供!新媒号,坚持更新大家所需的互联网后端知识。希望您喜欢!

版权申明:新媒号所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,不声明或保证其内容的正确性,如发现本站有涉嫌抄袭侵权/违法违规的内容。请发送邮件至 k2#88.com(替换@) 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023-09-23 13:10
下一篇 2023-09-23

相关推荐

发表回复

登录后才能评论