zoukankan      html  css  js  c++  java
  • zw·10倍速大数据与全内存计算

    zw·10倍速大数据与全内存计算
    zw·10倍速大数据与全内存计算

    zw全内存10倍速计算blog,早就在博客园机器视觉栏目发过,大数据版的一直挂着,今天抽空补上。

    在《零起点,python大数据与量化交易》目录中
    我们已经介绍了多种:大数据与Python十倍速性能优化
    • 软加速:矢量优先
    • 软加速:cpython
    • SSD加速大法
    • KBD全内存数据库
    • Gpu终极加速方案

    zw全内存10倍速计算,是根据实践,在工程中提出了一种全新的解决方法,ramdisk,采用内存虚拟盘。

    目前,内存价格很低,8G基本是标配,笔者的推荐配置32G以上,最好是:e3 cpu+大容量 服务器主板,组建128-256G以上的全内存运算环境,
    把整个系统,包括windows,python、pandas、项目软件,全部copy到ram里面,进行全内存计算。
    HP目前正在研发的:the machine,据说就是完全放弃了外部磁盘。
    ramdisk软件,目前有很多,常见的有amd、软媒内存盘,一般采用单文件的软媒内存盘。

    64位系统,起点就是2G以上的数组(内存表talble),作为k-v表、index索引库而言,已经足够了,毕竟,很少有10G以上的K-V表,其他数据,放到硬盘、ssd都无所谓,毕竟90%瓶颈是在在k-v部分。
    zw全内存10倍速计算,其实也是目前游戏工作室、网推工作室的首选配置方案。
    1套E3-256G系统,1w左右,采用优化的骨头版xp(不到100M),可以挂50-100个vbox虚拟机,还可以优化。
    单机,同时可以支持数十甚至上百网游、页游、安卓模拟器,多开挂机,
    挂QQ,500-1000个,配合自动登录脚本,单机每天1w个左右。

    大数据、量化交易,互联网企业,金融公司,e3-256G,略微低端了些,建议直接上e5、e7系列,内存越大越好
    对于部分重口味的用户,例如“双11”爆仺,可以采取数据库拆分,或者老毛子式的:简单、粗暴的风格,

    直接使用最快的ddr4/ddr5内存,并扩充到512G甚至1T以上,
    这个虽然贵点,不过对于互联网企业、金融机构无所谓,而且,再贵,也比IBM的小型机便宜十倍。

    zw全内存10倍速计算,虽然看起来保持了TG的土鳖风格,不过非常实用,
    特别是对于中小企业、IT工作室,几乎是零成本,就可以提速5-10倍。
    而且没有任何二次开发、移植成本,无需GPU、cuda编程。
  • 相关阅读:
    禅道的安装
    项目管理必看的几个网站
    禅道管理中的项目管理--组织进行任务分解
    Redis--Springboot使用
    Mapper.xml--配置map<String, List<String>>输入
    SpringBoot-Dubbo、Zk
    高并发--并发编程的三大辅助类
    笔试-2020年西山居Java笔试题(补上,一直忘记补上了)
    HttpWebRequest.GetRequestStream方法timeout【第3次操作时就超时】的原因及解决办法
    洛谷 P2613 【模板】有理数取余(高精度取余,逆元)
  • 原文地址:https://www.cnblogs.com/ziwang/p/9500386.html
Copyright © 2011-2022 走看看