zoukankan      html  css  js  c++  java
  • zw·10倍速大数据与全内存计算

    zw·10倍速大数据与全内存计算
    zw·10倍速大数据与全内存计算

    zw全内存10倍速计算blog,早就在博客园机器视觉栏目发过,大数据版的一直挂着,今天抽空补上。

    在《零起点,python大数据与量化交易》目录中
    我们已经介绍了多种:大数据与Python十倍速性能优化
    • 软加速:矢量优先
    • 软加速:cpython
    • SSD加速大法
    • KBD全内存数据库
    • Gpu终极加速方案

    zw全内存10倍速计算,是根据实践,在工程中提出了一种全新的解决方法,ramdisk,采用内存虚拟盘。

    目前,内存价格很低,8G基本是标配,笔者的推荐配置32G以上,最好是:e3 cpu+大容量 服务器主板,组建128-256G以上的全内存运算环境,
    把整个系统,包括windows,python、pandas、项目软件,全部copy到ram里面,进行全内存计算。
    HP目前正在研发的:the machine,据说就是完全放弃了外部磁盘。
    ramdisk软件,目前有很多,常见的有amd、软媒内存盘,一般采用单文件的软媒内存盘。

    64位系统,起点就是2G以上的数组(内存表talble),作为k-v表、index索引库而言,已经足够了,毕竟,很少有10G以上的K-V表,其他数据,放到硬盘、ssd都无所谓,毕竟90%瓶颈是在在k-v部分。
    zw全内存10倍速计算,其实也是目前游戏工作室、网推工作室的首选配置方案。
    1套E3-256G系统,1w左右,采用优化的骨头版xp(不到100M),可以挂50-100个vbox虚拟机,还可以优化。
    单机,同时可以支持数十甚至上百网游、页游、安卓模拟器,多开挂机,
    挂QQ,500-1000个,配合自动登录脚本,单机每天1w个左右。

    大数据、量化交易,互联网企业,金融公司,e3-256G,略微低端了些,建议直接上e5、e7系列,内存越大越好
    对于部分重口味的用户,例如“双11”爆仺,可以采取数据库拆分,或者老毛子式的:简单、粗暴的风格,

    直接使用最快的ddr4/ddr5内存,并扩充到512G甚至1T以上,
    这个虽然贵点,不过对于互联网企业、金融机构无所谓,而且,再贵,也比IBM的小型机便宜十倍。

    zw全内存10倍速计算,虽然看起来保持了TG的土鳖风格,不过非常实用,
    特别是对于中小企业、IT工作室,几乎是零成本,就可以提速5-10倍。
    而且没有任何二次开发、移植成本,无需GPU、cuda编程。
  • 相关阅读:
    【转】linux清屏的几种方法
    【转】Ubuntu 64位系统安装交叉编译环境一直提醒 没有那个文件或目录
    【转】无法获得锁 /var/lib/dpkg/lock
    层级原理图设计方法
    【转】gcc 编译使用动态链接库和静态链接库
    【转】设置 vim 显示行号永久有效
    【转】VMware 全屏显示
    emwin之自绘制 BUTTON 图形的一些问题
    使用 sizeof 获取字符串数组的大小
    emwin之2D图形流位图显示的方法
  • 原文地址:https://www.cnblogs.com/ziwang/p/9500386.html
Copyright © 2011-2022 走看看