- kafka的高性能
- consume
- msg.value()
- msg.timestamp()
- produce
- ? batch get/send vs single get/send
- pypy vs normal python2.7
- json的高性能
- ujson
- pypy
- dict.str
- 主要函数的高性能
https://github.com/confluentinc/confluent-kafka-python confluent-kafka-python项目
https://docs.confluent.io/current/clients/confluent-kafka-python/#producer confluent kafka python 文档
http://activisiongamescience.github.io/2016/06/15/Kafka-Client-Benchmarking/ 详细的kafka-python-client bench，很有参考价值
https://www.confluent.io/blog/confluent-contributions-to-the-apache-kafka-client-ecosystem/ 介绍confluent-系列来历
https://www.cnblogs.com/ryu-manager/p/9443722.html 较为详细的示例代码，演示了如何做分区消费
介绍了kafka使用中的一系列概念名词 broker, topic, partition, producer, consumer, consumer group, leader/replication, segment, offset
以及参数 enable.aoto.commit, auto.offset.reset
准备工作： 安装gcc系列
使用了笨办法安装上了g++/c++，就是一个一个的找依赖，找对应的正确版本，一个个的下载安装，看出错信息查找对应的依赖.deb包，使用dpkg -i 的方式安装。
https://github.com/edenhill/librdkafka librdkafka
编译安装顺利，安装confluent-kafka-python顺利，但运行 import fluent-kafka时报错 no module named .cimpl, 即使运行 ldconfig
ldd 发现cimpl.so 使用了librdkfka.so,
再ldd librdkafka.so 发现其使用的libssl的版本很奇怪 ，并没有正确的显示，看来libssl.so的版本不符合librdkafka的要求。
简单办法： disable ssl
librdkfakfka的安装是有一些问题的， 在不同linux发行版上的现象不同
librdkafka-devel安装时遇到了点问题。在centos7.3上，我直接用yum install librdkafka-devel.x86_64可以成功，可是在centos6.9(64位)上却找不到这个包。必须源码编译。
https://blog.csdn.net/marywang56/article/details/81744722 参考这版centos离线安装librdkafka，很有帮助。
编译librdkafka （基于110的现状，no ssl）
./configure --prefix=/usr --disable-ssl
make -j4
make install
kafka performance tuning,可以参考着读一下，并不是很符合confluent-kafka-python的现状
http://matthewrocklin.com/blog/work/2017/10/10/kafka-python kafka各个库的bench实验记录
kafka的一个大型性能测试，但是对于我们的场景来说过于遥远 (kafka向，not python)
https://data-flair.training/blogs/kafka-performance-tuning/ 另一篇kafka performance tuning (kafka向，not python)