浪潮元脑CPU推理服务器NF8260G7/G7采用4颗高性能CPU与AMX加速技术，单机支持20并发用户，性能超20tokens/s，结合32B级模型DeepSeek-R1和QwQ-32B的中文处理优势，以通用算力实现稳定的大模型部署，助力企业低投入快速落地AI应用。

■ 在算法方面，元脑CPU推理服务器对业界主流的企业级大模型推理服务框架vLLM进行深度定制优化，通过张量并行和内存绑定技术，充分释放服务器CPU算力和内存带宽潜能，实现多处理器并行计算，效率可提升4倍，并使用AWQ（激活感知权重量化）技术进一步加速解码性能，实现了2倍解码性能提升。测试数据显示，基于单台NF8260G7，在使用DeepSeek-R1 32B进行带思维链深度思考的短输入长输出的问答场景下，解码性能超过20tokens/s，20个并发用户下，总token数达到255.2tokens/s；在使用QwQ-32B进行模型推理时，支持20个并发用户数，总token数达到224.3tokens/s，可以提供流畅稳定的用户体验。