日韩第一精品,五月天丁香亚洲,欲望之翼中文字幕电影完整版未删减百度云,沉默的冰山电影完整版在线观看,2024久久精品,俺来俺去www,黑人性hd

職位描述：參與內(nèi)部異構(gòu)大模型推理引擎優(yōu)化，支持大模型推理各種優(yōu)化技術(shù)在異構(gòu)硬件上的落地。包括但不限于： 1、參與日常推理引擎的優(yōu)化開發(fā)，不斷優(yōu)化大模型業(yè)務(wù)在對應(yīng)硬件上的TTFT、TPOT等指標；關(guān)注業(yè)界最佳實踐，能將業(yè)界最佳實踐落地到內(nèi)部的引擎優(yōu)化中； 2、完成各種大模型推理所需的功能性開發(fā)任務(wù)； 3、參與支持日常的大模型推理服務(wù)部署，參與內(nèi)部日常提效工具的研發(fā)。 任職要求：1、有扎實的C 工程基礎(chǔ)； 2、有大模型相關(guān)訓(xùn)練或推理優(yōu)化經(jīng)驗；有vLLM、TensorRT-LLM、MLC-LLM 等框架之一的實踐經(jīng)驗；熟悉LLM infer 相關(guān)技術(shù)棧，熟悉TP/PP/DP等分布式通信原理等； 3、熟悉CUDA 或 ROCM，熟悉Nsight System/ Nsight Compute 工具的使用，有 GPU 或 ASIC 高性能算子開發(fā)經(jīng)驗； 4、了解AI infra 整體技術(shù)棧需求，有訓(xùn)練框架或推理框架實戰(zhàn)經(jīng)驗、熟悉TensorRT、TVM 等框架的使用、有二次開發(fā)能力或開源社區(qū)貢獻經(jīng)歷更佳。