LLM解释

深度解析大语言模型工作原理,从数据收集清洗到模型训练全流程。详解参数与词元概念、微调技术、工具使用减少幻觉、强化学习优化等核心技术,全面理解LLM运作机制。

August 1, 2025 · 18 min · 8681 words

vLLM推理性能压测

vLLM推理性能深度测试分析,详解PagedAttention内存分配机制、KV Cache优化策略、参数调优方法。提升大模型推理吞吐量与效率。

July 17, 2025 · 26 min · 12953 words

使用Metaprompt输出prompt

Metaprompt提示词生成技术详解,通过元提示自动生成高质量prompt模板。涵盖Qwen模型调试实战、简历处理场景应用、提示词工程最佳实践,提升AI交互效果。

July 17, 2025 · 17 min · 8480 words

LLM config加载

深度解析大语言模型配置文件加载机制,详解config.json、generation_config.json等核心文件作用。涵盖模型架构配置、权重加载、分词器设置等关键技术点。

July 17, 2025 · 9 min · 4196 words

推理框架

我自己的推理框架实战笔记:ONNX、TensorRT、TorchScript,聊原理也给出部署踩坑与优化经验。

May 20, 2025 · 79 min · 39374 words

模型微调

大语言模型微调技术详解:全量参数微调与参数高效微调对比、后门注入攻击防护、LLM安全性研究。模型定制化实战指南。

May 13, 2025 · 1 min · 83 words

AIGC算法高频面试题目

全面整理AIGC算法面试高频题目,涵盖推荐系统、大语言模型、深度学习等核心技术点。包含携程、字节跳动等大厂真题解析,提供详细答案和实战经验分享,快速掌握AIGC算法面试要点。

May 8, 2025 · 99 min · 49568 words

我的大语言模型推理与应用实践

从RAG检索增强生成到提示工程,我在大语言模型推理与应用领域的深度实践与思考。分享技术难点、解决方案和实战经验。

May 7, 2025 · 7 min · 3297 words

大模型的安全性

大模型安全性全面解析:对抗攻击原理与防御策略,包括白盒、灰盒、黑盒攻击方法,token操作技术,梯度攻击机制详解。

May 7, 2025 · 5 min · 2089 words

经典模型与架构

大模型经典架构深度解析:多模态模型连接方式、视觉编码器选择、文本解码器设计、DeepSeek技术细节。前沿AI架构学习笔记。

May 6, 2025 · 61 min · 30385 words