大家好!
最近在学习大模型(LLM),记了一些笔记。
所以,想借这个机会组织一次分享会,主要是把自己学到的、想通的一些东西拿出来和大家交流,也希望能帮到同样对LLM感兴趣的朋友们。
这次分享,我会尽力讲清楚这些方面:
- 大模型是怎样工作的。Tokenizer 的重要性
- 常见调节参数。聊聊像 temperature, logit_bias 这些参数具体是干什么的,以及如何通过调整它们来影响模型的输出(比如,我们会看看怎么让模型在回答问题时避开某些词)。以及控制输出格式的参数: 如何让大模型按我们指定的结构(例如JSON)输出内容,让结果更规整、可用。
- 大模型优劣势和优化手段: 谈谈目前大模型能力的强项和局限,优化手段 1) 提示词工程(Prompt Engineering)、2) 微调(Fine-tuning)和 3) RAG(Retrieval-Augmented Generation)
- 模型推理初探: 简单介绍一下影响大模型响应速度的两个主要阶段(Prefill 和 Decode)以及相关的基础概念。
时间的话, 暂定五一过后, 那一周的周六晚上 (5.10),到时候贴 腾讯会议链接 !
我计划先把我准备的内容分享出来。因为我自己也还在学习过程中,很多理解可能还有偏差或不足,所以非常期待能听到大家的想法、疑问和补充。互相学习,共同进步!
如果你对这些内容感兴趣, 欢迎来围观 !