雅芳af: 👩‍💻回顾今年，AI大模型开发者关注的技术要点可以归纳为以下几个主题，汇总了每个主题涵盖的一些开发者关心的问题，以及相关的技术文章和论文，分享出来 ▶️大型语言模型（LLM）微调 ▶️垂直领域模型微调 ▶️LLM+外挂知识库 ▶️LLM+Agent ▶️长文本微调 ▶️多模态大型语言模型 ▶️国内外高性能开源基座 ▶️OpenAI官方发布的一些技术文档 1️⃣大型语言模型（LLM）微调 ✅大语言模型从入门到精通 🔗大模型技术基础教材：https://intro-llm.github.io/#chapter 🔗大模型技术实战：https://wangwei1237.github.io/LLM_in_Action/ ✅微调指令数据集构造 🔗通过self instruct的方式让GPT-4生成大量的指令和回复的数据对 🔗开源指令集汇总：https://github.com/PhoebusSi/Alpaca-CoT/blob/main/CN_README.md ✅低资源下，微调大模型选择的技术路线 🔗参数高效微调方法（PEFT，如lora、prefix tuning等）：https://www.zhihu.com/question/593383416 🔗Huggface开源的高效微调大模型的库：https://huggingface.co/blog/zh/peft 🔗QLoRA和全量参数微调Llama/Baichuan等：https://github.com/yangjianxin1/Firefly ✅微调、推理大模型所需的显存计算 🔗大模型显存估计开源工具：https://huggingface.co/spaces/hf-accelerate/model-memory-usage 🔗大语言模型LLM推理及训练显存计算方法：https://www.cnblogs.com/tommickey/p/17741619.html ✅微调、推理、量化常见使用的开源框架 🔗常见微调框架：llama-factory、deepspeed、metronlm、unsloth 🔗常见推理加速框架：vllm、mlc-llm、Medusa 🔗常见量化框架：exllamav2、bitsandbytes ✅大语言模型幻觉相关的论文： 🔗幻觉定义、解决思路https://github.com/LuckyyySTA/Awesome-LLM-hallucination ✅符尧老师关于数据工程、大模型评测文章： 🔗包含预训练阶段如何找到「最优的混合比例+数据格式+数据课程」来使学习速度最大化等 https://yaofu.notion.site/An-Initial-Exploration-of-Theoretical-Support-for-Language-Model-Data-Engineering-Part-1-Pretraini-dc480d9bf7ff4659afd8c9fb738086eb 🔗关于大模型评测：https://yaofu.notion.site/C-Eval-6b79edd91b454e3d8ea41c59ea2af873 2️⃣垂直领域模型微调 ✅领域主流模型： 教育（如educat）、医疗（如ChatGLM-Med）、金融（如FinLLM）、心理（MindChat）、法律（ChatLaw）、科学（starwhisper）等 ✅开源、高质量的预训练语料 🔗悟道https://data.baai.ac.cn/details/WuDaoCorporaText ✅领域：专用数据集配比如何 🔗Chathome数据配比，介于1:5~1:10之间 3️⃣LLM+外挂知识库 ✅知识库构建流程 🔗从 RAG 到 Self-RAG https://zhuanlan.zhihu.com/p/661465330 ✅实现rag的开源项目， 🔗langchain、llamaindex https://baoyu.io/translations/rag/advanced-rag-techniques-an-illustrated-overview ✅大模型外挂知识库（RAG）优化方案 🔗https://www.zhihu.com/question/628651389/answer/3314772569 4️⃣LLM+Agent ✅OpenAI应用研究主管的万字长文 🔗Agent = LLM+ 记忆 + 规划技能 + 工具使用：https://juejin.cn/post/7256759718810206266 ✅Agent当前的研究重心 🔗如何选择基础模型、prompt设计上有哪些参考的示例：ReACT（https://react-lm.github.io/）、ReWOO（https://arxiv.org/abs/2305.18323） ✅Agent有哪些常见的主流开源框架 Autogen、AutoGPT、BabyAGI等 5⃣️长文本微调 ✅长文外推能力的定义 🔗苏剑林老师：https://spaces.ac.cn/archives/9431/comment-page-1 ✅主流模型使用的外推技术 🔗旋转位置编码RoPE https://zhuanlan.zhihu.com/p/667864459 ✅长文微调的流程和训练代码 🔗单卡高效扩展LLaMA2-13B上下文： https://github.com/yangjianxin1/LongQLoRA/blob/master/train.py#L123 ✅长文本压测 🔗Kimi Chat 公布“大海捞针”长文本压测结果 https://mp.weixin.qq.com/s/IC5-FGLVHzHHYqH6x-aNng ✅100k上下文的工程与数据基础方案 🔗From 符尧 100k 可以通过暴力工程实现，不需要 fancy 的架构改变 https://yaofu.notion.site/Understanding-data-influence-on-context-scaling-a-close-look-at-baseline-solution-eb17eab795dd4132b1a1ffe73f5e850a 6️⃣多模态大型语言模型 ✅多模态和多模态大模型(LMM) 🔗全面介绍多模态系统，包括LMM https://baoyu.io/translations/lmm/multimodality-and-large-multimodal-models ✅多模态有哪些主流的开源模型 fuyu-8b、llava、mPLUG-Owl2、Qwen-VL ✅多模态大型语言模型微调 🔗数据集构造、微调、评测 https://zhuanlan.zhihu.com/p/643611622 7⃣️国内外有哪些优质开源基座 ✅llama1/2、phi-1/phi-1.5/phi-2、Mistral 7B、Orca2 ✅qwen（7/14/72B）、baichuan1/2、yi（6/34B） ✅intenlm、tigerbot1/2、skywork 8️⃣OpenAI官方发布的一些技术文档 ✅【中文版】OpenAI官方提示工程指南 https://baoyu.io/translations/openai/openai-prompt-engineering-guides?continueFlag=096743c66cbaafc163912423c83a12d6 ✅OpenAI 微调文档 https://platform.openai.com/docs/guides/fine-tuning ✅OpenAI 安全对齐研究、超级对齐计划 https://openai.com/blog/our-approach-to-alignment-research https://openai.com/blog/introducing-superalignment