知识蒸馏不是魔法,是大模型教小模型的三种方法
黑盒蒸馏用logits训练,白盒蒸馏学中间层特征,数据蒸馏用生成数据训练。选哪种取决于你对Teacher的访问权限。
黑盒蒸馏用logits训练,白盒蒸馏学中间层特征,数据蒸馏用生成数据训练。选哪种取决于你对Teacher的访问权限。
格式统一、语义分割、元数据提取三条做好,RAG效果提升30%。这三条没做换什么模型都没用。
权限管理、Agent通信、审计追溯、异常降级。腾讯云把这些问题纳入基础设施层解决,而不是让应用开发者自己实现。
提示词工程关注怎么写prompt,上下文工程设计整个信息交互系统。结构化组织、生命周期管理、压缩策略。
LLM是大脑,知识库是外挂硬盘,RAG是数据线。三者缺一不可,没有RAG的LLM无法精确访问知识库。
LLM自主管理记忆读写。模型自己判断什么该记什么该忘,不需要人工预设窗口和衰减规则。
单元测试级、任务级、用户级三层评估。LLM-as-Judge做评分器需要清晰评分标准。评估体系要持续更新防止回归。
先用关键词搜索跑通流程,再逐步优化。不用向量数据库不用Reranker不用定制,核心优势是灵活不是资源。
角色设定、任务分解、示例提供、格式指定、上下文补充、迭代优化。六条法则来自谷歌大规模AI使用的实操经验。
Spring AI搭配Milvus向量数据库搭建RAG。三步流程:文档向量化存入Milvus,检索相似片段,交给LLM生成回答。
传统架构假设确定性,AI应用输出是概率性的。缓存策略、错误处理、流量控制都要重新设计。Prompt要纳入版本控制,评估要端到端。
Skill Snapshot给每个变更打快照,随时回退任意版本。有版本保护的迭代是大胆试错的,效率差距比工具功能差距大得多。
Skill把专业知识封装成可复用模块,装一次到处用。Google Workspace、GitHub、Notion等Skill组合后AI变跨系统自动化工兵。
飞书多维表格的AI字段和工作流让业务系统搭建门槛从会写SQL降到会描述业务。拖拽配置就能上线一个完整系统。
Parent Chunk提供上下文,Child Chunk负责精确匹配。一个方案同时解决检索精度和上下文完整性,不需要做取舍。
自然语言直接转图数据库查询。配置schema和示例后,一句自然语言就能精确查询知识图谱,无需向量嵌入和文档切分。
数据采集、特征工程、模型集成、评估保存一套完整ML流水线。股票预测准不准不重要,但这套能力换到任何时序场景都能复用。
卷积和池化两个操作撑起了计算机视觉十年发展。TextCNN、DPCNN都在它的框架上演进。理解CNN是理解Transformer等现代架构的语法基础。
不讲技术细节只讲判断框架。多模态五层论、AGI逐步逼近、企业不要造轮子要用轮子。这些判断比追着新模型跑更有用。
几行Python代码把AI模型包装成Web应用。降低了让别人用上你的模型的门槛。模型的价值不在于多强,而在于多少人能用起来。