千寻Moz2终结Demo内卷？记忆能力才是真瓶颈
刚在WAIC现场看了千寻智能的Moz2，说实话，比起那些只会挥手比心的机器人，它最大的亮点不是卖萌，而是解决了机器人行业的‘金鱼记忆’问题。从技术角度看，Moz2展示的持续学习能力意味着它不再局限于单一任务的Demo演示，而是能在多轮交互中保持上下文记忆。这背后可能是基于Transformer的长期记忆模块或神经图灵机架构的改进，让机器人能记住用户偏好和环境状态。个人经验来看，过去很多机器人Dem
移动开发笔记
微调LLaMA时loss一直在2.x下不去，是数据问题还是超参没调好？
最近在尝试用LoRA微调LLaMA-7B做一个垂直领域的问答模型，训练数据大概2万条，每条100-200 tokens。跑了十几个epoch，训练loss始终在2.3左右震荡，验证集也一样，生成的回答经常是车轱辘话或者直接复述问题。我试过降低学习率（从1e-4降到3e-5）、增大batch size，也检查过数据里没有太多噪声或格式错误，但效果就是提不上去。想问下大家：这种loss下不来的情况，通
云端金鱼喜欢开源日记
用开源模型搭Agent时，记忆模块总崩，大家是怎么解决长对话丢失问题的？
最近在折腾基于Llama 3.1的本地Agent，用来做文档问答。遇到了一个挺头疼的问题——对话一长（大概10轮左右），模型就开始“失忆”，要么重复之前回答过的内容，要么干脆把前面提到的关键实体给忘了。我试过用LangChain的ConversationBufferMemory，但感觉只是把历史塞进prompt，token一超就废了。也试了简单的向量存储检索，但效果不稳定，有时候相关度高的历史反而
正在进化的全栈
大模型部署时Prompt写不好，是不是都白搭了？
最近在用自己的卡部署llama3，折腾了半天终于能让模型跑起来了，但发现一个问题：同样的参数，同样的模型，我用简单Prompt问“解释一下什么是注意力机制”，跟别人分享的“角色+任务+输出格式”那种结构化的Prompt比，回答质量差好多。我试了试改Prompt，发现效果真的天差地别，但又不知道怎么系统地优化。想问下各位大佬，部署大模型的时候，到底该花多少精力在Prompt设计上？有没有什么通用的写
持续研究创新案例库
用向量数据库搭RAG应用，chunk大小和embedding模型到底怎么选？
最近在折腾一个基于开源模型（比如Qwen2.5）的本地知识库问答，用LangChain接Chroma做向量存储。但遇到一个很头疼的问题：文本chunk大小设多少合适？试了512和1024，感觉检索结果时好时坏，有时候明明相关的内容却排到了后面。另外embedding模型选BGE还是text2vec-base-chinese？我本机是3060 12G，跑大模型已经有点吃力了，再挂向量库会不会更慢？有
缓存拒绝内耗观察员
部署7B大模型到手机端，量化后效果拉胯，有啥优化思路？
最近想把一个7B的模型部署到手机上跑，做点离线对话功能。试了GPTQ和GGUF量化到4bit，模型体积倒是从13G压到4G左右，但一跑起来，回答质量明显下降，很多逻辑都乱了，感觉像换了个低智模型。用的设备是骁龙8Gen3的安卓机，也试了llama.cpp，推理速度还行，就是效果太崩。想问下各位大佬，是不是我量化参数没调对？还是说7B模型量化到4bit本身就损失太大，应该换更小的模型？或者有什么后训
文档正在自愈求生记
用向量数据库做相似图片检索，数据量大了之后召回率下降严重怎么办？
最近在做一个图片搜索的小项目，用ResNet50提取特征然后存入Milvus。刚开始几千张图效果还行，现在数据量到了50万左右，明明两张很相似的图，结果Top-5里经常找不到，召回率掉到70%以下了。我试过调大nprobe和ef_search参数，但效果提升有限，而且查询速度慢了不少。想问下这种情况一般是索引参数没调好，还是特征提取本身有问题？有没有什么经验分享一下，比如建索引的时候应该怎么选量化
边学边做人工智能学习者
RAG检索结果总是不准，是不是chunk切分策略有问题？
最近在搭一个基于知识库的问答系统，用LangChain + OpenAI的embedding。遇到的场景是：用户问一些比较细的问题，比如“某产品的售后政策是什么”，结果检索出来的片段经常是产品介绍、常见问题，就是没有直接相关的售后内容。我试了固定长度500字符chunk，也试了按段落切，效果都不太理想。想问下大家，chunk size和overlap一般怎么调？或者是不是跟文档本身的标题层级有关，
边学边做人工智能学习者
用AI写React组件时，prompt怎么加业务逻辑才不跑偏？
最近在用Cursor写一个企业级后台的表格筛选组件，需求是支持多选、日期范围、模糊搜索联动。我直接描述业务场景（比如“用户选了部门后，日期范围自动清空”），但AI经常生成一些假逻辑或者冗余代码，比如用useEffect监听所有props变化。后来我试过把需求拆成小步prompt，但总感觉少一个“稳定输出”的模板。想问问各位老哥，对于这种带状态依赖的组件，prompt里是应该先写清楚状态流转图，还是
企业级数据科学观察员
用向量数据库做RAG时，chunk大小和embedding模型总搭不对，求指点
最近在搭一个本地知识库问答的demo，用的LangChain+Chroma+OpenAI的ada-002。问题是：我试了256、512、1024几种chunk大小，但检索回来的片段要么太碎漏掉关键信息，要么太大把无关内容也带进来，导致LLM回答偏离。而且换了bge-small和text2vec-large后，感觉语义匹配效果差异挺大的，有时候查“苹果手机保修政策”却把“苹果种植手册”排前面了。是不
缓存偶尔抽风观察员
用Prompt让GPT写Python代码，为什么总生成半成品函数？
最近在做一个数据清洗的小工具，想用GPT帮我自动生成一些Pandas的批量处理代码。我写的Prompt大概是：“写一个函数，输入DataFrame，输出清洗后的数据，包括去重、填充空值和异常值处理。”结果它每次都只给我一个函数骨架，里面全是“# 此处实现去重逻辑”之类的占位符，从来不把具体代码补全。试过加“请输出完整可运行的代码”也没用，是我Prompt写得不够细，还是模型本身就不擅长这种“填充式
持续输出商业修炼册
大模型+RAG场景下，向量数据库的召回率总上不去怎么办？
最近在做基于大模型的RAG知识库问答，用ChatGPT embedding接口把文档转成向量存到Milvus里，查询时top-k召回结果总是很“飘”。比如问“2024年Q3财报数据”，明明文档里有精确表格，但召回来的却是几段无关的闲聊内容。我已经试过调大chunk size和overlap，也试过用不同的距离度量（L2、余弦），但效果还是不稳定。想问下懂行的朋友，是不是embedding模型本身太
持续输出商业修炼册
部署大模型时，不同Prompt模板对输出质量影响有多大？
最近在试着把Llama 3部署到本地做客服问答，发现同样一个用户问题，用不同Prompt模板（比如加“你是专业客服”这种角色设定，或者不加），输出结果差别好大。有时候模板写得太复杂，模型反而会编造一些奇怪的信息；有时候模板太简单，回答又很敷衍。想问问大家，在部署阶段，你们一般是怎么设计Prompt模板的？是直接套用网上现成的，还是根据业务场景反复调？有没有什么经验，能让模板既稳定又不太影响推理速度
会写字的数据人
GPT-5推理能力飙升但部署成本仍是硬伤
看了Matthew Berman的实测视频，GPT-5在复杂推理任务上的表现确实让人眼前一亮。特别是那个多步数学推理案例，模型能自动拆解问题并验证中间结果，这比GPT-4的“直觉式”回答进步了一个量级。从技术角度看，这可能得益于MoE架构的进一步优化和推理时动态计算路径的引入，但实测中部分长链推理仍会出现“幻觉”累积，说明鲁棒性还有提升空间。 个人经验上，我上周在内部测试中将GPT-5接入了一个
暮色漫游集
Navos 2.0实测：多智能体工作流不是堆API接口
刚看完钛动科技在WAIC上发布的Navos 2.0，从对话框升级到智能体工作流架构，这个方向确实踩中了当前LLM落地的核心痛点。个人经验来说，ChatGPT单Agent在复杂任务中容易陷入死循环或遗忘上下文，而Navos 2.0的多智能体协作机制通过任务分解和状态机调度，理论上能解决这个问题。但实际工程中，多Agent的通信开销和一致性维护是隐藏的坑，比如Agent间传递的中间结果如果格式不统一，
路过的Java玩家手记
实测千寻智能最强大脑亮相WAIC：：生产环境接入的几点体会
分享一下我们在项目中接入千寻智能最强大脑亮相WAIC：攻克「金鱼记忆」，终结单一任务Demo内卷的实际体验。 先说结论：效果确实有提升，但没官方说的那么夸张。我们在一组典型的RAG任务上做了A/B测试，准确率提升大约15-20%，距离官方宣称的30%还有差距。可能是我们的场景比较特定。 几个实际坑： 1. API响应时间比上一代慢了约40%，需要调整超时配置 2. 输出更长了，token消耗明
交互案例库
Agent原生后端：品牌电商的下一场基础设施革命
Nile这个15人团队提出的“AI原生后端”概念，确实切中了当前Agent生态的一个关键痛点。从技术角度看，他们不是在做一个简单的API聚合层，而是在构建一个面向Agent的语义化数据接口和决策引擎。传统电商后端是为人类浏览器设计的，数据模型围绕SKU、库存、订单展开，而Agent需要的是意图理解、动态定价、跨平台分发策略。Nile的核心突破在于将品牌的后端服务抽象成一组可被Agent直接调用的“
清晨寻光
GLM-4.5实测：代码生成追平GPT-4o？Agent场景才是真亮点
看了智谱GLM-4.5的深度评测，我第一反应是：这次国产模型在Coding和Agent场景的进步确实够硬。评测提到它在代码生成任务上几乎追平GPT-4o，尤其是多步推理和复杂函数调用上的表现，这背后应该是强化学习对齐和长上下文记忆优化的成果。我个人的经验是，之前用GLM-4做Agent编排时，工具调用的稳定性是个痛点，经常出现API参数错乱。4.5版本在工具使用链上的改进，比如对多轮工具调用的状态
深度学习落地指南
我要提问
大家都在搜
1
向量数据库到底怎么选？Milvus和Chroma看懵了
36
2
RAG部署后回答质量很差，是chunk切分问题还是embedding模型选错了？
35
3
用AI写代码总翻车，是我提示词不对还是工具选错了？
34
4
深度学习框架选择困惑：PyTorch和TensorFlow到底该深入学哪个？
32
5
LoRA微调7B模型后推理显存爆炸，是我的方法不对吗？
31
6
大家用开源编程模型写生产代码时，真的敢直接信任它的重构建议吗？
31
7
MCP服务器里用Prompt模板，变量多了会不会拖慢响应速度？
30
8
PyTorch模型转ONNX后推理结果和原模型对不上，是量化问题还是算子不支持？
30
9
微调LLaMA3用来做中文客服，显存不够怎么破？QA数据该咋准备？
30
10
RAG里Prompt模板怎么写才能让大模型老实引用原文而不是乱编？
29
11
微调Llama3后推理变傻了，是数据问题还是我超参设置不合理？
28
12
MCP服务器接入深度学习框架做数据闭环，有大佬趟过坑吗？
28
13
大家用开源模型跑Prompt工程时，真的会去调temperature和top_p吗？
27
14
Prompt里加了角色设定反而变笨了，是格式问题还是模型问题？
27
15
用向量数据库做RAG，embedding后直接暴力检索和用索引差距真的大吗？
27
16
RAG系统检索结果太碎片化，生成答案逻辑断裂怎么办？
27
17
MCP服务器连多了会不会拖慢Agent响应？感觉越用越卡
27
18
大家用Qwen2.5-Coder写代码时，长上下文真的靠谱吗？
27
19
Copilot和Cursor都用过了，为什么感觉AI写代码还是不太靠谱？
27
20
用LoRA微调Llama3中文能力，效果反而变差了，是我姿势不对吗？
27