DeepSeek V4 小说写作能力评测(二)
接上一篇文章DeepSeek V4 小说写作能力评测(一),这一篇文章进一步来看一下 DeepSeek V4 写小说的能力。
首先我们要看一下 DeepSeek 遵循技能的能力,技能是 FeelFish 智能体中很重要的能力,大模型需要可以很好的使用并遵循技能,这样才能满足我们创作的需求。
我们新开了一个小说项目,尝试添加一个开篇的技能:

添加后我们让智能体开篇,我们使用 DeepSeek V4 Flash 的思考模式来测试:

顺利调用了技能,可以看到思考过程如下:
思考过程
收起
用户想要创作一部网络小说,项目名称是《穿越大唐开饭馆》,笔名是愚指导。这是一个新项目,目前没有任何文件。
我需要一步步引导用户:
1. 了解用户的创作意图和偏好 - 通过对话提问
2. 帮助构建小说的总纲
3. 定义主要角色设定
4. 制定小说的整体风格和创作规则
5. 最后创作出第一章的内容
不过,用户已经给了一个项目名称《穿越大唐开饭馆》,看起来主题是穿越到大唐开饭馆。这应该是一种轻松、美食类的小说。
但是用户说"请通过对话的方式帮助我",所以我应该先和用户对话,了解他的想法,而不是直接替他决定一切。
等等,让我重新看一下。用户说"请一步步引导我",所以我可以先提问了解用户的偏好,然后根据用户的回答来构建。
但用户没有提供更多信息,所以我可以先问一些问题来了解用户的偏好。
不过,考虑到项目名已经确定了《穿越大唐开饭馆》,笔名也是确定的,用户可能已经有一些想法了。
让我先看看有没有技能文件需要读取。
系统提示说:当对话太长时,用户可能会新开对话或者总结当前对话。要使用某项技能,请读取技能文件。
这里提到了"剧情树构建"技能,说"小说初始化构建、开篇、搭建每一章剧情更改是时务必调用该技能"。
那我应该先读取这个技能文件。
不过,我想先和用户对话,了解他的想法,然后再一步步来。
让我先看看当前项目里有什么,然后开始和用户对话。
实际上,用户的消息已经包含在 <user_query> 中了,所以我需要直接回复用户。
让我先读取一下技能文件,了解剧情树构建技能的内容。
好,我先读取技能文件,然后开始和用户对话。
看来智能体对我们设定的各个方面还是考虑到位了,接下来看一下技能遵循的结果。中间过程就不展示了,说一下最终结果,最终整体结果来看技能的要求遵循得还是很不错的,不过依然有一些细节有遗漏,整体感觉尚可,但是还有待进步。
比如要求梗概创建的格式都没有问题:

但是技能中最后的几点建议被忽略了:

总的尝试下来,我们让智能体基于剧情树搭建这个技能搭建了一百章的大纲,但是总纲设定的是五卷,它在这一百章里面就把原本五卷要设定的内容给包含了,偏离了一开始五卷的设定。不过如果单看这一百章,整个设计还是符合逻辑和预期的。
最后总结来看,DeepSeek-V4-Flash 在字数控制,技能遵循上面上课,可以给 80 分,20 分差在一些细节上面。在记忆上给 70 分,及格了,但是还是有较大改进的空间。在内容创作上,如果完全是裸的,不挂技能,可能只有 60 分,尤其是章节结尾的处理上还是比较生硬,悬念和钩子设计得差了一些,还是需要技能引导。
建议大家如果用 DeepSeek V4,建议可以试试 Pro 版本加思考,应该会更好,Flash 版本试下来还是需要技能或者提示词引导,很难完全交给 Flash。不过这段时间看社区反馈来看,V4 Pro 在写作能力上面也并没有太大明显提升,短期内要靠 AI 完全自己生成很好的内容还不太现实,不过也可以看到,在适当的技能和提示词的引导下,AI 还是可以很好地高效完成相关任务的。后续我们也将会进一步评测并提供更多好用的技能来引导 DeepSeek V4 创作出更好的内容。