老刘说NLP公众号文章

Jev决策类模型微调实践指引及REA、Flameox做逆向工程、Agent测试开源项目

Jev决策类模型训练实践指引及REA、Flameox做逆向工程、Agent测试开源项目

老刘说NLP

公众号 · 47 篇文章

今天是2026年10月12日,星期一,北京,天气晴。

继续看技术,两个点。一个是关于jev决策类模型训练实践,给一个教程;另一个是Agent测试和逆向工程的2个项目,看下都在干啥。

技术愈发陷入沉寂期,继续跟进。

一、关于jev决策类模型训练实践指南

jev决策类模型其实已经有很多模型发布了,但其实还是可以自己实操一下,可以参考https://unsloth.ai/docs/basics/train-your-own-decision-model-with-unsloth,实现效果如下:

qwen3.8微调文档:https://unsloth.ai/docs/models/qwen3.8,Gemma 4 微调文档:https://unsloth.ai/docs/models/gemma-4,对应的资源消耗如下:

训练代码很简单:

特别的,训练数据部分,可以看看https://huggingface.co/datasets/LocalLLaMA/typed-decisions,这个数据是System One 决策模型 (也叫 typed decision model)设计的基准测试,数据集包含 5 个子集(subset) ,对应不同的决策工作流。

推理部分,决策模型部署与运行指南:https://unsloth.ai/docs/models/decision-laya,做代码预测也很直接:

二、Agent测试和逆向工程的2个项目

最近也有几个不错的项目,做测试和逆向工程的,可看看:

1、REA(Reverse Engineer Anything)

这是个MCP 服务 + CLI 命令行工具,专门赋能 AI Agent 做逆向分析(MIT 开源协议),可以让 Claude Code、Cursor、Gemini CLI、Devin 等 AI 代理,自动分析:原生二进制程序(Windows/macOS/Linux 可执行文件); APK 安卓应用、Electron 程序、.NET 程序;固件、网页浏览器运行时行为,并提取汇编、伪代码、函数调用图、字符串、网络行为等证据材料,执行的流程如下:

项目地址在:https://github.com/morluto/rea

这个工具的优势在于- Agent 驱动逆向,降低逆向门槛——不用手动操作 Hopper/Ghidra,用自然语言提问即可;覆盖面广:从原生二进制到 Web 到 Android 到固件,并且证据导向:每个结论附带证据链和已知局限。

但是劣势也有:原生深度分析依赖 Hopper/Ghidra/IDA(付费或重型工具),各平台支持程度不一,部分需要 caller-supplied 工具(pwntools、WABT 等),逆向质量仍受 Agent 推理能力和目标混淆程度限制。如果在做 安全研究、竞品功能分析、遗留系统重建、恶意软件分析 等工作,REA 提供了一条从"看到一个功能"到"理解并重建它"的自动化路径。

核心价值不是替代逆向工程师,而是把逆向工具链用 MCP 包装成 Agent 可调用的能力,大幅降低交互成本。

2、Flameox

这个项目也很有趣,为 AI 编码 agent 提供有界本地运行证据(bounded local runtime evidence)的工具。它把 profiler、benchmark 工具、trace processor 和本地目标执行协调起来,将一个显式 artifact 路径或命令转化为可验证的结构化证据。

其主要目的是让AI agent的性能实验从"跑个脚本看输出"变成"产生可验证、可复现、有溯源的结构化证据"。

执行步骤是:分析操作时传入 artifact 的 绝对路径,捕获操作时,传入 显式 argv + 绝对工作目录,不搜索父目录、不编辑项目文件、不提供托管服务,所以是一个"无状态介入"的工具:agent 负责选择假设和实验,Flameox 负责忠实地记录输入、执行溯源、类型化证据、覆盖率和局限性。

更重要的是那个质量,证据质量上方案,也就是Flameox 明确区分三类声明:Observed(观测的) :profiler/benchmark 直接采集的数据、Derived(推导的) :从观测数据计算得出的指标、Inferred(推断的) :agent 的因果归因或性能改进主张;

但是存在接入成本,需要理解它的evidence 模型、provider 体系、experiment 契约,地址在:https://github.com/morluto/flameox

三、关于我们

老刘说NLP技术社区,自2022年建立以来,以公正、客观的角度,围绕‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍知识图谱本体论+RAG知识库+Agent智能体三个方向做深入跟进,加入方式在:https://mp.weixin.qq.com/s/_sEWHeV20sN1JcwGJU9tJw



前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →