大家好!LiveSecBench 刚更新到 v0.1.1:本次为框架带来了对 VLM(图文/视觉-语言)评测的支持,并对运行效率与稳定性做了系统优化。欢迎大家试用并多提建议。
仓库地址:
github.com主要亮点
1. VLM(图文模态)评测支持:新增图文输入/输出的评测流程、用例模板与适配层,方便对视觉-语言模型做安全评估。
2. 运行效率显著提升:改进并发调度、资源复用与批处理策略,在大规模自动化评测时吞吐和速度都有提升。
3. 稳定性增强:更完善的错误隔离、自动重试、流控与超时处理机制,长期运行更可靠。
4. 原有优势继续保留:配置驱动、一键复现场景、模块化即插即用、并发/流控/重试机制、内置统计与报告导出。
5. 社区友好:新增的 VLM 用例模板降低上手门槛,便于贡献图像/文本用例与攻击场景。
下一版计划:推进Agent安全、文生图安全评测
如何参与:
1. 试用:克隆仓库、跑示例,体验 pipeline。
2. 提反馈:在仓库 Issues 提 bug 或建议,或在群里直接交流使用体验。
3. 贡献:Fork 仓库并提交 PR,贡献用例或改进文档。
4. 支持我们:觉得有用请点个 Star ⭐ 并分享给可能感兴趣的朋友!