阿里开源的Android手机离线LLM应用：MnnLlmApp，完全释放手机中的AI潜力！

基于 MNN-LLM 框架开源的 Android 应用，能够让多种大型语言模型（LLM）在手机上实现离线运行，无需联网即可完成各种 AI 任务。

其强大的性能表现和灵活的多模态支持，使其成为智能手机上运行人工智能的全新尝试。

目前，MnnLlmApp 支持多种任务类型，包括：文本生成文本、图像生成文本、音频转文本、文本生成图像等。

功能亮点
• 多模态支持：提供多种任务功能，包括文本生成文本、图像生成文本、音频转文本及文本生成图像（基于扩散模型）。
• CPU推理优化：预填充速度相较于llama.cpp提高了8.6倍，相较于fastllm提升了20.5倍，解码速度分别快了2.3倍和8.9倍。
• 广泛的模型兼容性：支持多种领先的模型提供商，包括Qwen、Gemma、Llama（涵盖TinyLlama与MobileLLM）、Baichuan、Yi、DeepSeek、InternLM、Phi、ReaderLM和Smolm。
• 本地运行：完全在设备本地运行，确保数据隐私，无需将信息上传至外部服务器。

GitHub：github.com