Develop an on-device RAG system powered by Gemma models

Develop an on-device RAG system powered by Gemma models

摘要

Google的EmbeddingGemma 300M模型支持在移动设备上生成文本嵌入，适用于多语言语义搜索、分类等任务。本文详细讲解了如何从PDF提取文本、分块、生成嵌入向量，并通过Gemma模型进行语义匹配和查询应答。开发者可利用IText Core库提取PDF文本，使用Deep Java Library进行分块，运行EmbeddingGemma生成向量，最后通过Gemma 3模型生成上下文相关的答案。整个过程无需依赖服务器，完全在设备端完成。