小型语言模型（参数在 0.5B-3B ）可以做哪些事情？

大模型很有用基本上是共识，参数只有几b的小模型呢？因为性能不高直接当作对话工具显然不太行，但也有很多应用场景。

这里整理了Hacker News上的一个讨论“有人在用小型语言模型（参数在 0.5B-3B ）做有趣的事情吗？”里提到的使用场景，括号内为提到该场景的用户id。

⭐ 论文筛选助手 (kaspermarstal)：开发了一个 Excel 插件，帮助他的女朋友从 7000 篇论文标题和摘要中快速筛选出符合特定主题（糖尿病神经病变和中风）的论文。利用 Gemma 2 2b 模型进行二元分类，用户只需在 Excel 中使用简单的公式，例如 =PROMPT(A1:B1, "If the paper studies diabetic neuropathy and stroke, return 'Include', otherwise return 'Exclude'")，即可对大量论文进行批量处理。尽管准确率可能低于大型模型，但对用户来说已经足够好用。

⭐ 网站 Cookie 提示识别 (antonok)：使用 Llama 模型识别网站上的 Cookie 提示，并将其添加到 EasyList Cookie 中以进行屏蔽。利用小型 LLM（3B 模型表现良好，7B 模型几乎没有误报）对 HTML/CSS 类似的 Cookie 提示的 innerText 进行识别，可以快速处理大量网站，无需人工干预。

⭐ 短信垃圾信息回复 (Evidlo)：使用 Ollama 模型自动回复短信垃圾信息，并为每个号码设定不同的角色，例如健身爱好者或 19 世纪的英国绅士，以此来戏弄垃圾信息发送者。通过 Android 应用将短信转发到远程工作站上的 Python 服务，再由 LLM 进行回复。

⭐ 无限故事生成器 (behohippy)：使用 n100 CPU 的迷你 PC 运行 llama 3b (q4) 模型，持续生成不同类型和风格的故事，并在一个小屏幕上显示，供用户随时阅读。通过 Python 脚本随机化提示和写作风格，包括特定作者的风格，以增加故事的多样性。

⭐ 自动生成 Git 提交信息 (nozzlegear)：创建了一个 fish 脚本，利用小型模型根据当前的 git diff 生成三条备选的提交信息，帮助开发者在思路不清晰时提供一些想法。

⭐ 紧急孕产妇信息识别 (sidravi1)：将 Gemma 2B 模型进行微调，用于识别政府运营的孕产妇健康热线中新妈妈和准妈妈发送的紧急信息。

⭐ 对话赢家判定器 (flippyhead)：开发了一个小型设备，可以监听两人或多人的对话，并持续尝试判定“赢家”。

⭐ 黑客新闻文章摘要 (computers3333)：开发了一个名为 GopherSignal 的工具，可以对黑客新闻的文章进行摘要。最初使用 LLaMA 3:Instruct 模型，后来尝试使用更小的 LLaMA 3.2:1B 模型。

⭐ Excel 公式修复/补全 (azhenley)：微软发表了一篇关于 FLAME 模型（60M 参数）的论文，该模型用于 Excel 公式的修复和补全，其性能优于更大的模型（>100B 参数）。

⭐ 隐私敏感的计算机活动分析 (deet)：avy.ai 公司使用小型模型在设备上以隐私敏感的方式分析计算机活动，帮助知识工作者完成日常工作。这些模型可以执行 OCR 清理、会议摘要、用户目标和活动估计、搜索词预测以及预测有助于用户完成当前任务的查询和操作等任务。

⭐ 代码匿名化/去匿名化 (mettamage)：使用小型模型将代码中的敏感信息（如变量名、公司名等）替换成占位符，以便在向大型模型提问时保护隐私；并在收到大型模型的回复后，将占位符替换回原始信息。

⭐ 随机集换式卡牌游戏（TCG）卡牌生成 (jwitthuhn)：基于 Karpathy 的 nanogpt 开发了一个约 100 万参数的小型模型，可以生成随机的集换式卡牌游戏卡牌。

⭐ Godot 游戏引擎的本地 LLMs 插件 (bashbjorn)：开发了一个在 Godot 游戏引擎中运行本地 LLMs 的插件，推荐使用 2B-7B 大小的模型，用于生成 NPC 的非重复性背景文本，或在与商店老板讨价还价等场景中提供更自然的语言交互。

⭐ 离线聊天和 RAG (ata_aman)：在 Raspberry Pi 5 上运行小型模型，实现离线聊天和 RAG 功能，还可以对本地应用（如音乐播放器、联系人应用和待办事项应用）进行 RAG 操作。

⭐ 设备端翻译 (deivid)：开发了一个 Android 应用，使用 Firefox 的翻译模型 bergamot 实现设备端翻译，无需依赖谷歌服务。

⭐ 营销文案生成 (mritchie712)：使用本地 LLMs 通过 Ollama 生成营销文案（如 H1 标题），通过创建多个角色、高温度生成大量变体，并使用 LLM 进行比较以获得胜负比，从而筛选出优秀的文案。

⭐ JetBrains IDE 的单行代码自动补全 (psyklic)：JetBrains 使用了一个 0.1B 参数的小型模型来实现本地单行代码自动补全功能。

⭐ 法-英翻译 (gpm)：使用 shell 别名和 Llama 3.2:3b 模型实现法语到英语的翻译。

⭐ 营养成分表 OCR 识别 (JLCarveth)：使用小型模型（3b）和 tesseract.js 对营养成分表的图像进行 OCR 识别，并输出结构化的 JSON 数据。

⭐ 提示注入检测 (eb0la)：使用小型语言模型检测提示注入攻击。

⭐ 反编译代码变量/函数名还原 (juancroldan)：开发了一个工具，利用小型模型理解反编译代码，并尝试替换变量名和函数名。

⭐ 逻辑谬误识别 (cwmoore)：尝试使用小型模型识别实时广播中的逻辑谬误。

⭐ 本地 AI 服务器回复加速 (accrual)：在测试应用时，使用 3B 模型加速本地 AI 服务器的回复速度。

⭐ 特定角色风格的文本改写 (A4ET8a8uTh0_v2)：使用 Ollama 和非审查的 Llama 模型，将输入的文本改写成特定角色的说话风格。

⭐ Linux ISO 文件名重命名 (addandsubtract)：使用小型模型根据自定义的规则和示例，自动重命名 Linux ISO 文件，并通过 CLI 工具进行迭代和确认。

⭐ 办公室闲聊音频流生成 (jothflee)：运行一个约 3b 的模型（qwen 2.5 或 llama 3.2），生成并播放办公室闲聊的音频流。

⭐ 模拟在线服务的本地 API 端点 (Thews)：使用小型模型创建模拟在线服务的本地 API 端点，与 UI 模型配合使用，并进行“越狱”测试。

⭐ Docker 容器中的 LLM 监控平台 (reeeeee)：开发了一个平台，监控在 Docker 容器中拥有完整 BASH REPL 权限的 LLMs 的行为。

⭐ 医疗记录查询代理 (arionhardison)：利用 EHR/EMR 数据对小型模型进行微调，使代理能够以符合 HIPPA 规定的方式相互查询医疗记录。

⭐ 回顾工具的自动总结和分组 (sebazzz)：在一个回顾工具的实验分支中实现了自动总结和分组功能。

⭐ 使用自然语言进行 ffmpeg 操作 (ahrjay)：开发了一个名为 ffprompt 的工具，使用 Chrome AI (Gemini nano) 实现通过自然语言在客户端执行 ffmpeg 操作。

⭐ 房地产地址规范化 (linsomniac)：设想使用小型模型来规范化输入的房地产地址，以替代目前使用的 Experian 数据集和软件。

⭐ 与 Llama 3B 对战井字棋 (thetrash)：在 Godot 中开发了自己的井字棋游戏，并使用 Llama 3B 作为 AI 对手。

⭐ 机器人交互界面 (danbmil99)：使用 llama 3.2 作为机器人的交互界面。

⭐ 特定主题的文本摘要 (kianN)：在生产环境中使用 llama 3B 进行文本摘要，利用一个更健壮的统计模型进行主题提取，LLM 仅负责将 5-10 个句子改写成一个段落。

⭐ 构建 LLM 摘要应用以挑战自我 (lightning19)：出于个人原因，正在构建一个 LLM 摘要应用，以挑战一个 AI 创业公司。

⭐ 模拟 Spider Jerusalem 风格的文本改写 (A4ET8a8uTh0_v2)：使用 Ollama 和非审查的 Llama 模型，将输入的文本改写成 Spider Jerusalem 的说话风格。

⭐ 自动邮件工作流处理代理 (krystofee)：设想使用小型模型实现自动邮件工作流处理代理，根据用户的目标自动处理邮件流程，并在必要时提示用户和对方提供额外信息。

⭐ 设备端模型切换 (kolinko)：苹果的设备端模型约为 3B，并且开发了相关的技术，只有一个模型，但可以根据上下文切换不同的微调，从而执行不同的功能。

⭐ 根据喜欢的歌曲生成播放列表 (codazoda)：使用 Llama2 根据用户喜欢的几首歌曲生成播放列表。

⭐ 播放列表管理器 (panchicore3)：开发一个播放列表管理器，根据歌曲请求的性别范围进行分类，决定接受或拒绝。

⭐ 工作信息解析和分类 (itskarad)：使用 ollama 解析和分类抓取的工作信息，并在本地工作看板中显示。

⭐ 新闻标题缩短 (jftuga)：使用 ollama、llama3.2 3b 和 Python 将新闻标题缩短到 10 个单词以内。

⭐ 根据姓名推断性别 (mogaal)：在巴西收购了一家小型企业，使用 Gemma-2B 和 Python 根据客户数据库中的姓名推断性别，以便进行市场营销活动和了解客户群体。

⭐ 会说话的机器人 (merwijas)：在树莓派 5 上运行 Llama 3 模型，并将其应用于一个小型机器人，添加了 TTS 引擎，使其能够听取语音提示并以机器人语言进行回复，并在一个小屏幕上将回复翻译成英语。

⭐ 有限范围的语音命令 (kristopolous)：尝试将小型模型用于有限范围的代理语音命令。

⭐ 文本防火墙 (ignoramous)：正在使用 Gemma2 2B 原型开发一个文本防火墙（适用于 Android），根据内容改写或隔离文本。计划在完善后开源。

⭐ 作为微调目标 (Havoc)：小型模型主要用作微调目标，而不是直接使用。

⭐ Bash 命令行助手(iamnotagenius, XMasterrrr)： 使用 llama 3.2 1b 和 qwen2.5 1.5 作为 bash 命令行助手，可以快速生成一些常用的命令，提升效率。