人工智能中的“知识蒸馏”,到底是什么?

随着 DeepSeek R1 的爆火,知识蒸馏这一人工智能中常用的技术进入大众视野。本篇面向对人工智能和机器学习感兴趣的初学者的科普性文章,主题聚焦于当前深度学习领域中被广泛应用的「知识蒸馏(Knowledge Distillation)」技术,希望能帮助读者快速了解它的概念、作用以及应用场景。 什么是知识蒸馏?在深度学习的发展过程中,模型的规模(参数量)越来越大,性能也随之提升。
阅读全文

人工智能中的“量化”,到底是什么?

深度学习模型已经在图像识别、自然语言处理和自动驾驶等领域取得了令人瞩目的成绩。然而,随着模型规模不断增大,如何在保证模型性能的同时降低计算资源和能耗,成为了研究者和工程师们面临的重要课题。量化(Quantization)技术正是在这一背景下应运而生,并在实际应用中发挥了巨大作用。本文将带你深入了解人工智能中的量化技术,探讨它的原理、优点以及所面临的挑战。 什么是量化?量化,顾名思义
阅读全文

用 Go 语言构建 MCP 客户端与服务器

  • 小码哥
  • 2025-04-10 14:09:18
  • Ai
  • ai mcp
前言模型上下文协议(`Model Context Protocol`,简称 `MCP`)是一种开放标准,旨在标准化大型语言模型(`LLM`)与外部数据源和工具之间的交互方式。随着 `MCP` 越来越受欢迎,`Go MCP` 库应运而生。本文将介绍如何在 `Go` 语言里面轻松构建 `MCP` 客户端和服务器。 mcpgo`mcpgo` 是 `Go` 语言实现的
阅读全文

大模型中常说的 MCP 是什么?

  • 小码哥
  • 2025-03-30 11:46:39
  • Ai
  • mcp ai
背景介绍大型语言模型(LLMs)虽然在文本生成、语言理解、代码编写等方面展现出强大能力,但存在一个固有局限:它们的能力受限于训练数据范围,缺乏实时信息感知和外部交互能力。传统解决方案是为每个数据源(数据库、API、文件系统)构建定制化集成方案。这导致了"MxN问题":M个AI模型需要与N个外部工具连接,集成数量呈M×N增长。为解决这一挑战,Anthropic于2024年1
阅读全文

RAG优化

RAG概述RAG,即"RetrievalAugmented Generation",是一种结合了检索(Retrieval)和生成(Generation)的机器学习模型框架。它广泛应用于自然语言处理任务,如文本生成和问答系统等。RAG模型首先通过检索机制从大型文档集合中检索出与输入查询最相关的文档或文档片段,然后利用这些信息作为上下文,输入到生成模型中,以生成响应或完成特定的语言任务。RA
阅读全文

Ollama&AnythingLLM构建本地知识库

Ollama&AnythingLLM构建本地知识库RAG技术基本原理和技术流程 背景大型语言模型在自然语言处理领域展示了显著的能力,但它们也存在一系列固有的缺点。首先,虽然这些模型在掌握大量信息方面非常有效,但它们的结构和参数数量使得对其进行修改、微调或重新训练变得异常困难,且相关成本相当可观。其次,大型语言模型的应用往往依赖于构建适当的提示(prompt)来引导
阅读全文

Stable Diffusion Webui教程

  • 小码哥
  • 2024-07-06 19:53:55
  • Ai
  • sd ai
Stable Diffusion Webui教程 1. 基本介绍 Stable Diffusion(SD)模型是由Stability AI和LAION等公司共同开发的生成式模型,总共有1B左右的参数量,可以用于文生图,图生图,图像inpainting,ControlNet控制生成,图像超分等丰富的任务,可以帮助我们快速创建高品质的绘画作品,还提供了一些高级功能,例如批量处理、自
阅读全文