AI Agent 深度解析：潜力与挑战并存的智能新世界

定义

感知环境、进行决策和执行动作的智能实体

应用

• ABI/GBI 生成式 BI 或是数据分析
• Code Agent 代码助手
• 基于 RAG 技术的知识问答

Coding Agent

aiXcoder 代码大模型在企业的应用实践

PPT

• 语言模型发展历程

  • 深度神经网络
  • 预训练模型
  • 大语言模型 论文

• aiXcoder 构建

  • 训练数据收集与筛选

    • Github 数据爬取与过滤
    • 删除低质量项目
    • 相似算法去重
    • 去除敏感数据
    • 去除注释数据
    • 删除语法错误代码
    • 删除静态分析缺陷代码
    • 代码文件顺序重排

  • 训练

    • 任务 随机 Mask 抽象语法树节点
    • 存在问题 项目级代码生成下的长序列依赖

  • 测试 更符合真实场景的测评集

基于 CodeFuse 的下一代研发探索

PPT > Github

• 数据来源
  • Github
• 预训练&微调
• 推理加速&部署
• 发展
  • 仓库级代码

大模型落地到代码助手场景的探索实践

PPT

• 提示工程
  • 基本原理
    • 单个、定义明确的任务或问题上
    • 说明明确且详细，最好附带示例
    • 简明扼要

百度大模型驱动下的智能代码助手提效实践

PPT

深度解析 RAG 技术在大模型时代的原理与实践

概念

分类

朴素 RAG

• 步骤
  • 索引: 直接将输入数据向量化
  • 检索: 对向量数据库进行匹配
  • 生成: 最后将输入数据与向量数据库匹配结果共同放入大模型中生成最终结果

高级 RAG

• 步骤
  • 增加了对数据的预筛选，围绕预检索和后检索提出了多种优化策略

模块化 RAG

• 步骤
  • 引入多个特定的功能模块和替换现有模块上。
  • 整个过程不仅限于顺序检索和生成，还包括迭代和自适应检索等方法

RAG for Code

Code Generation

• REDCODER 摘要和代码双向生成
• APICoder
• COCOGEN

Hexo 在子目录中新建文章

1

hexo new [layout] -p path/<title>

微积分

求导

梯度

偏微分

积分

统计学，概率论

推断统计学和概率论的基本概念

高斯分布

贝叶斯公式

最小二乘法

线性回归

逻辑回归

线性代数

向量

向量空间

向量投影

矩阵运算

特征值分解

SVD 分解

其他

取石子问题

参考资料

一堆石子有 10 个，两个人 A、B 轮流从中取石子，规定每次至少取 1 个，最多取 3 个。取走最后石子的人获胜，在 A 先手的情况下请问必胜的是？(填 A 或者 B)

解题思路：，所以 A 只要先取走 2 个石子，接下来每一轮，都能保证只剩下 4 的倍数颗石子给 B，所以 A 必胜

语义分割模型：从 FCN 到 DeepLab V3+的全面解析

2015

FCN（全卷积网络）

2015 年提出，首次将卷积神经网络应用于像素级分类，开创了端到端语义分割的先河。FCN 将最后几层全连接层替换为卷积层，允许任意大小的输入图像，并通过上采样（反卷积）恢复分割图的分辨率。

U-Net

特别适用于医学图像分割，其特征是编码器-解码器结构，解码器层与编码器层之间有跳跃连接，用以恢复细节信息。

2016

SegNet

基于 VGG 网络，改进了 FCN 的上采样部分，使用了编码器-解码器结构，其中解码器的上采样层使用了编码器的池化索引来恢复细节。

DeepLab V1

DeepLab 系列模型是语义分割领域的另一个重要里程碑。DeepLab V1 首次引入了 Atrous Convolution 模块，弥补了删除池化模块后感受野大小的影响。

2017

PSPNet（金字塔场景解析网络）

引入了金字塔池化模块（Pyramid Pooling Module），捕获不同尺度的信息，增强了模型对不同大小物体的分割能力。

DeepLab V2

DeepLab V2 在 ResNet 的基础上引入了 ASPP（Atrous Spatial Pyramid Pooling）模块，进一步扩大了感受野并提高了分割精度。

MobileNet V1

深度可分离卷积的应用

2018

DeepLab V3

而 DeepLab V3 通过增加 ASPP 模块的宽度，进一步提升了模型的性能。DeepLab V3+是 DeepLab 系列的最新版本，它增加了网络深度，将 Xception 网络作为主干，使用深度可分离卷积 Depthwise Separable Convolution， 结合了解码器模块，以恢复细节信息，进一步提升了多尺度处理能力。

ENet

专为实时应用设计，使用了高效的编码-解码结构和跳过连接。

MobileNet V2

Inverted Residuals 和 Linear Bottleneck

ICNet

多尺度级联输入，深度监督

BiSeNet

结合了两个分支，Spatial 分支和 Context 分支。

2019

HRNet

维持高分辨率流以捕获更多细节，同时进行多尺度融合。

DANet

Spatial Attention 和 Channel Attention

Fast-SCNN：Fast Semantic Segmentation Network

共享下采样权重双分支网络

OCRNet（Object Contextual Representations）

引入了对象上下文表示，使用注意力机制来建模像素间的关系，增强对局部和全局上下文的理解。

CCNet

提出了交叉注意机制（Criss-Cross Attention），允许模型以较低的计算成本建模长距离依赖

MobileNet V3

SE 模块和 Swish

2021

SegFormer

SETR

图像块编码，输入纯 Transformer 网络提取特征，reshape 特征后卷积上采样

MaskFormer

将分割统一为 Mask 分类任务

2023

Segment Anything Model (SAM)

一种通用的分割模型，能够处理多种类型的分割任务，包括语义分割、实例分割和全景分割。

Python 修饰器（语法糖）

详解 Python 修饰器（语法糖）

1
2
3

@修饰函数
def 待修饰函数():
    pass

• 在调用待修饰函数时，直接调用修饰函数
• 在实现修饰函数时，需要注意待修饰函数的参数和返回值

VAE

GAN

DDPM

• 生成过程被设计成一系列的马尔可夫步骤，其中每一个步骤只依赖于前一步的状态

DDIM

• 采样
  • DDIM 在每一步都会预测并尝试直接达到最终的清晰状态，而不是仅仅依赖于当前的模糊状态
  • DDPM 通过马尔科夫链推导下一状态，DDIM 通过减少推理步数加速推理

Stable Diffusion

ControlNet

RAG

DIT

指标

MSE

• 计算公式

PSNR

• 单位：信噪比

• 计算公式

SSIM

• 通过均值和协方差衡量两张图像的 Luminance（亮度）、Contrast（对比度）和 Structure（结构）
• 计算公式
• 取值范围：[-1, 1]

767. 重构字符串 中等 相关标签 相关企业 提示 给定一个字符串 s ，检查是否能重新排布其中的字母，使得两相邻的字符不同。

返回 s 的任意可能的重新排列。若不可行，返回空字符串 "" 。 https://leetcode.cn/problems/reorganize-string/solutions/

https://segmentfault.com/a/1190000044071469

cv2.imread(path, flag)

• flag：

1
2

[return]    type: numpy.ndarray
            size: (H, W, C), C -> (BGR)

ImageToTensor

1
2
3
4
5

image = cv2.imread(path)
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

image = torch.from_numpy(image_rgb).transpose(1, 2).transpose(0, 1)
image = image.float().div(255)

cv2.imwrite(path, image)

TensorToImage

1
2
3

image = image.mul(255).byte()
image = image.transpose(0, 1).transpose(1, 2)
image = image.cpu().numpy()

通道处理

1
2

b, g, r = cv2.split(image)
image = cv2.merge((b, g, r))

图像处理与计算机视觉基础

二值化

• cv2.threshold()

边缘检测

• cv2.Canny()

图像滤波

• cv2.filter2D()
• cv2.blur()
• cv2.GaussianBlur()

图像形态学操作

• cv2.erode() 腐蚀
• cv2.dilate() 膨胀
• cv2.morphologyEx() 开闭运算、形态学梯度、顶帽、黑帽等

操作系统

进程状态

二进制存储

参考博客讲的很清楚

• 原码
• 反码
• 补码
• 移码

正则匹配