滑稽社论坛 » 搜索 » user:e2hang post:true

【Tranformer-GPT】使用注意力机制进行类GPT模型训练

一、相关原理

    类GPT,把输入的token作为文章的开头,进行自回归输入,最终输出接下来的文本。相比Transformer(翻译),GPT只需要用到Decoder,相比之下比较好写。


二、具体效果

    


三、实现代码(仅展示部分重要模块)

class MultiHeadAttention(nn.Module):     def __i
Transformer GPT 生成式AI e2hang •  3 小时前
1

【DCGAN】失败的对抗生成网络训练(上)

注:本文章的图片可能令人感到不适,请谨慎观看

一、对抗生成网络(Generative Adversarial Network)

    整个网络类似一个制作假币集团和警察的对抗,假币集团希望警察不能发现他们的假币,警察希望正确地甄别真币与假币。这里需要引入一些博弈论的知识:Minimax-极大极小博弈理论。

·极大极小平衡点(Minimax Equilibrium)

    G(Ge

深度学习 机器学习 博弈论 DCGAN 对抗生成网络 e2hang •  4 天前 • 最后回复来自 e2hang
1

【Transformer】Attension is All You Need - 模型理解

用简短的话概括整个Transformer从训练到工作的过程:

1、训练:

    对于Encoder,输入原语言的大量句子,对于每一个句子,首先进行每个token进行词义嵌入和位置嵌入(一般是三角函数,产生token个三角函数,每个三角函数带入位置值),两个叠加变成E,然后通过E*Wq,  E*Wk, E*Wv,求得整个句子的Q, K, V。然后叠加到原本的E上面,修改C = LayerNorm(E + ΔE),其中ΔE = Attention(Q, K, V

技术 深度学习 神经网络 Transformer Attention e2hang •  6 天前

【一些想法】有关人工智能的发展路径和对其未来的预测

人工智能的发展经历了符号主义、联结主义、行为主义到混合主义的演进过程。在这一过程中,研究人员提出了许多有趣的观点,其中部分已经成为成熟的训练方法被广泛应用。本文尝试对人工智能的发展路径做一番梳理,并提出个人看法。


人工智能大体可以分为三类:机器学习、深度学习和强化学习。机器学习主要依赖

强化学习 机器学习 深度学习 e2hang •  10 天前

【DQN】使用标准DQN(优化)进行CartPole游戏的经典强化学习训练

一、无经验回放

先放一个没有经验池(经验回放)的代码

import gymnasium as gym import random import torch import torch.optim as optim import torch.nn.functional as F import torch.nn as nn import time # 创建环境 #env = gym.make("CartPole-v1", render_mode="hu
Python 技术 检讨 深度学习 强化学习 e2hang •  2025-09-10

【MLP + 噪声】使用MLP训练函数拟合-回归

一、无噪声简单回归:y = x^2 + 2x + 1

import torch import torch.nn as nn ez = nn.Sequential(     nn.Linear(2, 8),     nn.ReLU(),     nn.Linear(8, 8),     nn.ReLU(),     nn.Linear(8, 1) ) # y = w1 @ x + w2 @ x^2 + b # 两个特征,第一个是x,第二个是x^2 criter
Python 技术 机器学习 神经网络 深度学习 e2hang •  2025-09-10

【CNN】使用CNN训练笔迹识别

import torch import matplotlib.pyplot as plt from torch import nn import torch.optim as optim import torch.nn.functional as F from torchvision import datasets, transforms from torch.utils.data import DataLoader from main import optimizer # 设置超参数 batch_size =
Python 技术 机器学习 神经网络 e2hang •  2025-09-10

【美图】月全食--血月

月全食--血月

使用哈苏x2d + 1200长焦天文望远镜拍摄

下载地址:http://huajishe.fun:5212/#/s/xgue 密码:114514

技术 e2hang •  2025-09-08

【哲学篇】向死而生:“死去活来”的蜕变哲学

向死而生:“死去活来”的蜕变哲学

“死去活来”一词,通过"死"与"活"的极端对比,刻画人体或精神受剧烈刺激时的极端反应。然而若拨开修辞的迷雾,深究其字面真义,我们会得到一些有趣的观点。我们常把“死去活来”理解为一种极致的情绪,但它更深刻的本质,其实是一场“向死而生”的蜕变哲学。


这里的“死”,不是生命的终结,而是一场主动的“断舍离”。是果断告别那些已经不再适用的旧模式、拖累你的旧关系、禁锢你的旧观念,甚至是那个你早已习惯却并不满意的自己。这是一种象征性的“自我终结”,需

更新 哲学 感悟 文章 e2hang •  2025-09-01

【信息系统】滑稽社信息系统查询

补充:由于技术问题,暂时无法为docker registry提供SSL证书,只能通过http协议进行信息传输。如果想从Docker Registry Pull一个Docker到本地,记得先在/etc/docker/daemon.json里面开放huajishe.fun:8888,docker.huajishe.fun仅供查询Docker使用,具体地址如下:


https://docker.huajishe.fun/v2/_catalog

技术 更新 程序 网站 规则 e2hang •  2025-08-01 • 最后回复来自 e2hang
1

【信息系统】滑稽社信息系统查询

滑稽社信息系统查询地址:https://huajishe.fun/info/

技术 更新 程序 网站 规则 e2hang •  2025-08-01 • 最后回复来自 e2hang
1

【C++】小游戏——不要点到50次

小游戏:不要点到50次!

点击下方链接即可下载!
地址:http://huajishe.fun:5212/#/s/vQS6

密码:114514


下载后解压并运行randomMouse.exe文件即可


C艹 小游戏 技术 程序 e2hang •  2025-06-18

【C++】第一个C++GUI程序

【第一个C++GUI程序】下面链接请用浏览器打开!

http://huajishe.fun:5212/#/s/DaUJ,(点击链接)

密码:1234

下载体验!


使用方法:(Windows操作系统)

解压后,运行解压文件夹中的Liuying.exe即可


其他

C艹 技术 程序 e2hang •  2025-06-11

【问卷调查】市场方向初步调研


点击链接进入问卷系统!点击链接进入问卷系统!点击链接进入问卷系统!
C艹 技术 检讨 调研 问卷 e2hang •  2025-05-22

【C++】面向对象程序设计-课程设计开源

https://github.com/e2hang/OOP-Homework/


点击链接即可进入查看!

C艹 技术 程序 e2hang •  2025-05-22

【C++】简易的仿Vector类

#ifndef VECTOR_H #define VECTOR_H #include <iostream> template<class T> class Vector { private:     T** p;     int hang;     int lie; public:     Vector();     Vector(int m, int n);     Vector& operator=(const Vector& x);     T* operator[](in
C艹 C语言 技术 程序 e2hang •  2025-05-21

【C++】重载++符号完成时间计算

比较大的问题是time在标准库里也有,所以最好的解决方法是把time换成Time或者其他名称。C++是对于大小写敏感的,所以换成Time也可以

C艹 技术 程序 e2hang •  2025-05-06 • 最后回复来自 e2hang
1

【C++】重载++符号完成时间计算

#include <iostream> class time { private: int h; int min; public: time() { h = 0; min = 0; } time(int hour, int minute) { h = hour; min = minute; } time operator++() { min++; if (min >= 60) { h += min / 60; min %= 60; } r
C艹 技术 程序 e2hang •  2025-05-06 • 最后回复来自 e2hang
1
登 录
信息栏
欢迎来到滑稽社论坛!注册会员即可发帖!

你好啊