【Tranformer-GPT】使用注意力机制进行类GPT模型训练
一、相关原理
类GPT,把输入的token作为文章的开头,进行自回归输入,最终输出接下来的文本。相比Transformer(翻译),GPT只需要用到Decoder,相比之下比较好写。
二、具体效果
三、实现代码(仅展示部分重要模块)
class MultiHeadAttention(nn.Module): def __i【DCGAN】失败的对抗生成网络训练(上)
一、对抗生成网络(Generative Adversarial Network)
整个网络类似一个制作假币集团和警察的对抗,假币集团希望警察不能发现他们的假币,警察希望正确地甄别真币与假币。这里需要引入一些博弈论的知识:Minimax-极大极小博弈理论。
·极大极小平衡点(Minimax Equilibrium)
G(Ge
【Transformer】Attension is All You Need - 模型理解
1、训练:
对于Encoder,输入原语言的大量句子,对于每一个句子,首先进行每个token进行词义嵌入和位置嵌入(一般是三角函数,产生token个三角函数,每个三角函数带入位置值),两个叠加变成E,然后通过E*Wq, E*Wk, E*Wv,求得整个句子的Q, K, V。然后叠加到原本的E上面,修改C = LayerNorm(E + ΔE),其中ΔE = Attention(Q, K, V
【一些想法】有关人工智能的发展路径和对其未来的预测
人工智能的发展经历了符号主义、联结主义、行为主义到混合主义的演进过程。在这一过程中,研究人员提出了许多有趣的观点,其中部分已经成为成熟的训练方法被广泛应用。本文尝试对人工智能的发展路径做一番梳理,并提出个人看法。
人工智能大体可以分为三类:机器学习、深度学习和强化学习。机器学习主要依赖
【DQN】使用标准DQN(优化)进行CartPole游戏的经典强化学习训练
一、无经验回放
先放一个没有经验池(经验回放)的代码
【MLP + 噪声】使用MLP训练函数拟合-回归
一、无噪声简单回归:y = x^2 + 2x + 1
【CNN】使用CNN训练笔迹识别
【美图】月全食--血月
使用哈苏x2d + 1200长焦天文望远镜拍摄
下载地址:http://huajishe.fun:5212/#/s/xgue 密码:114514
【哲学篇】向死而生:“死去活来”的蜕变哲学
“死去活来”一词,通过"死"与"活"的极端对比,刻画人体或精神受剧烈刺激时的极端反应。然而若拨开修辞的迷雾,深究其字面真义,我们会得到一些有趣的观点。我们常把“死去活来”理解为一种极致的情绪,但它更深刻的本质,其实是一场“向死而生”的蜕变哲学。
这里的“死”,不是生命的终结,而是一场主动的“断舍离”。是果断告别那些已经不再适用的旧模式、拖累你的旧关系、禁锢你的旧观念,甚至是那个你早已习惯却并不满意的自己。这是一种象征性的“自我终结”,需
【信息系统】滑稽社信息系统查询
补充:由于技术问题,暂时无法为docker registry提供SSL证书,只能通过http协议进行信息传输。如果想从Docker Registry Pull一个Docker到本地,记得先在/etc/docker/daemon.json里面开放huajishe.fun:8888,docker.huajishe.fun仅供查询Docker使用,具体地址如下:
https://docker.huajishe.fun/v2/_catalog
【C++】小游戏——不要点到50次
点击下方链接即可下载!
地址:http://huajishe.fun:5212/#/s/vQS6
密码:114514
下载后解压并运行randomMouse.exe文件即可
【C++】第一个C++GUI程序
【第一个C++GUI程序】下面链接请用浏览器打开!
http://huajishe.fun:5212/#/s/DaUJ,(点击链接)密码:1234
下载体验!
使用方法:(Windows操作系统)
解压后,运行解压文件夹中的Liuying.exe即可
其他
【C++】简易的仿Vector类
【C++】重载++符号完成时间计算
比较大的问题是time在标准库里也有,所以最好的解决方法是把time换成Time或者其他名称。C++是对于大小写敏感的,所以换成Time也可以