NLP学习笔记(8)

news/2025/2/26 7:23:20

这节课的内容看得太快而且有点难,所以这里只是做一下记录,并不详细,作为一个内容的索引,事后需要自己取搜论文了解细节

这是一个想改进tree LSTM的模型
在这里插入图片描述

有人用基于字符的模型,也有人用基于单词的模型,还有人用两者混合模型。基于字符的模型总的来说效果没有基于单词好而且比较慢。基于字符的模型有很多理论,很多方法。有基于字母三元组的模型,有基于字符的LSTM,也有对字符进行字节编码的模型等等。基于字符还是基于单词是一个非常复杂的问题,各有利弊,基于字符总的来说会让你的算法能够更全面地考虑NLP问题,但是总的来说会比较慢而且性能不好,但是基于单词就存在很多问题比如一些没有单词间隔的语言,或者没有单词这个概念的语言(中文),或是训练中没有见过的单词,或是人名等等(有一些基于单词的方法考虑用复制的方法来解决这些问题)。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最下面是一个对字符的LSTM,当你遇到词汇表里面没有的单词时就先用这个来生成这个单词的embedding,最上面也是对字符的LSTM,当你生成一个<unk>标记时,把隐状态送进这个LSTM来产生一个单词
在这里插入图片描述


http://www.niftyadmin.cn/n/3658042.html

相关文章

进程编程1 – Unix环境高级编程7章读书笔记

Process Environment1 Process Termination进程的终止有些下面的方法&#xff1a;1. 从main函数return2. 调用exit&#xff1a;exit属于ISO C标准中定义的函数&#xff0c;会执行清理工作。包括关闭IO库中所有打开的文件流&#xff08;这会导致所有的文件buffer都被flu…

NLP学习笔记(7)

QA系统 希望一个QA系统能同时完成&#xff1a;回答问题、语义分析、词性标注三个任务有两个难点&#xff0c;一个是在这三个任务上各自表现效果好的模型不同&#xff0c;也就是说没有一个模型能同时很好地完成者三个任务&#xff1b;第二个是&#xff0c;在NLP中并没有发现在一…

WPF/E简介

WPF/E是微软下一代Web平台的核心技术&#xff0c;跨平台&#xff08;支持Windows和Mac&#xff09;&#xff0c;可以在多种浏览器中运行&#xff0c;会自动下载一个很小只有数M的客户端来运行WPF/E代码&#xff1a;WPF/E简介&#xff1a;http://msdn2.microsoft.com/en-us/libr…

NLP学习笔记(9)

目前深度学习的NLP存在一些局限性&#xff0c;比如通过自监督学习学得一个很好的模型真正理解语言的奥义&#xff08;需要大量的标注信息&#xff09; 第一个难题就是没有一个模型可以在所有的任务上取得好效果&#xff0c;之前提到的dynamic memory network就是为了来解决 这…

进程编程2 – Unix环境高级编程8章读书笔记

Process Control1 Process Identifiers1. PID0一般是调度进程&#xff0c;又称为swapper2. PID1一般是init进程&#xff0c;在引导过程之后启动&#xff0c;负责启动整个UNIX系统&#xff0c;所有Orphaned子进程都会自动成为init的子进程3. PID2一般是页面守护进程…

数电学习笔记(3)——MOS管

mos管 以N沟道增强型为例&#xff0c;mos管由几部分构成——P型衬底B&#xff1b;在P型衬底上制作的两个N型区&#xff0c;这个两个N型区通过导线引出到SiO2绝缘层的表面形成两个电极——源极S和漏极D&#xff1b;衬底上的二氧化硅绝缘层&#xff1b;二氧化硅绝缘层上的栅极G&a…

数电学习笔记(4)——CMOS电路

为了减小CMOS反相器的传输延时&#xff08;因为有寄生电容导致输出变化和输入变化之间有延时&#xff09;&#xff0c;需要减小电容和内阻&#xff0c;相应的需要通过提高电源电压和输入信号的高电平来实现 交流噪声的持续时间越小&#xff0c;容限越高&#xff1b;电源电压越高…

数电学习笔记(5)——三极管和TTL门电路

三极管的输入特性曲线&#xff0c;用虚线来近似&#xff0c;VONV_{ON}VON​为0.5-0.7V&#xff08;硅管&#xff09;或0.2-0.3V&#xff08;锗管&#xff09; 输出特性曲线&#xff1a; 明显分为3个区——放大区、截止区、饱和区&#xff1a; 放大区电流不受vCEv_{CE}vCE​影响…