http://www.cslt.org/mediawiki/index.php?action=history&feed=atom&title=%E6%95%99%E5%AD%A6%E5%8F%82%E8%80%83-28 2026-04-04T11:42:44Z 本wiki的该页面的版本历史 MediaWiki 1.23.3 http://www.cslt.org/mediawiki/index.php?title=%E6%95%99%E5%AD%A6%E5%8F%82%E8%80%83-28&diff=40729&oldid=prev 2023-09-25T09:31:35Z

<p></p> <table class='diff diff-contentalign-left'> <col class='diff-marker' /> <col class='diff-content' /> <col class='diff-marker' /> <col class='diff-content' /> <tr style='vertical-align: top;'> <td colspan='2' style="background-color: white; color:black; text-align: center;">←上一版本</td> <td colspan='2' style="background-color: white; color:black; text-align: center;">2023年9月25日 (一) 09:31的版本</td> </tr><tr><td colspan="2" class="diff-lineno">第5行：</td> <td colspan="2" class="diff-lineno">第5行：</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 理解超长距离语言模型所带来的强大能力</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 理解超长距离语言模型所带来的强大能力</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 理解机器写小说的基本原理</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 理解机器写小说的基本原理</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del style="font-weight: bold; text-decoration: none;"></del></div></td><td colspan="2">&#160;</td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del style="font-weight: bold; text-decoration: none;"></del></div></td><td colspan="2">&#160;</td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del style="font-weight: bold; text-decoration: none;"></del></div></td><td colspan="2">&#160;</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>==教学内容==</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>==教学内容==</div></td></tr> <tr><td colspan="2" class="diff-lineno">第16行：</td> <td colspan="2" class="diff-lineno">第13行：</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 可以将语言过程形式化为一个符号生成过程，只要确定了生成规则，就可以生成符合规则的句子。</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 可以将语言过程形式化为一个符号生成过程，只要确定了生成规则，就可以生成符合规则的句子。</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 一般来说，我们可以明确定义语法规则，但语义规则很难确定。因此，依靠规则写小说不太可行。</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 一般来说，我们可以明确定义语法规则，但语义规则很难确定。因此，依靠规则写小说不太可行。</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div><del style="font-weight: bold; text-decoration: none;"></del></div></td><td colspan="2">&#160;</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>===语言模型===</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>===语言模型===</div></td></tr> <tr><td colspan="2" class="diff-lineno">第30行：</td> <td colspan="2" class="diff-lineno">第26行：</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 所谓神经语言模型，就是把历史字串通过神经网络进行编码，再基于这一编码来对下一个词进行预测。这一编码方式与n-gram“数出现次数”的方式有很大不同，不同历史字串可以共享编码结构，因此可以实现非常长距离的上下文建模。</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* 所谓神经语言模型，就是把历史字串通过神经网络进行编码，再基于这一编码来对下一个词进行预测。这一编码方式与n-gram“数出现次数”的方式有很大不同，不同历史字串可以共享编码结构，因此可以实现非常长距离的上下文建模。</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* GPT-3是一个典型的大规模神经语言模型，采用Transformer结构。这一结构比传统RNN有更强的上下文建模能力，可以极大提高信息窗口的长度，看到遥远历史信息，使生成的词更合理，连贯。</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>* GPT-3是一个典型的大规模神经语言模型，采用Transformer结构。这一结构比传统RNN有更强的上下文建模能力，可以极大提高信息窗口的长度，看到遥远历史信息，使生成的词更合理，连贯。</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>*</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&#160;</div></td></tr> <tr><td colspan="2">&#160;</td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">===机器写小说===</ins></div></td></tr> <tr><td colspan="2">&#160;</td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&#160;</div></td></tr> <tr><td colspan="2">&#160;</td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>* <ins class="diffchange diffchange-inline">利用大规模语言模型，可以写小说。因为可以照顾到很长的历史，生成的故事前后一致性高，情节合理。</ins></div></td></tr> <tr><td colspan="2">&#160;</td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">* 给定一个场景，机器还可以按这个场景把故事编得更符合预期。</ins></div></td></tr> </table>

Cslt http://www.cslt.org/mediawiki/index.php?title=%E6%95%99%E5%AD%A6%E5%8F%82%E8%80%83-28&diff=40728&oldid=prev 2023-09-25T09:29:44Z

<p>以“==教学目标== * 了解人类语音的规则性 * 了解语言模型的基础概念 * 理解超长距离语言模型所带来的强大能力 * 理解机器写小...”为内容创建页面</p> <p><b>新页面</b></p><div>==教学目标==<br /> <br /> * 了解人类语音的规则性<br /> * 了解语言模型的基础概念<br /> * 理解超长距离语言模型所带来的强大能力<br /> * 理解机器写小说的基本原理<br /> <br /> <br /> <br /> <br /> ==教学内容==<br /> <br /> ===人类语言的规律性===<br /> <br /> * 人类的语言是一套非常高效的符号系统，符合语法和语义的约束。<br /> * 可以将语言过程形式化为一个符号生成过程，只要确定了生成规则，就可以生成符合规则的句子。<br /> * 一般来说，我们可以明确定义语法规则，但语义规则很难确定。因此，依靠规则写小说不太可行。<br /> <br /> <br /> ===语言模型===<br /> <br /> * 语言模型是非常重要概念。本质上，语言模型描述了语言单元之间的约束性，这一约束既包含语法约束， 也包括语义约束。<br /> * 形式上，即基于前序已经句子接后序某一单词的可能性，通常用概率来表示。<br /> * 传统N-gram语言模型采用统计方法，例如bigram P(饭|吃)代表当前面一个词是“吃”，后面一个词是“饭”的可能性。在实际操作中，统计语料中所有“吃”后能接的单词，再看这些单词中“饭”所出现的频率。<br /> * 这一统计模型的缺陷在于无法描述过长的历史，因为历史越长，在语料中出现的可能性越小，统计就失效了。<br /> <br /> ===大规模神经语言模型===<br /> <br /> * 近年来兴起的大规模神经语言模型是机器可以开始写小说的原因。<br /> * 所谓神经语言模型，就是把历史字串通过神经网络进行编码，再基于这一编码来对下一个词进行预测。这一编码方式与n-gram“数出现次数”的方式有很大不同，不同历史字串可以共享编码结构，因此可以实现非常长距离的上下文建模。<br /> * GPT-3是一个典型的大规模神经语言模型，采用Transformer结构。这一结构比传统RNN有更强的上下文建模能力，可以极大提高信息窗口的长度，看到遥远历史信息，使生成的词更合理，连贯。<br /> *</div>

Cslt