思维链 — 展现解题过程的重要性

by

最近的大模型训练进展表明，正如人们学习数学的时候，解题思路很重要一样，大模型也可以通过生成解体思路来教会小模型很多。 思维链（CoT）训练大幅提升模型性能 (jieyibu.net)

AIGC导致内容生产大爆发的后果

by

AIGC降低了内容生产的难度，很多人利用AIGC可以做到以前做不到的事情，例如一个不会画画的人，可以快速画出精美的照片级别的美图。 而对于国内的自媒体来说，洗稿变得特别容易。 AIGC的快速普及，将导致内容的生产者出现劣币驱逐良币的过程。 由于洗澡容易而图片又很难卖钱，大量的自媒体更加肆无忌惮的抄袭原创作者。结果就是谁写原创内容，谁就吃亏。 那么长此以往，除了少数纯非盈利的且不在乎被洗稿抄袭的作者以外，大部分都不再会认真创作有价值的内容。 从而完成AIGC驱动下的内容创作者的劣币驱逐良币。 由于内容质量的快速降低，且垃圾内容越来越多，最终传导到用户侧的结果就是，人们逐渐减少对垃圾内容的消费。 最终就是自媒体大批量的死亡。 在这个过程中，一批卖自媒体创作工具服务的可以赚到钱，广告平台可以赚到钱。但是以为有了AIGC加持，就可以赚到大钱的自媒体们，恐怕要失望了。 问题的本质是，自媒体的第一性原理是信息中介。而中介的作用在于把信息转化成受众容易理解和接受的模态，从而促进信息的传播。 但是AI的核心作用其实是促进信息的直达。 人人都可以有一个AI助手在身旁的时代，谁会漫无目的的看自媒体的二手三手四手的洗稿文呢？

chatGPT对软件技术栈的冲击将逐渐显现

by

软件研发的技术栈是逐步迭代形成的，其第一性原理是：通过技术栈对系统的复杂性就行分层控制。 由此可知，如果系统复杂性由于chatGPT类AI的介入，导致原来控制不了的，现在非常好控制的话，那么一些原来看起来简单的技术栈又会复兴。 以网站前端研发为例子，从最早的纯HTML到jQuery在到react/vuejs等，逐步复杂，其学习成本和难度也逐渐增加，但是对于越来越复杂的网站来说这是必要的。因为重写一个页面的成本太高了。 以网站后端研发为例子，从最早的perl到PHP再到Java微服务，无不是为了控制复杂的逻辑，将复杂度逐层逐块分解，放在不同的系统里控制起来，以便促进系统的平稳演化。 但是，现在chatGPT来了，如果一个prompt就可以写好一个PHP页面的话，谁还在乎每隔几周让AI重写一遍？ chatGPT等AI对软件研发的最大冲击根源是，复用的标的物从source code变成了prompt。这是很容易被忽略了，现在说似乎太早，但是，等到GPT-5/6发布的时候，一切就会非常明朗了！

Prompt Engineering的现在和未来

by

Prompt Engineering是现阶段AGI还不够智能的一个阶段性产物，但是很难判断这个阶段有多长。 如果在相当长的一段时间内，AGI的上下文能力都在100万Token以内的话，Prompt Engineering将长期存在并非常重要。 如果AGI的上下文能力达到10亿Token规模（和人类相当）那么就不再需要什么Prompt Engineering，取代Prompt Engineering将是纯粹的自然语言表达。

中文对话AI的关键障碍

by

近年来，随着OpenAI推出的chatGPT的火爆，越来越多的中国互联网巨头纷纷加入通用对话大语言模型（GPT）的研发领域。然而，对于这些大型模型，许多非业内人士可能并不了解其中的技术细节。实际上，这些模型的代码量并不大，结构的复杂也不过是很多层类似的Transformer不断重复而已。尽管训练大型模型的难度较大，但这并非无法克服的挑战。 真正的难题在于高质量语料的匮乏。中文互联网自从强制备案以来，逐渐枯萎，严格的审查制度使得中文表达的有效性降低，进一步导致语言的小圈子化。此外，各大互联网巨头主推App，纷纷筑起了信息高墙，使得搜索引擎爬取信息变得极为困难，甚至不可能，进而加剧了信息孤岛化现象。 在这种背景下，自媒体、营销号等无底线的抄袭和洗稿行为进一步破坏了创作者生态，使得优质长内容在中文互联网上几乎绝迹。目前，多学科、多专业的严肃长内容中文网站寥寥无几，知乎或许是其中的佼佼者。在这样的生态环境中，一切向钱看，各类文字创作如小说、故事、软文，往往成为割韭菜的盛宴。 面对如此严峻的现状，我们不禁要问：如何获取足够多的优质语料来训练中文大语言模型呢？巧妇难为无米之炊，这句古老的谚语似乎反映了当前的困境。最终，人们可能只能依赖将英文语料翻译成中文再进行模型训练的方法，但这样做究竟意义何在？难道仅仅是为了增加一个步骤吗？ 事实上，大型语言模型本来就具有跨语言理解语义的能力，但翻译过程中往往会带来语义损失。一种语言文字的生命力，实际上源于其承载的文化，尤其是科技文化。随着GPT-4等大语言模型的加持，英语的主导地位将得到空前的加强，甚至有朝一日成为全球唯一的活语言，而其他语种将快速走向式微。 这种情况和微软的dotnet平台上的C#语言与其他语言的演化过程颇为类似。 以下省略200字。

百度文心一言

by

目前百度文心一言还没有对公众开放，不过，百姓网有一个 阿旺机器人 已经正式对公众开放，且开始销售会员。一年999元。有点贵。 期待文心一言的API对公众开放！