Tag: AI

引言 大型语言模型（Large Language Models，LLMs）在自然语言处理领域起着重要作用，能够生成人类语言的连续文本，为我们提供强大的语言处理能力。然而，LLMs在推理过程中面临一个重要问题，即幻觉（Hallucination）问题。幻觉指的是模型生成看似合理但实际上不准确的信息，这可能导致误导性的结果和信息的传播。 为了更好地理解和解决LLMs中的幻觉问题，研究者们进行了大量的研究工作。其中一篇关于幻觉问题的研究论文是《S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs》。这篇论文提出了一种名为Skippy Simultaneous Speculative Decoding（简称S3D）的自推测解码方案，旨在解决在低内存GPU上进行LLM推理时的性能和内存限制问题。 S3D方案解决的问题 S3D方案的目标是解决在低内存GPU上进行LLM推理时的性能和内存限制问题。传统的推测解码方法在高端设备上实现了显著的加速，但在低内存设备上却存在性能下降的问题。此外，量化带来的内存开销也限制了LLMs在低内存GPU上的应用。因此，S3D方案旨在提供一种成本效益高、适用于低内存GPU的自推测解码方法。 相关研究 在幻觉问题的研究领域，已经有许多相关研究取得了重要进展。其中，早期的推测解码方法、多标记预测、雅可比迭代方法、层跳过技术以及其他SD系统等都与S3D方案有一定的关联。 S3D方案的关键内容 S3D方案提出了Skippy Simultaneous Speculative Decoding（S3D）方法，通过同时多标记预测和中层跳过的方式实现自推测解码。S3D方法不需要额外的显存成本，同时具备高训练效率。与其他SD系统相比，S3D方法在性能-内存比率方面表现出色，且无需进行大规模的架构调整和训练数据的修改。 实验验证 论文中进行了一系列实验来验证S3D方案的性能。实验结果表明，S3D在性能-内存比率方面表现出色，相较于其他开源SD系统，具有更好的性能。此外，论文还进行了成本效益和速度的比较实验，验证了S3D方案的有效性和实用性。 进一步的研究方向 [...]

根据马来西亚政府的宣布，美国科技巨头谷歌计划在马来西亚投资20亿美元，建设谷歌在该国的首个数据中心和谷歌云区域，同时推进人工智能领域的发展。这一投资使谷歌成为东南亚地区最新一家注入资金以寻求增长机会的科技巨头[1]。 以下是有关这一投资的详细信息： 此外，谷歌的母公司Alphabet及谷歌的总裁兼首席投资官波拉特表示，这是谷歌在马来西亚运营13年来数额最大的投资计划，也是首次在该国设立数据中心和谷歌云区域[1]。 这项投资计划进一步证明了马来西亚政府的明确规划、国家的经济实力和资源，成功吸引了现有和新的投资者，有助于加速马来西亚的数码转型议程[1]。 Learn more: [...]

作者：常嘉帅 近年来，软件公司的业绩一直是推动其股价飙升的主要动力。然而，最新的财报季显示，这一局面正在发生改变。AI投资的激增，导致企业在传统软件上的支出减少，使得曾经的科技明星公司如Salesforce等面临增长放缓的严峻挑战。 Salesforce的困境：20年来最惨跌幅 周四，Salesforce的股价暴跌了约20%，创下近20年来的最大单日跌幅，这不仅拖累了整个软件板块，也使得美股软件板块整体重挫5%，创下两年来最大单日跌幅。Salesforce的全年业绩指引略微下调，同时其四季度财报在营收、利润率等方面均未能达到华尔街的预期。 根据财报，Salesforce上季的营收仅增长10.7%，创下历史新低。更为糟糕的是，其订单同比涨幅仅有3%，同样刷新了历史最差水平。Salesforce高管承认，重大交易越来越难以敲定，且交易规模普遍缩小，总合同价值指标也罕见地低于两位数增幅。 这一困境并非Salesforce独有。十家最大的软件公司中，有八家公司在发布最新业绩后股价应声下跌，跌幅平均达9%。隔夜iShares软件ETF（IGV）暴跌近6%。 AI投资分流资本支出：软件公司面临双重挑战 分析人士指出，AI热潮对软件公司有两方面的影响。一方面，鉴于AI被视为未来科技发展的终极力量，软件公司不得不在转型之路上加大投入，以免落伍，这无疑影响了营销等其他领域的资本支出；另一方面，软件公司的客户们也在大力投资于AI，导致对传统软件的投资减少。 例如，Workday上季的订单数据逊色，全年订阅收入预期也出现下调，股价遭遇八年来最惨重挫。其CEO坦言，客户正在压缩续约时的员工使用授权数量，削减采购规模。而Snowflake则因大笔投入AI导致利润率预期大幅下调，遭投资者抛售。 如何应对AI浪潮的冲击？ 尽管当前的财报季表现疲软，部分科技巨头已经尝到了AI转型的甜头。以微软为例，依靠其ChatGPT等生成式AI服务，公司目前的营收增速已超过Salesforce等老牌竞争对手。 投行奥本海默分析师Brian Schwartz认为，Salesforce等软件公司本季度成绩“令人失望”，疲软表现可能意味着AI支出抢走了其他方向的投资，并且拖累了这些公司的招聘步伐。德意志银行分析师Brad Zelnick指出，虽然多头可能会觉得这只是一个季度的表现，但他认为，糟糕的财报已经让软件公司的AI应用道路及其最终货币化前景蒙上重重疑问。 尽管如此，包括Salesforce在内的软件公司并未坐以待毙，正在纷纷加大对AI的投入，谋求在这场升级换代浪潮中取得突破，为客户提供更加智能和高效的软件产品。然而，要证明人工智能真能为它们带来丰厚回报，以抵消当前增长乏力的影响，仍需要一个漫长的过程。 参考文献 [...]