Reblog via Libgen中文新书速递 《文化和自然遗产：批判性思路》作者：罗德尼·哈里森（Rodney Harrison）上海古籍出版社 2021下載：https://libgen.is/book/index.php?md5=ACD7209D9FE6E3D426E21D2D0E1B459F 《立地坡.上店耀州窑址》作者：耀州窑博物馆等三秦出版社 2004下載：https://libgen.is/book/index.php?md5=211C857571CF99CC2F26890DDCECD811 [...]
随着计算技术的不断进步，现代计算机尤其是高性能计算机对内存的需求越来越高。特别是在处理高分辨率视频渲染、科学计算等复杂任务时，对内存容量和频率的要求显得尤为重要。本文将结合Adobe官网的内存建议，探讨多核处理器对内存的需求，以及如何通过选择适当的内存配置来提升整体性能。 多核同时渲染：内存需求的公式 在现代计算中，利用多核处理器进行并行计算已成为常态。Adobe的多核渲染技术能够同时处理多帧，从而显著提高处理速度。然而，这种多核处理方式对内存容量提出了更高的要求。根据Adobe提供的公式： 通过这一公式，我们可以更准确地为不同核心数的处理器配置适当的内存。例如，以Intel i7-12700KF为例，这款处理器拥有8个性能核心（P core）和4个能效核心（E core），共计12核20线程。按照上述公式计算，其最低内存需求为： 高性能处理器与内存配置 对于像i7/i9这样的高端处理器，建议搭配32GB以上的内存以充分发挥其性能。这在处理4K/8K分辨率的视频渲染时尤为重要。如今，大多数视频文件已经升级到4K+分辨率，对于4K RAW视频文件的剪辑，32GB内存已经远远不够用。 内存频率与CPU性能的关联 内存频率与CPU性能高度相关，尤其在进行科学计算如仿真等对计算速度要求极高的任务时，内存频率显得尤为重要。在这些场景下，降频扩容的方式几乎没有提升效果，反而可能导致性能瓶颈。 例如，选择高频率内存条而不是仅仅扩充内存容量，可以显著提升性能。最近市场上推出的24GB×2的新方案，其频率普遍在5600MHz以上，甚至有6400/6800/7200MHz的高频率内存条，这样的配置不仅实现了大容量和高频率的需求，还解决了散热问题。 结论 在现代高性能计算中，内存的容量和频率对整体性能有着至关重要的影响。通过合理配置内存，尤其是选择高频率、大容量的内存条，可以显著提升计算效率，满足复杂任务的需求。为你的高端处理器选择适合的内存配置，将使你的工作流更加高效，从而达到最佳的生产力水平。 [...]
在最新的 DeepSeek-V2 语言模型中，多头潜在注意力机制 (Multi-head Latent Attention, MLA) 作为一种创新架构，被设计用来保证高效的推理过程。本文将详细介绍 MLA 的关键特性及其在 DeepSeek-V2 中的应用和优势。 高效的推理过程 MLA 通过将 Key-Value (KV) 缓存压缩到一个潜在向量中，显著减少了推理过程中所需的内存和计算资源。这种压缩大大降低了内存占用和计算需求，从而实现更快、更高效的处理 [1]。 Key-Value (KV) 缓存压缩 在注意力机制中，KV 缓存是一个重要组件，负责存储输入序列中不同 token 之间的关系信息。MLA 将这个缓存压缩成一个潜在向量，显著减小其大小和内存占用 [1]。 稀疏计算 MLA [...]
引言 随着互联网的不断发展，去中心化的社交网络逐渐成为热点话题。ActivityPub 正是在这种背景下应运而生的，它是一种去中心化的社交网络协议，基于 ActivityStreams 2.0 数据格式。本文将详细介绍 ActivityPub 的工作原理及其实现方式。 什么是 ActivityPub？ ActivityPub 是一种去中心化的社交网络协议，旨在通过客户端到服务器和服务器到服务器的 API 实现内容的创建、更新和删除，以及通知和内容的分发。它的主要目标是让去中心化的网站能够共享信息，并让用户通过各种客户端与自己的账户进行互动。 ActivityPub 的两层协议 服务器到服务器的联邦协议 这种联邦协议使得不同的去中心化网站能够共享信息。例如，当一个用户在一个服务器上发布内容时，其他服务器上的用户也能够看到并互动。 客户端到服务器的协议 这种协议允许用户（包括真实用户、机器人和其他自动化进程）通过各种客户端（如手机、桌面应用或 Web 应用）与他们在服务器上的账户进行通信。 用户和演员 在 ActivityPub 中，用户通过服务器上的账户表示为“演员”。每个演员都有一个收件箱和一个发件箱，用于接收和发送消息。这些都是通过 URL 进行标识的。 示例 如何发送和接收消息？ [...]
近日，27岁的天才创始人Joel Hellermark与“AI教父”Geoffery Hinton进行了一次深度对话。Hinton在采访中回忆了自己的人工智能生涯，讨论了神经网络、Scaling Law、多模态学习、模拟计算和人工智能伦理安全等多个话题，并且聊到了他的得意门生Ilya Sutskever（前段时间离职的OpenAI首席科学家）。 神秘人物：Geoffery Hinton 受访者Hinton是人工智能领域的传奇人物，而采访者Joel Hellermark也颇有背景。他自幼在东京长大，13岁开始编码，14岁创立了一家视频推荐公司。19岁时，他创办了人工智能研究实验室Sana，并在2023年成功筹集了8000万美元的融资。Hellermark坚信学习的力量，因此他没有选择上大学，而是通过斯坦福公开课程自学编程，创办Sana的目标就是“改变教育”。 从研究大脑到编程 开始编程的故事 Hellermark：你是怎么开始编程的？ Hinton：我从英国刚到卡内基梅隆大学的时候。1982年，我前往卡内基梅隆大学担任计算机科学系教授，直至1987年。在英国的研究单位时，每晚六点钟大家都会去酒吧喝一杯。但到了卡内基梅隆几周后，我还没交到多少朋友。所以在某个周六晚上，我决定去实验室编写一些程序，因为实验室里有一台Lisp机器，家里没有。 剑桥时期的回忆 Hellermark：能不能把我们带回剑桥时期，试图理解人脑的经历？ Hinton：非常令人失望。我为了研究大脑，先是去学习生理学，但实际上他们只教了我们神经元如何传导动作电位……这非常有趣，但不是大脑工作的原理。于是我又转向了哲学，因为我以为他们会告诉我心灵是如何运作的，结果也是非常令人失望。最终，我选择到爱丁堡学习人工智能。 影响深远的书籍和导师 关键的启发 Hellermark：你还记得是什么激起了你对人工智能的兴趣吗？ Hinton：是唐纳德·赫布（Donald Hebb）的一本书，里面介绍了如何学习神经网络中的连接强度。早期我还读过约翰·冯·诺伊曼（John von Neumann）的一本书，书里介绍了大脑的计算方式以及大脑计算与普通计算机的区别。 导师和合作伙伴 Hellermark：你还记得以前经历过的合作吗？ Hinton：我在卡内基梅隆大学时曾与泰伦斯·塞诺夫斯基（Terry Sinofsky）有过许多交流，我们共同研究玻尔兹曼机。还有彼得·布朗（Peter Brown），他是一位非常优秀的统计学家，在IBM从事语音识别工作。他启发我采用“隐藏层”这一概念来描述神经网络中的中间层。 凭直觉思考的天才：Ilya Sutskever [...]
前言:最近,27岁的天才创业家Joel Hellermark与人工智能教父Geoffery Hinton进行了一次深入采访。Hinton在对话中回顾了自己的人工智能研究历程,并就神经网络、算力扩展、多模态学习、模拟计算等前沿话题进行了分享。他还谈及了自己的得意门生Ilya Sutskever在人工智能领域的杰出表现。 正文:一、从研究大脑到投身人工智能Hinton从英国来到美国卡内基梅隆大学后,凭借对大脑工作原理的好奇,开始投身人工智能领域的研究。他先后接触过唐纳德·赫布和约翰·冯·诺依曼的著作,深受启发。Hinton认为大脑的学习方式必然与传统的逻辑推理不同,因此必须探寻神经网络中连接权重调整的奥秘。 二、与合作伙伴的心灵相通Hinton回忆与泰伦斯·塞诺夫斯基、彼得·布朗等人的合作经历,他们一起探索了玻尔兹曼机等前沿技术,产生了许多有趣的研究成果。Hinton认为,与聪明的学生合作交流是最令人兴奋的,因为他们往往能提出突破性的想法。 三、Ilya Sutskever:凭直觉思考的天才Hinton特别提到了自己的得意门生Ilya Sutskever。Sutskever对人工智能充满热情,在反向传播算法上提出了独到见解。Hinton认为,Sutskever的直觉非常敏锐,常能发现问题的本质。在两人的合作中,Sutskever总能提出启发式的想法,推动研究不断前进。 四、数据规模与计算能力推动进步Hinton承认,早期他和团队曾低估了数据规模和计算能力的重要性。Ilya Sutskever很早就认识到,扩大模型规模是提升性能的关键。事实也证明,即使没有特殊设计,仅靠海量数据和计算能力,人工智能模型也能展现出推理能力。 五、多模态学习与创造力提升Hinton认为,多模态输入(如图像、视频、音频等)可以丰富模型对世界的理解,提升其创造力。因为这种学习方式更贴近人类的感知方式。他设想,未来的人工智能系统将能够从多角度理解同一事物,从而产生与人类不同的创新。 结语:Hinton的故事生动诠释了人工智能的发展轨迹,以及从单一算法到海量数据驱动的转变。他的经历也启示我们,保持好奇心和开放心态,不断探索,才是推动科技进步的关键所在。当下,人工智能正在重塑人类社会的方方面面,我们应该以积极、理性的态度拥抱这个时代的机遇与挑战。 [...]
在过去的几年里，中国的互联网大厂们一直是无数求职者心中的梦想之地。这些公司不仅提供高薪和优厚的福利，还承诺职业生涯的飞速发展。然而，随着时间的推移，这些光鲜亮丽的外表下开始显露出一些令人不安的问题。今天，我们来探讨一下互联网大厂的职场现状以及它给员工的生活带来的影响。 首先，让我们来看一下所谓的“996”工作制。这是一个指代从早上9点工作到晚上9点，每周工作6天的加班文化。虽然这种工作制度可以迅速推动项目进度，但它对员工的健康和私人生活造成了极大的压力。有员工表示，长时间的高强度工作让他们感到身心疲惫，甚至出现了严重的健康问题。例如，有报道称，一些员工因为长时间熬夜加班而需要靠吃药和打点滴来维持。 此外，互联网公司内部的竞争非常激烈。为了在公司中脱颖而出，员工不得不不断地推动自己的极限。一些公司甚至发明了“拼搏投入度”这样的新词，来评估员工的工作表现。在这种高压环境下，员工常常感到巨大的心理压力。 更加令人担忧的是，一些公司在处理裁员和员工监管方面采取了极端措施。例如，有报道指出，某些公司在裁员前会严格检查员工的考勤和工作量，甚至要求员工上交手机进行检查，以确定他们是否在网络上发表了不利于公司的言论。这种做法不仅侵犯了员工的个人隐私，也增加了工作场所的不信任气氛。 尽管面临这些挑战，许多员工仍然选择留在这些大公司工作，原因是这些公司能够提供无法抗拒的薪酬和职业发展机会。然而，随着经济环境的变化和技术的发展，一些曾经稳定的职位开始受到威胁。例如，人工智能的发展使得一些曾经由人类完成的技术工作可以由机器人来完成，这直接影响了程序员等技术人员的职业稳定性。 在这样一个快速变化的环境中，员工需要重新考虑他们的职业路径。与其完全依赖于一个可能随时都会改变的外部系统，不如建立起自己的技能和能力，以应对未来可能出现的任何挑战。是否依附于大平台或是寻求更灵活的工作方式，这是每个职场人都需要思考的问题。 虽然互联网大厂提供了许多吸引人的机会，但这些机会也伴随着不小的风险和挑战。职场人必须意识到，没有一份工作是永远安全的，只有不断提升自己的能力，才能在不断变化的世界中立于不败之地。 [...]
在当前的人工智能研究领域，将大型语言模型（LLMs）的能力应用于解决复杂的强化学习问题是一个前沿且具有挑战性的课题。大型语言模型，如GPT系列、BERT等，已经在自然语言处理领域证明了其强大的信息处理和生成能力。这些模型通过在大规模数据上的预训练，能够捕捉到丰富的语言结构和知识。然而，当这些模型被直接应用于传统的强化学习任务时，如OpenAI Gym中的控制任务或Atari游戏，它们面临着一系列新的挑战和问题。 大模型在强化学习中的应用挑战 尽管LLMs在语言理解和生成方面表现出色，但它们在直接处理强化学习任务时往往表现出不确定性。这主要是因为强化学习的环境具有高度的动态性和不确定性，这与LLMs通常处理的更为静态的语言数据存在本质区别。在强化学习中，智能体需要根据与环境的交互不断调整其行为策略，这要求模型具备高度的适应性和决策能力。 此外，虽然LLMs能够通过精细的提示工程（prompt engineering）来引导模型完成特定的任务，但这种方法依赖于大量的手工调整和试验，且其成功往往受限于模型对提示的敏感性和解释能力。这种方法的效率低下且可扩展性有限，难以适应快速变化的强化学习环境。 知识编辑技术的潜力 为了克服这些挑战，研究人员开始探索知识编辑技术，即通过修改模型的内部知识表示来直接提高LLMs在特定任务上的性能。这种方法的核心思想是在不重新训练整个模型的前提下，通过精确的修改来增强模型的任务相关能力。 实践中的实现 实现知识编辑技术需要对LLMs的内部工作机制有深入的理解。例如，研究人员需要确定哪些部分的模型是存储和处理特定类型知识的，以及如何通过技术手段进行精确的修改。此外，还需要开发有效的算法来自动化这一过程，减少人工干预，并确保编辑操作不会破坏模型在其他任务上的性能。 最终，通过知识编辑技术，我们可以朝着创建更加智能和适应性强的语言模型迈进，这些模型不仅能够处理复杂的语言任务，还能有效地解决强化学习中的序列决策问题。这将大大扩展LLMs的应用范围，使其在游戏、机器人控制以及其他需要复杂决策的领域中发挥更大的作用。 在当今的人工智能研究领域中，如何有效地更新和优化大型语言模型（LLMs）已成为一个重要议题。下面我们将探讨四种主要的技术路线：参数高效的微调（PET）、知识增强（knowledge augmentation）、持续学习（continual learning）、以及机器遗忘（machine unlearning），这些技术路线在提升模型性能及其应用的可适应性方面起着关键作用。 参数高效的微调（PET） 参数高效的微调旨在通过只调整模型极小部分的参数来提升模型在特定任务上的表现，从而减少计算资源的消耗。这一技术的实现方式主要有三种：基于加法的方法、基于规范的方法和基于重参数化的方法。 知识增强 知识增强主要是针对LLMs在处理未知问题（如分布外或垂直细分领域问题）时的不足。检索增强生成（RAG）是一种流行的知识增强方法，它通过结合检索到的相关信息来增强模型的输出。RAG的核心思想是在模型的输入、中间层或输出端集成外部检索到的知识，从而提升模型的准确性和全面性。 持续学习 持续学习是指模型在学习新任务的同时，能够保持对旧任务的记忆。这一领域的研究主要集中在如何平衡模型的稳定性和可塑性，以及如何设计能够适应任务间和任务内分布变化的学习系统。持续学习的方法可以分为基于正则化、基于回放、基于表示、基于优化和基于架构的方法，每种方法都试图以不同的方式来缓解灾难性遗忘的问题。 机器遗忘 机器遗忘涉及到从模型中删除特定信息的需求，这通常是由于法律法规如GDPR或CCPA的要求。有效的机器遗忘方法需要能够在不重新训练整个模型的情况下，迅速准确地从模型中移除特定数据的影响。这一领域的方法通常分为两类：数据重组和模型操作。 这些技术路线各有其独特的优势和挑战。在实际应用中，通常需要根据具体需求和场景来选择合适的技术组合，以达到最佳的性能和效率。通过不断的研究和实验，这些技术有望为未来的人工智能发展提供更多可能性和灵活性。 知识编辑：弥补LLMs的不足 为了提高LLMs的准确性和适应性，研究者们开发了“知识编辑”技术。知识编辑的目的是在不重新训练整个模型的情况下，快速准确地修改模型中的特定知识。这种技术包括三个基本操作：知识插入、知识修改和知识擦除。 知识编辑的实现方法 知识编辑的实现通常分为三个阶段：识别、关联和掌握阶段。 每个阶段都有其特定的方法和技术挑战，例如在掌握阶段，如何避免模型在经过编辑后发生灾难性遗忘（catastrophic forgetting）是一个关键问题。此外，知识编辑的过程需要考虑到编辑的精确性和避免对模型其他功能的干扰。 [...]
在工业自动化的世界里，通讯协议就像是语言，让机器之间能够互相理解和协作。随着技术的进步，我们见证了从Modbus到ProfiNET的转变，这不仅仅是技术的升级，更是对工业自动化需求的深刻理解。 一、Modbus：简单而经典的选择 Modbus，这个诞生于1979年的通讯协议，以其简单易用的特性，成为了工业自动化领域的宠儿。它支持RS-232、RS-485和以太网等多种通信方式，让设备之间的数据交换和远程控制变得轻而易举。然而，随着工业自动化的发展，Modbus在数据传输速度、安全性和扩展性方面的局限性也逐渐显现。 二、ProfiNET：现代工业的新宠 为了应对这些挑战，ProfiNET应运而生。作为PROFIBUS用户组织推出的工业以太网标准，ProfiNET基于以太网技术，提供了高速、实时的数据传输能力。它不仅支持实时以太网、运动控制和分布式自动化等多种通信机制，而且在数据传输速率、安全性和扩展性方面都有着显著的优势。 三、优缺点的对比与应用场景 Modbus的优点在于其简单性、成本效益和兼容性，使其成为小型或成本敏感项目的理想选择。然而，它的速度限制、安全性不足和扩展性有限也成为制约其发展的瓶颈。 ProfiNET的优点则在于其高速传输、安全性和扩展性，使其成为大型工业自动化项目的首选。尽管初期投资可能较高，且协议相对复杂，需要专业知识进行配置，但其带来的长期效益是显而易见的。 四、实际场景下的转变 让我们通过一个制造工厂的例子来具体看看这种转变。假设这个工厂最初使用的是基于Modbus的控制系统。随着生产规模的扩大和自动化需求的提高，原有的Modbus系统已无法满足需求。为了解决这些问题，工厂决定升级到ProfiNET系统。 在升级过程中，工厂需要将现有的Modbus设备通过网关或适配器转换为ProfiNET兼容设备。例如，原本通过Modbus与传感器和执行器通信的PLC，现在通过安装ProfiNET适配器，能够以更高的速度和更强的安全性与这些设备通信。同时，工厂还部署了ProfiNET交换机来构建一个高速、可靠的网络基础设施。 通过这种转换，工厂不仅提高了生产效率，还增强了系统的安全性和未来的可扩展性。这正是从Modbus到ProfiNET转变的生动写照，也是工业通讯进化的必然趋势。 结语 随着工业4.0的推进，我们有理由相信，ProfiNET将会在工业通讯领域扮演越来越重要的角色。而对于Modbus，它仍然是许多小型或成本敏感项目的理想选择。技术的演进不是一蹴而就的，它需要我们不断地探索和适应。让我们拭目以待，工业通讯的明天将会更加精彩。 在Java领域，存在一些开源项目和库，它们旨在提供与工业通信协议如ProfiNET的兼容性或实现相关的功能。以下是一些可能与ProfiNET相关的Java开源项目： 由于ProfiNET是一个专有的工业通信协议，没有开源的Java实现。但是，通过使用上述项目或库，开发者可以构建与ProfiNET设备通信的Java应用程序。此外，由于工业通信协议的复杂性和专有性，建议在实际应用中与协议的官方提供者或授权供应商合作，以确保兼容性和安全性。 OPC UA（Open Platform Communications Unified Architecture）是一个独立于平台和语言的工业通信标准，由OPC基金会（OPC Foundation）开发和维护。OPC UA旨在解决传统OPC技术中的一些限制，并提供一种统一的、跨平台的通信方式，以支持工业自动化和物联网（IoT）环境中的设备和系统之间的互操作性。 OPC UA 的主要特点： OPC UA 的应用场景： [...]
在当前的工业自动化和智能制造领域，通信技术的进步不仅优化了生产效率，还显著提升了操作的安全性和系统的可扩展性。今天，我们将探讨为何将传统的Modbus通信协议转换为更现代的ProfiNET协议，以及这一转变对工业实践的深远影响。 Modbus与ProfiNET的基本概念 Modbus 是一种应用层协议，广泛应用于工业环境中，以实现设备间的数据通信。它支持多种通信方式，如RS-232、RS-485和以太网等。Modbus的设计简单易用，使其成为小型系统中的首选协议。然而，它的数据传输速度和安全性较低，难以满足更大规模和更复杂系统的需求。 ProfiNET 则是基于以太网的工业通信技术，由PROFIBUS用户组织推出。这一标准不仅保证了高速的数据传输能力，还支持实时通信，适应了大规模和复杂网络的需求。ProfiNET在安全性和扩展性方面都有显著优势，能够支持现代工业自动化的高要求。 为何从Modbus转向ProfiNET 实际应用案例 设想一个初始使用Modbus协议的制造工厂，随着生产规模的扩大和技术的进步，原有系统已无法满足工厂的运营需求。工厂决定升级其生产线控制器为ProfiNET。在这一过程中，通过安装适配器将原有的Modbus设备转换为支持ProfiNET的设备，工厂的PLC（可编程逻辑控制器）能够与传感器和执行器进行更高速的通信。此外，部署ProfiNET交换机也构建了一个更高效、可靠的网络基础设施。 通过这种改造，工厂不仅显著提升了生产效率，还增强了系统的安全性和扩展性，为未来的进一步自动化和智能化升级打下了坚实的基础。 结论 转换从Modbus到ProfiNET的决策，是工业企业在追求更高效、更安全和更可扩展的生产系统过程中的重要步骤。随着技术的不断发展，这种转变不仅有助于企业保持竞争力，还能够更好地适应未来市场的变化和挑战。 [...]