全球数字财富领导者
CoNET
|
客户端
|
旧版
|
北美站
|
FX168 全球视野 中文财经
首页
资讯
速递
行情
日历
数据
社区
视频
直播
点评旗舰店
商品
香港论坛
外汇开户
登录 / 注册
搜 索
综合
行情
速递
日历
话题
168人气号
文章
郭台铭曾指主流货币金融体系不太可能完全去中心化 其确定参选2024年总统大选
go
lg
...
驱动的分析:yPredict利用先进的
机器
学习
技术,使投资者能够更精确地预测加密市场的未来走势。 2.专属权益:YPRED代币持有者不仅可以免费访问yPredict的分析平台,还可以在yPredict Marketplace购买预测模型订阅。 3.吸引的回报:持有YPRED的投资者可以享受高达45%的年利率,远超过一般的5%至10%的年收益率。 4.持续的奖励:yPredict将10%的新订阅收入分配给现有用户,并将15%的$YPRED交易隔夜利息与代币持有者分享,确保忠实用户的利益。 5.教育与奖励相结合:yPredict的Learn-2-Earn功能不仅提供了丰富的教育资源,还允许用户通过完成测验来赚取$YPRED代币,进一步激励用户深入了解加密市场。 6.投资机会:目前YPRED代币的预售价格为0.03889美元,预计在首次上市时将上涨15.7%。 立即进入yPredict预售
lg
...
Business2Community
2023-08-29
Meta发布Code Llama:开源AI代码生成模型
go
lg
...
Llama,一个用于生成和解释代码的
机器
学习
系统,旨在引起轰动。该公司以开源的方式共享这一创新,进一步推动人工智能领域的发展。 Meta,以其创新和开放的方法,早前发布了一系列用于生成文本、翻译语言和创建音频的人工智能模型。如今,他们将这一努力延伸至代码领域,通过开源Code Llama来生成各种编程语言的代码,包括Python、C++、Java、PHP、TypeScript、C#和Bash等。 Code Llama类似于一些著名的开源人工智能代码生成器,如GitHub Copilot和Amazon CodeWhisperer等。它基于Llama 2文本生成模型,针对特定的自然语言(尤其是英语),可以生成并解释代码。 在Meta与TechCrunch分享的博客文章中,他们表示:“在Meta,我们坚信人工智能模型,尤其是用于编码的大型语言模型,从开放的方法中受益最多。公开的、针对代码的模型可以推动新技术的发展,从而改善人们的生活。通过发布Code Llama等代码模型,整个社区可以评估其能力、识别问题并修复漏洞。” Code Llama有多个版本,包括专为Python优化的版本和经过微调以理解指令的版本。这些模型使用了来自网络公开资源的数据集进行训练,着重于包含代码的数据子集。模型的大小从70亿个参数到340亿个参数不等,使用5000亿个代码标记进行训练。其中,Python特定的版本在1000亿个Python代码标记上进行了微调,指令理解版本使用人类注释者的反馈进行微调,以生成“有用”且“安全”的问题答案。 代码生成工具在程序员和非程序员中都可能产生巨大的吸引力。例如,GitHub声称有超过400个组织正在使用Copilot,这使得开发人员的编码速度比以前提高了55%。Stack Overflow的调查也显示,70%的人已经在使用或计划使用人工智能编码工具,以提高生产力和学习速度。 然而,与所有形式的生成人工智能一样,编码工具可能会带来新的风险。研究表明,使用人工智能工具的工程师更有可能在其应用程序中引入安全漏洞。此外,一些代码生成模型可能会在受版权保护或受限制的许可下进行训练,可能引发知识产权问题。还有黑客试图将开源代码生成器用于编写恶意代码的风险。 Code Llama已经在Meta内部进行了红队部署,但尽管如此,它仍然可能会在一些情况下产生不准确或令人反感的响应。Meta坦承,Code Llama在某些情况下可能会出错,因此在将其部署到应用程序中之前,开发人员需要对其进行安全测试和调整。 虽然存在风险,但Meta对于Code Llama的部署设置了相对宽松的限制。开发人员只需同意不将模型用于恶意目的,并且在将其部署在超过7亿月活跃用户的平台上时,需要申请许可证。 Code Llama的开源发布旨在为各领域的软件工程师提供支持,包括研究、工业、开源项目、非政府组织和企业。Meta希望这一举措能够激发其他人利用Llama 2创建新的创新工具,为研究和商业产品开发提供更多的支持。 总的来说,Meta的Code Llama代表了人工智能领域的一项重要进展,将代码生成的能力推向了一个新的高度。尽管存在一些潜在的风险和挑战,但随着技术的不断发展,我们可以期待看到更多创新和解决方案的出现,以更好地满足开发人员和用户的需求。 声明:本文来自潮外音创作者,内容仅代表作者观点和立场,且不构成任何投资建议,请谨慎对待,如文章/素材有侵权,请联系官方客服处理。 来源:金色财经
lg
...
金色财经
2023-08-29
两部门印发前沿材料产业化重点发展指导目录
go
lg
...
设计方面取得了许多突破,结合人工智能、
机器
学习
算法以及3D打印先进制造工艺,超材料正在为航空航天、医疗器械、信息通讯等领域提供全新思路。 根据公开资料显示,A股上市公司中: 光启技术是领先的新一代超材料技术提供商,具备超材料尖端装备产品批量生产能力,生产产品为第三代超材料产品,预计今年第四代超材料产品可进入批产状态。 华秦科技控股子公司华秦光声提供行业领先、自主可控的声学超材料、高端装备、集成系统与重大工程声学应用整体解决方案。
lg
...
金融界
2023-08-29
中银证券:给予浪潮信息买入评级
go
lg
...
于海量数据处理和运算,其可以为大模型、
机器
学习
、神经网络等场景提供广阔的动力,更是我国算力建设的重点需求产品。公司是全球领先的通用服务器和AI服务器龙头,在数字经济建设及AI应用落地带动的全国算力建设需求高增之下,业绩有望提速。 估值 预计2023~2025年归母净利润为25.6/36.5/50.3亿元,EPS为1.74/2.48/3.42元(因AI芯片供给导致交付不及预期,下调16~19%),对应PE分别22/15/11倍。看好后续AI供给改善,H2交付或带动业绩提速,维持买入评级。 评级面临的主要风险 宏观经济波动;市场竞争加剧;新产品推广不及预期。 证券之星数据中心根据近三年发布的研报数据计算,民生证券吕伟研究员团队对该股研究较为深入,近三年预测准确度均值高达87.97%,其预测2023年度归属净利润为盈利23.12亿,根据现价换算的预测PE为23.5。 最新盈利预测明细如下: 该股最近90天内共有17家机构给出评级,买入评级13家,增持评级3家,中性评级1家;过去90天内机构目标均价为47.77。 以上内容由证券之星根据公开信息整理,由算法生成,与本站立场无关。证券之星力求但不保证该信息(包括但不限于文字、视频、音频、数据及图表)全部或者部分内容的的准确性、完整性、有效性、及时性等,如存在问题请联系我们。本文为数据整理,不对您构成任何投资建议,投资有风险,请谨慎决策。
lg
...
证券之星
2023-08-29
以太坊开发者长文回应 Paradigm 链上游戏开放问题:玩家体验高于技术细节
go
lg
...
过预言化或众包化。想象一下,一个零知识
机器
学习
+数据流水线,提交赛季性突变,这些突变是由玩家编写的私人提示模型输出的可证明转换。 例如,作为一个有兴趣帮助制定下一个赛季的高级玩家,我可能会打开游戏的可下载管理应用程序,在其中输入提示以建议对副本首领生成的输入(“一个首领,玩家的法术经常反弹回玩家”)、经济环境(“在平原中央出现了一个超级火山,引发了一场大灾难和全球性的粮食短缺”)或任何其他类型的游戏领域的程序化输入。 07游戏玩家的经典动机,如何应用于区块链游戏? 《千面英雄》中的英雄之旅以及游戏玩家的基本动机是重要的概念,它们贯穿了一些最高层次的问题,比如为什么要将游戏上链,为什么金融化可能会增强或削弱乐趣,以及为什么开放经济可能会或可能不会推动游戏的成功。 有很多经验和理论证据支持这样一个论点,即玩家通常希望在每个游戏中重新体验英雄之旅,因此,例如将他们在旧游戏中获得的强大物品转移到新游戏中的能力往往会破坏游戏体验的价值。 这是否意味着上链游戏必须仅限于与英雄之旅无关的动机子集,例如竞争、投机和社交?这似乎是一个有趣的研究领域。 Nick Yee 曾经对游戏玩家的动机进行了多年的研究。首先,通过与在线大型多人在线角色扮演游戏(MMORPG)中的玩家进行一系列研究。后来在他的游戏玩家动机公司进行研究。 Raph Koster 对虚拟世界和玩家在其中居住的动机了解比世界上任何其他人都多。 Nick 和 Raph 夫都将是有趣的研究合作伙伴。但你会问他们什么问题?我们如何在 Web3 和经典游戏/虚拟世界之间有效沟通? 08虚拟世界是场所,而不仅仅是游戏 经验丰富的虚拟世界构建者接受的信条是,这些世界首先是场所,而不仅仅是游戏。 对于这些经验丰富的虚拟世界构建者来说,Facebook、Twitter 和魔兽世界之间的差异与它们都是为人类提供一些治理概念的地方相比是微不足道的。 经验丰富的虚拟世界构建者会广泛地使用“治理”一词,就像“美国政府”一样,而不是狭义的、功能性的 DeFi 治理。 “虚拟世界在成为游戏之前是场所”这个重要概念之所以重要,是因为它通过提供一个高层次的一般原则来推动游戏和娱乐产品的成功: 如果你正在构建一个世界,那么你的游戏实际上是人们在享受简单地存在于你的世界之后选择加入的东西,因此,在担心让你的游戏有趣之前,你应该确保你的地方宜居。链上游戏如何从这个永恒的原则中学习,甚至颠覆它? 例如,也许链上游戏的一个重要部分最终更适合被描述为“互联网世界中的活动”。这些游戏可以深度嵌入或轻松从其他网络体验中访问,如超链接、普通网页、社交媒体机器人等。 也许互联网的社交层最终能够成功提供“外部治理”,从而使链上游戏和世界相对于链下需要更少的治理或管理。 也许链上游戏成功的一条路径是依赖传统社交平台进行消息传递和玩家连接的图谱。不仅仅是为了病毒式增长,还为了核心游戏循环。显然,开放数据、无需许可、可嵌入等链上能力可能推动这一点。 简而言之,链上对游戏或世界的影响如何?治理机会或义务怎么样?社交功能?模糊世界、游戏和互联网之间的界限?这些似乎是有趣的研究领域。 来源:金色财经
lg
...
金色财经
2023-08-28
加密做市商就是“幕后庄家”?
go
lg
...
也为做市商提供了更多的工具和手段,例如
机器
学习
、大数据等,以优化交易决策和风险管理。 流动性激励 这里顺带提一下 Uniswap 创新性提出的 AMM 也是做市商的一种,他可以允许任何人参与做市并获得报酬,DeFI 也因此得以快速发展起来,并且不断创新; 合规和监管加强阶段 随着加密市场的发展,监管机构对于加密交易的监管力度也在不断加强。 总体而言,加密做市商不断发展和演变以满足市场需求并提供更高效的买卖环境,贯穿加密市场的整个时期,在其中扮演着重要角色。 做市商的盈利方式 与传统做市商一样,加密做市商也是通过买卖的价差来获得利润。但是,由于加密市场缺乏监管,作恶成本极低,信息流和主动权主要掌握在这些行业顶端手中,做市商在加密行业的形象很容易和「庄」挂钩,散户投资者很容易成为其收割的对象。 1)做市商的盈利方式主要来自以下几个方面(可以放在台面上说的): 买卖价差(Spread):做市商通过在市场上同时提供买入和卖出的报价,利用买卖价差来获取利润。他们会将买入价设置较低,卖出价设置较高,从中获得差价利润。这种差价通常被称为「Spread」,是做市商最主要的盈利来源之一; 交易手续费:做市商在提供流动性的同时,也会根据平台的规定收取手续费。这些手续费是参与者支付给平台的费用,做市商作为提供流动性的角色,可以从中获得一部分作为盈利; 套利交易:做市商通常会利用不同平台之间的价格差异或市场波动来进行套利,以获取利润。这种套利操作通常需要快速的执行速度和高度的自动化买卖系统; 流动性奖励:一些平台或协议会通过流动性激励机制向提供流动性的做市商提供奖励,例如 Token 奖励。 可以看出,做市商的收益来源主要有两块: A.服务于项目方 B.服务于交易平台 2)做市商与项目方的关系 项目方与做市商的关系主要通过提供流动性服务来建立,尤其是新项目刚上线时,需要做市商进行价格管理,做市商起到的作用主要三点: A.提供流动性 B.稳定价格,防止价格过高或过低导致项目失败 C.市值管理,提高项目知名度 除了提供流动性,做市商还会帮项目方制定 Token 价格策略以及帮助团队套现。做市商与项目方的合作条款和合同会规定双方的权利和义务,包括准备金要求、合作期限、利润分成等问题。总体而言,项目方与做市商的合作方式和条款会根据双方的具体情况而有所不同,需要在协商一致的基础上进行合作,并遵守相关法律框架。做市商会选择知名项目来合作增加品牌曝光度,项目方也会选择知名做市商,来增加项目成功率。需要注意的是,很多做市商,在是做市商的同时,也是投资机构,这样可以对投资项目进行更好的扶持。 3)做市商与交易平台的关系 流动性作为交易平台最根本的基建,所以平台会给予做市商很多优惠,例如手续费折扣、杠杆资金、出入金额度、API 内部通道以及机构客户账户 / 账务体系等,这些优惠旨在吸引并支持做市商为交易平台提供流动性支持。 需要注意的是,不同的平台可能对做市商有不同的要求和合作模式。有些平台可能会指定特定的做市商合作,新项目上线后,项目必须和指定做市商合作才能上市。 做市商作为加密行业的食物链顶端,但并不保证一定能盈利,也会面临市场风险和流动性风险。之前的 luna 崩盘带来的连锁反应导致做市商全面溃败,市场流动性枯竭,不过这也和这个行业监管不完善,行业不透明等问题,存在各种挪用用户资金,随意加杠杆等问题有关。其中 Alameda Research 便是典型代表。 主流做市商 在加密行业存在许多做市商,但由于加密市场与传统金融还有很大差距,做市商与交易平台合作,很容易形成垄断,市场的流动性被几家大型市商主导,我们这里介绍几个目前比较知名的(很多项目的做市商是没公开的,所以只列出部分): Jump Trading: 一家成立于 1999 年的高频交易巨头。做市项目:Solana 生态、各类 dex、LUNA、MASK、LDO 等; WintermuteTrading:2017 年成立的数字资产算法交易公司。做市项目:OP、BIUR、ARB 等; DWF Labs:成立全球性的 Web3 风险投资和做市商,23 年突然进入大众视野。做市项目:CFX、MASK、ACH、FET,YGG,近期因 YGG、DODO 等项目的大幅波动而被指责操纵市场; Sigma Chain:在瑞士注册的加密资产买卖公司,SEC 在针对某安的诉讼文件中称 CZ 为其实际所有者; Galaxy Digital:成立于 2018 年的加密和区块链资产管理公司; B2C2:一家成立于 2015 年的加密金融服务公司,在全球范围内进行加密资产的交易和市场制造; GSR:一家成立于 2013 年的加密金融服务公司,总部位于香港的; Amber Group:一家总部位于香港的全球性加密金融科技公司,成立于 2017 年。 很多项目的做市服务与具体细节,处于未公开状态,很多言论是通过一些做市人员访谈透漏出来的只言片语,大多处于「闷声发大财」的状态。毕竟,让普通投资者知道是谁「割」了他,名声也不保,还不如处于隐匿状态。就如之前的 WLD 做市相关信息以及各种细节,还是推上有网友从各种细节中扒出来的。 小结 以上,便是关于做市商的相关内容,作为加密市场的关键参与者,做市商在维持市场流动性、提高市场效率和降低成本方面发挥着重要作用。对于投资者来说,了解做市商的相关知识,将有助于参与市场。 来源:金色财经
lg
...
金色财经
2023-08-27
中风瘫痪18年 AI让她再次「开口说话」:脑机接口模拟表情 数字化身当嘴替
go
lg
...
omputing stack)中有一个
机器
学习
AI。 几周来,Ann与团队合作训练系统的人工智能算法,以识别她的大脑中1000多个单词的神经信号模式。 这需要一遍又一遍地重复1,024个单词的会话词汇中的不同短语,直到计算机识别出与所有基本语音相关的大脑活动模式。 研究人员没有训练AI识别整个单词,而是创建了一个系统,可以从音素的较小组件中解码单词。音素以与字母形成书面单词相同的方式形成口语。例如,「Hello」包含四个音素:「HH」、「AH」、「L」和「OW」。 使用这种方法,计算机只需要学习39个音素,就可以破译英语中的任何单词。这既提高了系统的准确性,又使速度提高了三倍。 但这只是研究的一个小序曲,重头戏在AI对Ann意图的解码和映射。 电极被放置在大脑区域,研究小组发现这些区域对语言至关重要 研究团队通过深度学习模型,将检测到的神经信号映射到语音单元、语音特征,以输出文本、合成语音和驱动虚拟人物。 刚刚提到,研究人员与Speech Graphics公司合作制作了患者的虚拟形象。 SG的技术根据对音频输入的分析,「逆向设计」出面部必要的肌肉骨骼动作,然后将这些数据实时输入游戏引擎,制作成一个无延迟的形象。 由于病人的精神信号可以直接映射到化身上,因此她也可以表达情感、甚至进行非语言交流。 多模态语音解码系统概述 研究人员设计了一个语音解码系统,帮助因严重瘫痪和无法发声的Ann重新与他人进行沟通交流。 Ann与团队合作训练AI算法,以识别与音素相关的大脑信号(音素是形成口语的语音亚单元) 研究人员在Ann的大脑皮层上植入了一个有253个通道的高密度ECoG阵列,特别是覆盖了与语言有关的大脑皮层区域,包括SMC和颞上回。 简单来说,这些区域与研究人员的面部、嘴唇、舌头和下巴的动作有关 (1a-c)。 通过该阵列,研究人员可以检测到这些区域在Ann想要说话时的电信号。 研究人员注意到当Ann尝试移动她的嘴唇、舌头和下巴时,阵列可以捕获到不同的激活信号 (1d)。 为了研究如何从大脑信号中解码语言,研究人员让Ann在看到屏幕上的句子后尝试无声地说出这个句子,即做出发音的动作。 研究人员从Ann头部的253个ECoG电极捕获到的信号中,提取了两种主要的大脑活动信号:高伽玛活动(70-150赫兹)和低频信号(0.3-17赫兹)。 随后便使用了深度学习模型去学习如何从这些大脑信号中预测发音、语音和口腔动作,最终将这些预测转化为文本、合成语音和虚拟化身的动作。 文本解码 研究团队希望从大脑中解码文本,特别是在患有发音困难的人尝试说话的情况下。 但他们早期的努力遭遇了解码速度慢和词汇量小的限制。 本研究中,他们使用了电话解码(phone decoding)的方法,这使他们能够从大词汇量中解码任意短语,并实现接近自然说话的速度。 为了评估实时性能,当Ann尝试默读249个句子时,研究团队解码了文本。这些句子是从一个包含1024个单词的句子集中随机选择的,并且在模型训练时并未使用过。为了解码,他们从ECoG信号中提取了特征,并使用了双向循环神经网络(RNN)进行处理。 他们使用了几个标准指标来评估解码性能,包括单词错误率(WER)、电话错误率(PER)、字符错误率(CER)和每分钟单词数(WPM)。 研究团队观察到,当解码速度为78.3 WPM时,这已经超过了Ann使用其辅助设备的通常通信速度,并且接近自然说话的速度。 为了评估信号的稳定性,他们进行了一个单独的任务,要求Ann默读NATO的26个代码词或尝试进行四种手势动作。结果显示,神经网络的分类器性能非常好,平均准确率高达96.8%。 最后,为了评估在没有任何单词之间暂停的情况下对预定义句子集的模型性能,他们对两个不同的句子集进行了模拟解码,结果显示对于这些经常被用户使用的有限、预定义的句子,解码速度非常快且准确性非常高。 语音合成 文本解码的另一种方法是直接从记录的神经活动中合成语音,这可以为无法说话的人提供一条更自然、更有表现力的交流途径。 以前对言语功能完好的人进行的研究表明,在发声或模仿说话时,可以通过神经活动合成可理解的语音,但这种方法尚未在瘫痪者身上得到验证。 研究人员将在音频-视觉任务条件下试图默读时的神经活动直接转化为可听见的语音进行了实时语音合成(图3a)。 为了合成语音,研究人员将神经活动的时间窗口传递到一个双向循环神经网络(RNN)中。 在测试之前,研究人员训练RNN预测每个时间步骤的100个离散语音单元的概率。 为了创建训练的参考语音单元序列,研究人员使用了HuBERT,这是一个自监督的语音表示学习模型,它将连续的语音波形编码为捕获潜在音位和发音表示的离散语音单元的时间序列。 在训练过程中,研究人员使用了CTC损失函数,使RNN能够在没有参与者的静默言语尝试和参考波形之间的对齐的情况下,学习从ECoG特征到这些参考波形中派生的语音单元之间的映射。 在预测了单元概率后,将每个时间步的最可能单元传入一个预先训练的单元到语音模型中,该模型首先生成一个梅尔频谱图,然后会实时将该梅尔频谱图合成为听得见的语音波形。 在离线情况下,研究人员使用了一个在参与者受伤之前的短时间段内训练的语音转换模型,将解码的语音处理成参与者自己的个性化合成声音。 面部头像解码 研究人员开发了一种面部化身BCI界面,用于将神经活动解码成发音的语音手势,并在视听任务条件下呈现出动态的虚拟面部(图4a)。 研究人员为了实现合成面部头像的动态动画,采用了一个被设计来将语音信号转化为面部动作动画的头像动画系统(Speech Graphics)。 研究者采用了两种办法来为头像制作动画:直接方法和声学方法。直接方法是从神经活动中直接推测发音动作,不通过任何语音中介。 声学方法则用于实时音视频合成,它确保解码的语音音频和头像的动作之间达成低延迟同步。 除了伴随合成语音的发音动作外,完整的头像脑机接口还应该能够显示与语音无关的口面动作和表达情感的动作。 为此,研究者收集了参与者在执行额外两项任务时的神经数据,一是发音动作任务,二是情感表达任务。 结果显示,参与者可以控制头像BCI来显示发音动作和强烈的情感表达,这揭示了多模态通信脑机接口恢复表达有意义的口面动作的潜力。 发音表征驱动解码 在健康的说话者中,SMC(包括前中央回和后中央回)的神经表征编码了口面肌肉的发音动作。 将电极阵列植入到参与者的SMC中心时,研究人员推测:即使在瘫痪后,发音的神经表示仍然存在,并且推动了语音解码的性能。 为了评估这一点,研究者拟合了一个线性的时间感受场编码模型,根据在1024字通用文本任务条件下,文本解码器计算的音素概率来预测每个电极的HGA。 对于每一个被激活的电极,研究者计算了每个音素的最大编码权重,从而得到了一个音位调谐空间。在这个空间中,每个电极都有一个与其相关的音素编码权重向量。 来源:金色财经
lg
...
金色财经
2023-08-26
国外最受欢迎的X.AI空投现已开启,免费领取X.DOGE领取教程
go
lg
...
平台会收集大量图片数据构建数据集,通过
机器
学习
的方法,训练神经网络模型,让计算机学习如何生成图像,输入一些关键词或者画一些草图,让计算机基于已经训练好的模型来生成图片。 X.Doge未来 X.Doge 生态系统会为用户免费提供NFT生成技术,这样可以让更多的人知道我们,或者加入我们。在社区团队的推动下,会让X.Doge变的不一样。 X.Doge虽然是一个免费开放的X.AI平台,但是超过一段时间过后,还需要一直使用X.Doge平台,你将需要持有X.Doge 激活X.Doge平台使用,通过一个月,两个月过后.X.Doge将从100倍变成1000倍,5000倍甚至10000倍。我们会不断的去完善我们X.AI机器人让他更加智能,利用先进的人工智能技术、用户很好的使用体验和基于NFT市场强烈需求并培养一个蓬勃发展的加密社区。 是的,这就是你一直在等待的那个。文本到图像使用 AI 来理解您的单词,并每次将它们转换为独特的图像。像魔术一样。 来源:金色财经
lg
...
金色财经
2023-08-26
AI会引发下一次能源危机?
go
lg
...
。 未来,随着AI的普及,这种革命性的
机器
学习
形式的能源影响不应被忽视。能源问题的重视,或许能为投资者创造一次新的机遇。 $美国超微公司(AMD)$ $英伟达(NVDA)$ $微软(MSFT)$
lg
...
老虎证券
2023-08-25
雷军:小米研发大模型的方向是轻量化和本地部署
go
lg
...
大模型指参数数量巨大、层次结构复杂的
机器
学习
模型。这些模型通常具有十亿到千亿甚至万亿个参数,通过大量的数据进行训练,提供更高的理解和生成能力。 在我们看来,大模型不仅是指模型参数多、尺寸大,更重要的是代表了一种新的训练范式。我们将其总结为:大数据、大任务、大参数。 -大数据:指需要用海量的数据去训练,让模型从中自动挖掘出所需的信息。通常采用自监督或者无监督学习方式,无需人工标注就可以提炼规律、学习知识,从而提升模型的眼界。 -大任务:指学习的目标足够复杂、覆盖面广。这样才能“强迫”模型按照模块化、高类聚、低耦合的方式组织知识点,实现举一反三的泛化能力。 -大参数:指模型的知识容量。大模型的参数规模越大,模型的表达能力和学习能力也就越强。 在这个范式中,我们认为大数据和大任务是不可或缺的。如果没有大数据,模型不可能学到丰富的常识;如果没有大任务,知识点和技能点不可能在模型中有机高效地组织起来。 0 2 布局人工智能 全力突破大模型 ▍以AI为基石,沉淀技术积累 我们基于未来的思考与理解,选择对人类文明有长期价值的战略方向,并坚持长期持续的投入。我们已经布局了12个技术领域,99个细分赛道,未来五年(2022-2026)至少投入1000亿以上的研发经费! AI是未来的生产力,也是小米长期持续投入的底层赛道。小米很早就对人工智能进行布局,2016年小米AI实验室成立,并组建了第一支视觉AI团队,今年4月成立专职大模型团队,历经7年6次扩展,小米人工智能团队已经有3000多人,逐步建立了视觉、语音、声学、知识图谱、NLP、
机器
学习
、多模态等AI技术能力。 成为浪潮之上的角逐者,必须有对技术的沉淀和积累。作为小米AI技术的“试验田”和“弹药库”,小米AI实验室会研发中长期的前沿技术,围绕小米业务做储备,在集团需要的时候输出“弹药”。小米对AI的深刻认识与掌握的技术能力,也有效地赋能了手机、机器人等各个业务板块。 大模型是未来科技的发展趋势,更是下一个人工智能的高地。2021年开始,小米就对大模型的方向特别关注,并开展了对话大模型的预研工作。在闲聊对话场景下,依托于月活超过1.15亿的智能语音助理小爱同学,小米研发了参数规模为28亿的对话模型,达到了当时同等参数规模下业界的较高水平。这为小米积累了多卡分布式训练的经验,为后续开展大规模语言模型训练奠定了基础。 ▍小米大模型:轻量化、本地部署 小米拥有品类众多的设备,是全球规模领先的消费级物联网平台。设备多样,使用场景也各不相同,一个大模型难以兼顾。如果把一部分大模型能力下放到端侧,不仅能更好地保护用户隐私、而且有机会在本地实现千人千面的个性化定制。 软硬结合,生态连结,这是大模型技术与小米生态结合的最优方案,让用户既可以拥有数据安全,又可以拥有大模型的先进生产力。因此,“轻量化、本地部署”是小米大模型技术的主力突破方向。 目前,我们自研的13亿参数的端侧模型已经在手机端跑通,部分场景效果媲美60亿模型在云端的运算结果。与早些时候市场上放出的手机端大模型的方案相比,小米会调整模型结构和参数大小,适配各种芯片在内存和算力上的特点,致力于达到功耗、推理速度和生成效果的最佳平衡。 0 3 布局人工智能 全力突破大模型 ▍自有数据更懂小米 数据上,我们自己挖掘整理的训练数据占比达到了80%,其中小米自有的产品和业务数据量达到3TB。因此我们的大模型最懂小米的产品,最懂小米的业务。 ▍效率和效果的最佳平衡结构上,我们根据对Transformer结构的理解,融合了自身的实践经验进行改良;并且充分考虑设备端芯片的特色要求,合理设置模型的宽度和深度,致力于达到效率和效果的最佳均衡。▍更多策略更少浪费 训练策略上,采用小米提出的ScaledAdam优化器和Eden学习率调度器,显著提升收敛速度的同时减少了优化器中显存的浪费。由于模型的知识容量有限,需要更精巧地安排训练数据的顺序,使得模型尽可能多地掌握知识点和技能,减少参数的浪费,以此实现“轻量化”。 ▍为用户隐私安全保驾护航模型部署到端侧后,信息不用上传到云端,所有计算都在本地进行,可以从根本上保证用户隐私不被泄露。即使在端云结合的服务框架下,隐私信息会存储在端侧,涉及它们的计算也尽可能在端侧完成。即使偶尔需要使用云端的能力,信息也会经过处理和加密。 0 4 仰望技术星空 脚踏体验实地 截至2023年8月10日,小米自研的大规模预训练语言模型MiLM-6B,参数规模为64亿,在权威中文评测榜单C-EVAL和CMMLU中位列同等参数规模大模型第一。 在C-Eval评估中,MiLM-6B 的平均分为60.2,总榜单排名第10、同参数量级排名第1。 “C-Eval”是由上海交通大学、清华大学、爱丁堡大学共同构建的一个针对基础模型的综合中文评估套件。它由 13948 道多项选择题组成,涵盖 52 个不同学科和四个难度级别,覆盖人文、社科、理工,及其他专业四个大方向,用以帮助中文社区研发大模型。 在CMMLU评估中,MiLM-6B在Five-shot和Zero-shot 测试中的平均分分别为57.17和60.37,均位列中文向模型第1。 “CMMLU”是一个综合性的中文大模型评估基准,涵盖了从基础学科到高级专业水平的67个主题,涉及自然科学、社会科学、人文、以及常识等,专门用于评估语言模型在中文语境下的知识和推理能力。 通过打榜,验证了我们对特定垂域进行定向增强的技术能够达到怎样的效果,这也是用轻量化模型进行业务定制的必备能力。虽然小米大模型取得了优异的成绩,但我们不会把榜单排名与用户体验画上等号。好成绩的背后,更重要的还是打磨技术、沉淀方法论,将它们运用到产品,提升用户体验才是我们的终极目标。 科技应着眼于解决问题,以需求与应用为落点。小米大模型采用“轻量化、本地部署”的方案,能够更好地解决多场景、个性化的用户需求。一方面,大模型本地运行无需担心“弱网、无网”情况,且响应速度快,使用稳定;另一方面,在提供更加个性化服务的同时,也能够更好地保护用户隐私,让技术真正改善用户体验,让成绩真正落地有效。 0 5 始终坚持小米愿景 始终坚持技术为本铁律 小米作为一家科技公司,将始终坚持我们的愿景、价值观:让所有人都能享受科技带来的美好生活,同时始终坚持技术为本的铁律,持续加大研发投入。2023年,小米研发投入预计会超过200亿。 此外,截至目前,我们的全球专利数已超过32000+件。质量也非常高,在《全球5G标准必要专利及标准提案研究报告(2023)》中,首次进入全球前十,可以说,在榜的企业,小米是最年轻的,速度最快的! 小米还很年轻,但是在技术投入与技术积累上,已经走在前列,取得了巨大的进展。时代在不断变化,小米也在不断成长,这一次小米科技战略升级,代表着我们不仅要对现在的生活有贡献,也要对人类未来的生活进步发展有贡献,构建我们的核心竞争力,成为一家真正伟大的科技公司。 未来,小米将扩大模型规模,不断探索端云结合、多模态融合的大模型解决方案,与小爱同学、MIUI、IoT、机器人、汽车等业务结合,提升小爱同学的理解能力与智能家居指令的识别能力等,给予用户更加个性化的智能体验,按照我们的思路,走出不一样的道路。
lg
...
金融界
2023-08-25
上一页
1
•••
130
131
132
133
134
•••
209
下一页
24小时热点
中美重磅!彭博:若特朗普与普京达协议 中国最高领导人面临这个重大威胁
lg
...
美国突发“出口”中国移民!特朗普签署新命令:即刻停止移民儿童法律援助
lg
...
中国国家主席习近平“果然”信号明确!交易主管:中国经济策略发生重大变化
lg
...
周评:习近平会见科技领袖引爆市场!特朗普再发关税威胁,一句“独裁者”吓坏欧洲
lg
...
下周展望:“德国史上最重要选举”来袭!美国PCE绝对爆点,别忘了日本CPI
lg
...
最新话题
更多
#SFFE2030--FX168“可持续发展金融企业”评选#
lg
...
19讨论
#链上风云#
lg
...
60讨论
#VIP会员尊享#
lg
...
1751讨论
#比特币最新消息#
lg
...
903讨论
#CES 2025国际消费电子展#
lg
...
21讨论