Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图片仅供参考)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent2023-05-19
1、DNF游戏如何联系客服？联系客服，点击地下城与勇士的游戏图标，如图。2、触摸游戏图标后，选择自己的角2023-05-19
1、《儒林外史》的严贡生是一个无恶不作、欺压百姓、吝啬贪婪的人。2、故事情节：在书中，严贡生六亲不认，2023-05-19
全国大范围小麦跨区机收即将由南向北梯次展开。5月18日，农业农村部召开全国“三夏”小麦跨区机收暨机械化2023-05-19
今明天（5月19日至20日），冷空气将携大风、沙尘、降温天气侵袭北方，局地遭遇“换季式”降温，降幅超10℃2023-05-19
本文来源：时代周报作者：杜苏敏近日，南京市医保局发文称，将先诺特韦 利托那韦组合包装(先诺欣)、氢酸气2023-05-19
5月18日北向资金减持11 36万股氯碱化工。近5个交易日中，获北向资金减持的有4天，累计净减持7 02万股。近202023-05-19
1、意料中的寒假如期到来。2、很平静，很淡定。3、心里压抑已久的兴奋被日历中的数字扼杀，留我一个人站在2023-05-19
1、快手最近很火的那个剧的女主角一只璐的微笑唇是做的吗镜头特写的时候感觉伤疤好明显她在剧里好漂亮,完全2023-05-19
1、意思：看惯了平淡的颜色，才知道繁华的鲜艳。2、读音：dànjíshǐzhīhuāgèngyàn原句：珍重2023-05-19
5月4日，墨江哈尼族自治县政府采购和出让中心以拍卖方式出让3宗地块的国有建设用地使用权，涵盖住宅用地、2023-05-19
5月17日，市人大常委会《北京市院前医疗急救服务条例》执法检查组第一次全体会议召开。市人大常委会教科文2023-05-18
南方财经5月18日电，中科创达（300496 SZ）在京召开发布会，集中展示在大模型领域初步研发成果，包括全新发2023-05-18
食材准备：五花肉500克、盐少许、淀粉(3克)、1 2茶匙、八角1个、桂皮2克、酱油2汤匙、浓汤宝1块、冰糖20克2023-05-18
5月18日，澳门特区立法会审议通过《维护国家安全法》修订案2023-05-18
“笑果文化”的脱口秀演出被指侮辱解放军引起轩然大波后，据报导，事件或波及内地整个脱口秀行业，3家公2023-05-18
【凌云光：目前数字人产品正在与ChatGLM-130B和ChatGLM-6B做联合测试】凌云光5月18日在互动平台表示，20222023-05-18
导读：最近很多玩家都在关注剑与魂之名这款手游，想知道具体的公测时间，剑与魂之名会经过封测、删档内测、2023-05-18
河南经济报记者郑浩通讯员张媛敏日前，中原银行第二届职工运动会在河南财经政法大学龙子湖校区体育场举行，2023-05-18
南下资金全日净流入31 72亿港元，大市成交额为986亿港元2023-05-18
河南经济报记者刘学中5月17日上午，鹤壁市第三人民医院2023年党的建设暨党风廉政建设工作会议在门诊二楼会2023-05-18
证券代码：873100证券简称：倍施特主办券商：德邦证券倍施特科技（集团）股份有限公司关于召开2022年年度股2023-05-18
商用车行业市场前景怎么样?中汽协副秘书长陈士华认为，目前来看，国六b全面实施对行业来说不存在大问题。首2023-05-18
《星河战队：灭绝》Steam抢测开启16人合作战斗介绍了 OffworldIndustries制作并发行，最大16人合作战斗F2023-05-18
1、你好，玲珑玉在李靖出来的那个地方左边2cm处易掉落，还有地图的最左边那块。2、但兄台别对这东西抱太大2023-05-18
