3. 

        <meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>
          
	
	
          
		
			
		
          
    
    	
          
  		
          
		    
          
		      
		      
		      
		    
          
  		
          
  		
          
	
          


	


          
		
          
		            
            
				
          
		
          







          


          
	
	
          
		
          新聞中心
          
	
          
	
          
	
          EEPW首頁 
	 > 智能計算 > 業(yè)界動態(tài) > 中國電信發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T
          
    
          

          

          


	
	
	

          
	
          
		
          
			
          中國電信發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T
          
						
          
				作者：
				時間：2024-06-19
				來源：IT之家
				
				
				
				
				收藏
			
          

			
          
				
				
			
          

			
          
			
			
          
			
			
          
				
				
			
          
                
			
          IT之家 6 月 19 日消息，中國電信人工智能研究院（TeleAI）和智源研究院聯(lián)合發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T，該模型與百億級的 52B 版本，千億級的 102B 版本共同構(gòu)成 Tele-FLM 系列模型。
          本文引用地址：http://www.ex-cimer.com/article/202406/460043.htm
          TeleAI 和智源研究院基于模型生長和損失預(yù)測等技術(shù)，Tele-FLM 系列模型僅使用了業(yè)界普通訓(xùn)練方案 9% 的算力資源，基于 112 臺 A800 服務(wù)器，用 4 個月完成 3 個模型總計 2.3T tokens 的訓(xùn)練。模型訓(xùn)練全程做到了零調(diào)整零重試，算力能效高且模型收斂性和穩(wěn)定性好，Tele-FLM-1T 版本即將開源。
          目前，TeleFLM 系列模型已經(jīng)全面開源了 52B 版本，核心技術(shù) (生長技術(shù)、最優(yōu)超參預(yù)測)、訓(xùn)練細(xì)節(jié) (loss 曲線、最優(yōu)超參、數(shù)據(jù)配比和 Grad Norm 等) 均開源，開源模型下載量過萬，積累超 40 萬用戶。
          此外，中國電信在某市民生訴求場景項目上，通過引入 TeleChat-52B 模型能力，整體應(yīng)用效果提升 40%，達(dá)到行業(yè)領(lǐng)先水平。
          IT之家附 Tele-FLM-52B 版本開源地址：https://huggingface.co/CofeAI/Tele-FLM
          Tele-FLM-Chat 試用 (純模型單輪對話版) 地址：https://modelscope.cn/studios/FLM/ChatFLM

          
				
            
                
			
							
          
                
			              
              
            
          
		
          
		
          
		
          
		
          
		
          
			
            
				
          • 
					
					
			  	
            • 
			  	
          • 
					
					
			  	
            • 
			  	
          • 
					
					
			  	
            • 
				
          • 
					
					
				
            • 
				
          • 
					
					
				
            • 
			
          
			
          
		
          
		
		
          
		
          
			
			
		
          
        
		
          
			
          關(guān)鍵詞：
            			            LLM
                        AI
                        大語言模型
                        
            
          
            
			
          
		
          	
		

	

          
	
	
          
		
          
			
          評論
          					
		
          
		
          
			
          
			
				
          
					
					
          
						
                        
					
          
				
          
                		
						
						
			
          
		
          
		
          
		
          
            
			
            
		
          
	
          
	
          
	
          
		

          
	
          
		
          相關(guān)推薦
          					
	
          
	
    
	

          		

          


	
          
	
          
		
		
	
          


    
          
        
          技術(shù)專區(qū)
          
      
          
      
          
			
      
           
       

          

   










          
	
          
	    關(guān)閉
	
          
	
	

          







	
	





          



          


看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人

(function(){
    var bp = document.createElement('script');
    var curProtocol = window.location.protocol.split(':')[0];
    if (curProtocol === 'https') {
        bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';
    }
    else {
        bp.src = 'http://push.zhanzhang.baidu.com/push.js';
    }
    var s = document.getElementsByTagName("script")[0];
    s.parentNode.insertBefore(bp, s);
})();