IT资讯
当前位置:草根网 > IT资讯 >  虚拟化

使用 K8S 几年后这些技术专家有话要说

2019-09-28 22:40:48 IT观察网 责任NO石雅莉0321 编辑:草根 浏览数:5草根网

9 月 7 日下午,在深圳南山软件产业基地,腾讯云 K8S & 云原生技能敞开日成功闭幕,来自腾讯、灵雀云、超参数科技、虎牙等资深技能专家与现场开发者一起讨论企业落地 K8S 的进?#35752;?#36935;到的难点以...

9 月 7 日下午,在深圳南山软件产业基地,腾讯云 K8S & 云原生技能敞开日成功闭幕,来自腾讯、灵雀云、超参数科技、虎牙等资深技能专家与现场开发者一起讨论企业落地 K8S 的进?#35752;?#36935;到的难点以及处理问题的办法。

K8S 逐步成为容器编列的规范,越来越多的完结方法和运用方法现已成为了规范化的流程,可是在运用容器化、DevOps、监控、功用调优、发布方法等方面仍存在一些技能难点。在学习和施行容器交给的时分,咱们关于 K8S 的?#29616;?#21644;了解多少会存在一些误差;在一些项目落地施行时,开发者常常会对 K8S 自身没有包括的问题或许是没有处理的问题而感到束手无策。腾讯云 K8S & 云原生技能敞开日?#35760;?#22810;位技能专家,就和咱们聊聊在 K8S 中存在哪些问题,以及怎样处理这些问题。

灵雀云微服务架构师 贺洪龙

为什么要上云原生?这是灵雀云微服务架构师贺洪龙教师在讲演开端时问咱们的问题。其实,传统的架构转向 DevOps 的架构,有点像曾经 C/S 架构转向 B/S 架构,这是一个必定的趋势。不仅仅互联网公司合适用云原生,其实传统企业相同适用,像中石油、海关总署、一些央企或许是大型的部委,他们现在也十分关怀整个中心体系的更新换代,这个需求并不是来源于事务或许技能的视点,部分是出于办理的视点。完结云原生要做到两点:一是能够共同企业悉数内部的运用架构,包括中心件都能够共同;二是要做?#21830;?#31995;的搬迁。比方一个部委的中心体系或许是 10 年前开发的,而假如开发一个新的中心体系要上线的话,开发周期有或许要两年。那么搬迁的时分,原体系下有几百个子体系,假如仍是选用单体结构,完结?#35759;?#21313;分大。并且现在政府的体系其实关于互联网的需求许多,曾经一套体系能够跑 10 年不必更新,现在的体系分分钟要修正、要迭代。因此对云原生架构的需求就变得十分激烈。

DevOps 的价?#24403;?#29616;在哪里?

一是能够快速投放市场。有多快?每天迭代 N 个版别,贺洪龙说到,「我记住是 2016 年,某银行信用卡中心一周时刻迭代了 183 次,每天差不多有几十次的小版别迭代,用蓝绿版别迭代,这样频频的发?#23478;?#21482;要经过 DevOps 才干完结。由于这个银行信用卡中心的运维服务器开发得很早,从 2014 年就开端做了,最开端是跑虚拟机。据我所知,做发布的?#20540;?#20204;三个月走一批人,常常需求通宵,他们都受不了;相反,用容器来做,基本上能够不必加班,用?#25945;?#29615;?#24120;?#19968;套蓝、一套绿,下午做好布置,晚上悉数网络就能够了。」

二是降低本钱。有 DevOps 东西之后,能够削减人工投入,从而削减因停机时刻带来的丢失。以手机制造厂商为例,他们的运用要发布,中心假如要停机,停一个小时丢失 300 万。假如发?#23478;?4 个小时,那便是 1200 万。而手机制造厂商的 IT 部分一年的投入也就一个亿。所以,经过 DevOps 基本上能?#35805;?IT 的投入赚回来,这便是 DevOps 的价?#24403;?#29616;。

三是 DevOps 能够让开发者不必做一些低价值的作业,包括装置、布置、装备都能够用东西来做。DevOps 能够让运维人员做一些更高?#35828;?#20316;业,相似于运维架构师的人物。DevOps 渠道能够满意整个生命周期办理的需求,从最早?#21335;?#30446;办理、需求再到构建、代码,到最终运维。

腾讯高档工程师 卢承山

腾讯高档工程师卢承山从?#23548;?#30340;视点,要点介绍了云智中枢 AI 中台的建造思路,?#20204;?#36947;要打通设备、数据、上层的运用,让运用开发者依据?#20204;?#36947;,经过服务编列削减用户的开发量。

云智中枢 AI 渠道是从 0 到 1 构建是思路是:

(1)技能选型,比方用什么微服务结构,用什么容器渠道。

(2)算法,算法或许有?#20064;?#31181;,怎样接入,并且发布成一个运用。

(3)AI 产品怎样落地。还有一个继续交给的问题。

很清晰的是,用容器、微服务现已是一个趋势了。在架构选型方面,腾讯云容器服务 TKE 依据其强壮的 K8S 的原生才干,一起对整个交给集成有一套完好的体系。

腾讯云最新推出的企业级容器云渠道 TKE(Tencent Kubernetes Engine )依据老练的 Kubernetes 技能和生态,能够协助企业快速构建自身的私有化容器办理渠道。TKE 企业版在架构规划进?#35752;?#20316;了针对性优化,经过选用与腾讯公有云容器服务共同的架构和办理?#38382;剑?#33021;够协助企业在私有化办理容器服务的一起,快捷地打通云上的容器服务并取得共同的办理体会,完结混合云布置。

别的,TKE 企业版还充分运用了腾讯内部微信、QQ、游戏等重量级事务在容器运用方面的经历,例如 GPU 虚拟化用于处理 GPU 同享问题 ;TAPP 运用办理用于让服务办理愈加精细化、发布进程愈加可控 ; 在离线混部技能提高资源运用率降低本钱等。

腾讯自己开发的服务,包括算法服务,都能接到 K8S 里边去,其实这个现已比较老练了,可是有些组件,包括一些存储性的东西,散布式文件存储或许 MySQL 存储等等,业界也有相关的计划,可是从整个的稳定性来说,存储现在仍是用的物理机的方法,除了服务以外的存储仍是用的物理机。那怎样接入算法?最原始的方法或许是让它供给二进制包或许相似的方法来帮它做。咱们终究供给的便是镜像制造的方法,终究都是经过镜像。假如用户供给了一个二进制包,怎样帮他们做镜像?这儿其实有两种?#36234;?#26041;法,第一种直接?#36234;?#20854;镜像。这是最简略的,也有容器渠道。第二种是主动构建镜像。比方说它仍是物理机或许是虚拟机的方法,它供给?#24149;?#35768;是一些包,咱?#21069;?#23427;主动做镜像。咱?#21069;?#27599;个环境笼统成一个组件,比方说你需求 JDK、OpenSL 等等环?#24120;?#21681;?#21069;?#23427;笼统成一些组件,你只需求把包选出来在你的页面上,这儿便是一个可视化的操作,你能够在咱们的渠道构成完做成你的镜像,把你的二进制包上传。

这儿有个难点,怎样缩短镜像制造的耗时?一个原始的 GCC 编译或许需求一个小时,CUDA 的装置也需求 20 分钟,做一个镜像假如环境变杂乱,是不是需求一两个小时才干做一个镜像。那怎样缩短时刻?思路是:第一次制造有或许的确需求花这么长时刻。别的,腾讯也笼统了几点,把 GCC、CUDA 和镜像的版别做了绑定,由于是常用的,所以会做成根底镜像,每个用户制造的内容都会在后台剖析,用户最耗时的以及最频频运用的,能够在后台帮你剖析,做成一个模板镜像,下次做的时分不会依据 Linux 来做,它能够依据镜像模板机来做,它的耗时显着就会削减。

卢承山?#27493;?#32461;了 GPU 虚拟化的难点,并详细解说了腾讯和英伟达在 GPU 虚拟化上的不同。怎样在容器内运用 CUDA?容器能够做到 CPU 内存和 CPU ?#35828;?#38459;隔,包括细分到 0.01。GPU 的最底层是 GPU 的设备,上面是 GPU 运转?#24149;肪场?/p>

腾讯是做法是:

一、最底层的?#35762;?#26159;在物理机层面的,需求把它?#19994;?#23481;器上,最上层的 CUDA 是在镜像层面做的。

二、处理在运用容器进?#35752;?License 的问题。

算法服务和?#35805;?#26381;务不同的当地在于,算法厂商不期望这个服务你拿去就用,它有一些鉴权,不或许把服务给你。最早都是物理机过来的,它依靠物理机设备上的东西。怎样把这些东西?#19994;?#23481;器内,它依靠 MAC 地址,而容器的 MAC 地址是虚拟的。腾讯在这儿边做了一部分改造,把物理机?#19994;?#23481;器,然后再做 License 的鉴权。

GPU 虚拟化也触及一些选型问题,英伟达 GPU 虚拟化存在一些问题:

第一是物理层面,英伟达是在 CUDA 的驱动层面来做的,尽管功用很好,但由于是在虚拟机层面做的,因此不合适容器。

第二是它不开源,并且收?#36873;?/strong>已然不开源,呈现各种问题你就很难去查。

别的,英伟达依据 MPS 做了一个软件的 GPU 虚拟化,要求有必要均匀分配,这会形成资源的糟蹋。比方,它?#21069;?#19968;张卡虚拟成 0.01 之类的。运用一张卡其实很糟蹋,以一张 P40 的卡为例,很有或许你的算法底子用不到。依据这个痛点:腾讯做了一个选型,也是在 CUDA 层面上做了一层,悉数的调用都是转到这个后边,再去调 CUDA 的底层,可是咱们这个不会对 CUDA 底层的东西做任何改动,仅仅中心加了一层。

超参数科?#20960;?#26723;?#20804;?#24037;程师 朱恒满

超参数科?#20960;?#26723;?#20804;?#24037;程师朱恒满从 AI 与游戏的视点,?#27493;?#20102;游戏 AI 在?#23548;?#20013;遇到的难点以及处理问题的思路。游戏 AI 近些年来在学术界现已有了许多的探究,在最近几年呈现了比较显著的作用。2013 年 deepmind 在 Atari 的游戏上超过了人类,可是在其时并没有引起很大的颤动,在 2016 年 AlphaGo 打败了世界顶尖的围棋选手,使得 AI 有了很大的发展。最近,deepmind 和 OpenAI 分别在 rts 和 moba 游戏里边战胜了作业选手,资源?#27426;?#26187;级,规划也是越来越大。

游戏 AI 的试验流程:首要在本地是一些算法的规划、迭代,包括一开端去体会游戏,感触游戏需求怎样的特征,规划怎样样的流程更好;然后是模型的参数调整,做一些小范围的参数设置;接下来便是做一些大规划的试验。强化学习首要是 CPU 和 GPU 混合的异构的核算,规划会比较巨大。那么,现在 AI 实在对战的才干目标是不是现已到达咱们的预期了?假如到达预期,试验就或许会中止;假如达不到,就会再回溯到之前的各个模块,看看在特征方面有没有什么需求改动;最终便是保存模型。

那为什么要做一个渠道化?

首要是由于核算?#38382;?#30340;杂乱性。现在,强化学习在 K8S 上的编列模块比较多,包括 GPU、CPU 出产数据等方面,还有中心做了一些缓存。这么杂?#19994;男问剑?#20551;如没有做渠道化,需求写许多的脚本,关于个人而言,很难把握大规划、杂?#19994;?#20307;系。别的,比?#29616;?#35201;的一点是核算?#38382;?#38656;求能够被复用。整个迭代流程更多?#24149;?#35768;是修正参数,或许是一些模型、特征,其?#31561;?#20307;的结构是不会动的,这就需求供给一些可复用的核算?#38382;剑?#20174;而能够供给?#36816;?#27861;模型来说愈加直接的散布?#35762;?#24178;。

分享到:

版权与免责声明:

?#21442;?#27880;明"稿件来源"的内容均为转载稿,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性;


本文地址:http://www.8179786.com/news/2019/09/28/62346306.html

转载本站原创文章请注明来源:草根网

行业聚焦

Win10 Edge浏览器?#27493;?#36814;来实验性的省电特性

几天前,微软刚刚介绍了为 Chromium Edge 带来的一项省电改进,即通过在观?#35789;?#39057;时自动关闭不必要的磁盘缓存,以减少资源?#21335;?#32791;。在浏览器的流?#25945;?#20256;输测试...[详细]

外?#21073;?#29305;斯拉已经在扩建上海工厂 为生产电池做准备

众所周知特斯拉在上海建设了一座超级工厂用来制造特斯拉车型,不过近日有消息称,特斯拉正在扩建上海工厂,为生产电池做准备。最近流出的无人机视频显示,特斯拉已经在今年...[详细]

《使命召唤16:现代战争?#26041;巧?#20844;布:钱队归来了!

IT之家9月29日消息 《使命召唤16:现代战争》中文官方已经上线,日前也公布了本作的五名主要?#24039;?#21450;游戏中的组织阵营介绍,大家熟悉的“钱队”约翰·普莱斯上尉也已...[详细]

不止电动车,比亚迪与宁德还要争日本蓄电池市场

据日本经济新闻报道,在太阳能电池板领域确立主导地位后,中国能源企业正在进军日本的蓄电池市场,扩大其在可再生能源领域的影响力。中国电动汽车领军企业比亚迪将于202...[详细]

中国湘菜食材电?#25506;?#29190;出被薅外卖预制菜羊毛

日前,中国食材电?#25506;?#23459;传推广中爆出被薅羊毛,根据现有数据来看,湘菜食材电?#25506;?#24037;作人员通过实时巡查,及时分析堵漏,已经审核剔除了大量不实信息。据悉本?#26080;?#32650;毛事件是...[详细]

科技趋势

更多

京东919电视影音狂促最后6小时:55寸电视低至789元

 

京东919电视影音超级品类日最后6小时,1000台电视5折20:00最后抢一波(上午10点应该已经有人抢到了吧),55英...[详细]

和4G说再见 雷军宣布小米9 Pro全?#24403;?#37197;5G

 

小米9 Pro发布时间临近,一些网?#35759;?#20110;小米9 Pro有没有4G版本上线售卖的问题,雷军给出回应。9月22日消息,雷军宣...[详细]

滴滴发布网约车行业首个安全标准,含96项条款和19项安全制度

 

据滴滴出行官方消息,为明确网约车经营服务的安全要求,提升?#25945;?#36816;营质量,滴滴出行近日在中国国家标准化管理委员会下属企业标准...[详细]

红旗淡季月销?#31185;?#19975; H5功不可没

 

如今,汽车行业迎来了市场“寒冬?#20445;?#38144;?#31185;?#36941;走低,不过有消息称,红旗今年八月份销量与去年同期相比,暴增203%,这与H5车...[详细]

刘作虎曝光一加7T国行包装盒 90Hz流体屏成主要卖点

 

近日,一加科技创始人刘作虎也在微博上首次曝光了一加7T国行版本的包装盒,宣称采用了“全新大胆的设计风格?#20445;?#32780;且所配的90...[详细]

一周排行每月关注
完美世界手游隐藏任务大全飞行器
快三大小单双稳赚技巧 上海时时走势 手机上哪里有21点游戏 万达娱乐 注册平台 北京pk10是正规彩票吗 足球比分直播90vs 福州站街女包夜 欢乐生肖走势图360 东莞酒店特殊服务种子 网上彩票投注