每年,全世界数以百亿计的口服液和瓶装剂药品飞速地离开工厂,奔入寻常百姓家。
自1867年德国西门子兄弟把蓄热室连续熔化池窑应用于玻璃工业后,小口瓶的成型技术广泛造福于人类。无论是医院使用的针剂,或者药房售卖的各种保健品和药液,都离不开150年前的那项历史性创造。
然而,小玻璃瓶的安全还不能让人完全放心。玻璃瓶内的液体中偶有杂质、瓶身肉眼难见细小的裂纹,极可能会让药品失效或者导致服药的小宝贝面临意外的伤害。
无数保健品和药品企业费尽心力,希望能将“害群之马”剔除。
进入21世纪以来,担任这些“完美药丸”选秀重任的传统识别技术慢慢退出,依托人工智能的机器视觉登台起舞。
他山之石 可以验玉
2018年年初,英国的媒体纷纷聚焦于一项发明:专注于药品行业包装系统的专业公司Pharma Packaging Systems Ltd (PPS),借助机器视觉技术(MVT)公司开发出计数和检验系统。
PPS公司希望能通过人工智能的算法打造一双“火眼金睛”,在快速运转的生产线上,检查出破损或不符合所需形状的产品。更重要的是,系统还可以检测不属于所需批次的产品,以防止交叉污染。
在制药行业,如果未能在受到影响的批次流出制造商之前检验出交叉污染,不仅会遭受巨额罚款,还可能导致整个工厂在一段时间内进行关闭整顿。
不负众望的MVT公司,很快让客户享受到机器视觉带来的好处。
它开出的药方是:一般情况下,散装产品(药片或胶囊)会从料斗中被送入一连串的槽型振动托盘,以便分离不同产品并引导它们通过不锈钢托盘中的通道。高速红外光学传感器会计算自由下落的产品数量。系统以高精度、高速度完成产品计数,并将产品装入瓶子中,由丝杠驱动系统在传送机上进行编排。
这里的创新之处在于将相机放置在最终的托盘上方,途经此处的药片紧接着将会被进行计数和装瓶步骤。每台相机均可拍摄6条药片通道的图像。在从上到下通过相机视场(FOV)的过程中,每个药片通常会被检测10次或以上。
“堪称一项真正的成就!”国外媒体评价。
这些报道,让远在湖南长沙市的纳威尔公司CEO曾小维会心一笑——1年多前,他们同样利用人工智能在机器视觉技术的顶端敲开了这扇门。万里之外同行的成功,更让他们信心满满。
“皮匠们”的技术革命
曾小维团队3位核心技术人员全部来自长沙理工大学物理与电子科学学院。曾小维来自2009级电子信息科学与技术专业,刘浪来自2010级光电信息科学与技术专业,陈建成来自2011级光电信息科学与技术专业。
2012年,作为人工智能的核心概念,深度学习算法又开始在学术圈火爆起来。在国外的ImageNet大赛上,有研究团队使用深度学习方法将图片中的物体识别率一下子提升了好几个百分点,这在业界成了革命性的变化。
正在校园内苦苦研究的曾小维,由此确定了以计算机视觉算法以及人工智能算法为将来的研究以及就业方向。更为凑巧的是,他也选择了药片检测作为进攻的目标。
药片实时在线检测的关键在于,如何让计算机知道,一粒药片是完整的药片,还是有缺陷的“垃圾”?
这在常人眼看来,似乎是很简单的,哪怕是3岁的小孩子也能分辨得出。但是对于计算机,就无比艰难。
传统的方法是基于尺寸和面积来判断。但即便是这种方法,实现起来也并不容易。因为,药片在实际生产过程中,是从一个镜面抛光的不锈钢轨道上面流过去,每个药片都会在导轨的两侧有一个镜像,而利用面积和尺寸为基础的算法,会认为每一粒药都不合格。
其次,药片在导轨上运行并非像小学生排着队伍出校门一样有序,两粒药片甚至多粒药片连接在一起向前跑的情况也很常见。系统会自动将这些药片打“×”。
难题一重一重,让3个“臭皮匠”绞尽脑汁。经过多方面的评估之后,他们意识到,这个问题最好的解决方式,应该是利用外部的光源系统——利用某种光照技术将药片的镜像减到最低。
为了制作出这样一个光源系统,他们首先将光路以及阴影面积的大小计算出来,然后找到东莞一家拥有十几年光源整体解决方案的企业,最终制作出来了一个可以使药片轨道上几乎看不到镜像的光源系统。
于是,一项发明专利随之手到擒来。
解决了镜像问题之后,第二个拦路虎就是药片在运动过程中的连接问题。“有时候,技术真的就是一层窗户纸,捅开了,就全通了。”曾小维说,冥思苦想多日后,他们忽然想到,通过提取连通区域的边缘,并且使用向量的叉乘方法,不到半天的时间,就把这个困扰多时的问题给解决了。
此时,他们团队的技术已经走在国内同行的最前列。“因为其他公司,现在还在花精力解决我们曾遇到的难题”。
市场检验真知
成功路上多艰辛。
把实验室的技术产品化后,第一次在上海某公司试机,现实的惨败给3个骄傲的研发者以警醒——他们刚刚在实验室里解决了前两个难题。整个系统里最难的技术——运动物体的追踪与配准,将要耗去他们更多的汗水。
和传统的追踪不一样的地方在于:药片的形态大小几乎一样,如何从一个运动序列中确定哪一个是你要追踪的对象?
就连中山大学的几位教授——公认的国内此领域最牛的专家,也认为这是当前追踪领域很难的一道关卡。“我们一共熬了几十个通宵,平均每天4到5小时的睡眠时间。大部分夜晚,都是在椅子上度过的”。
无数次试验和失败后,2016年下半年的一天,他们忽然想到,人眼之所以能在一段图像序列中准确地找出每一个合格药片,是因为人脑其实就是一个经过不断学习并且优化了的神经网络;所有的决策,都是基于某种概率的。
基于这一想法,他们把解决这个问题的研究方向切换到以概率模型为基础。
经过两个来月的不懈努力之后,终于在2016年年底,他们完成了这个技术的所有测试,并且在精度与追踪技术上,超过了加拿大的OPTL、美国的jekson、意大利的安塔瑞斯的同款产品。
此刻,该团队的技术产品“牛刀小试”,成功地进入了云南白药集团的产品检测。
云南白药气雾剂瓶底是一个凹陷的球面,上面喷有字符标码。如何识别流水线上的这些瓶瓶罐罐下面的字符,以便分类管理,成了企业的难题。
最先被邀请来解决问题的是全世界机器视觉行业的老大——美国康耐视公司。
但这家全球技术最先进的企业,发现云南白药公司的这个问题属于“非标”类,并不愿意为此付出太多精力而离场。
“我们是一个小团队,并没有大公司那么多标准的序列,那就把它作为标准来搞。”曾小维说,啃下这块骨头后,在整个检测系统,我们的技术已经无可置疑。
沈伟教授任职于中山大学,其研发的一种算法被写入国外图像处理教科书中,在全球最大的图像处理商用软件中,也有以他名字命名的函数。看到云南白药喷雾剂上的点阵字符识别项目研发成功之后,他感慨:“这是整个字符识别领域的一个代表性的应用成果,我自己都不一定能成功研发出来。”
跨入了一个新的高度后,曾小维和中山大学的老师交流时发现,图像的预处理对于好的检测系统来说至关重要。他们开始把大量精力投入到这方面,并尝试各种各样的方法,成功地完成了“利用运动场与光流检测小瓶液体里面的杂质”这一更高难度的技术研发。
如今,他们的核心产品不仅在国内遥遥领先,而且已经扩展到了印度、北美市场。
“4+5=?”
1992年出生的曾小维,从小就喜欢动脑,是那种“数学考试总是满分”的偏科生。考入长沙理工大学后,他更成了一个技术宅男,大部分时间都是叫上宿舍另外两位同学一起去学院的创新实验室,从中掌握了单片机编程技术、嵌入式编程技术、linux系统的使用以及C语言的学习资料等。
大一结束后,暑假在一个亲戚的软件公司打工的经历,让他对算法、数据结构、应用数学等知识产生浓厚的兴趣。
回到学校之后,“进入了一个痴迷的状态,每天绝大部分时间都花在研究这些算法上。”曾小维说。
就在这一年,他深刻地体会到了计算机解决问题的原理,也认识了学弟刘浪。随后在组队参加全国大学生电子设计竞赛时,团队中又多了2011级的学弟陈建成。
大学毕业后,曾小维在研究生入学考试中以初试复试第一名的成绩考入了中山大学,并如愿以偿地选择了计算机视觉这个方向。开学后不久,一位博导上课时手写了一道题目:“4+5=”,要求学生用手机拍照,把这个手写的数列,在手机里识别出来。
两个星期后,曾小维把自己的解题方法提交给了教授。教授大感意外,随后决定推荐曾小维去法国的波尔多第三大学读博士——多位在计算机视觉领域有很大影响力的顶级学者任教于这所学校。也就在这一年,刘浪带领的参赛队伍,拿到了那一届全国大学生电子设计竞赛的全国一等奖。
曾小维和刘浪商定,一起做一份事业。为此,曾小维放弃了去法国读博的机会,和两位学弟一起开始了创业路。
“在计算机视觉和人工智能领域,作为一个中国人是很骄傲的——每年的新成果,大部分都是华人学者领衔或者参与完成的。”曾小维说,当前正处在人工智能全面落地的风口上,而人工智能的落地,首先就是依靠计算机视觉。