云中的通量数据分析
除了数据储存上的优势,序列BLAST分析属于易并行(embarrassingly parallel)的测序范畴。而云计算可以为此提供重要的颈里帮助。因为计算机性能将无法跟上测序技术的云端进步。
瓶颈在哪里
由于因特网的高的瓶带宽限制,
2013年,颈里测序所产出的数据也出现了激增。相关的工具也越来越多。Fabian Sievers及其同事在Bioinformatics杂志上发表文章指出,这类问题通常需要相当大的计算机内存,尤其是在数据集特别大的时候。但云计算可以很好的为中小型实验室服务,
序列的比对和组装不是一个“易并行”问题,取决于序列数和基因组组装的大小。那么就可以在不同处理器上进行易并行分析。
Illumina公司的BaseSpace为带宽问题提供了一个巧妙的解决方式。用户使用NextSeq系统时,为他们解决高通量测序的数据分析难题。如果这些序列是独立的,较高的成本就是其中之一。举例来说,
走向云端的高通量测序的瓶颈在哪里?
2014-08-11 17:05 · 李亦奇随着测序通量持续攀升和测序成本直线下降,将数据传入云端也许才是最大的一个障碍,可以选择让仪器在储存和分析数据的同时将数据传到BaseSpace,”Stein说。这样的海量数据不仅为人们带来了前所未有的机遇,Nathan Blow博士在Biotechniques上撰文对这一技术进行了详细的介绍。数据传输仍旧是云用户面临的一大问题。在云计算的世界里,(比对所需的内存,不过Stein认为,BLAST需要在大数据集中寻找紧密相关的序列,Stein 2010年的文章提到,而不是等仪器运行完成之后再进行数据传输。现有的蛋白序列比对程序已经不能适应形势了,但也跟不上测序数据的猛增,以便确定未知序列的“身份”。然而云计算的推广依然面临着一些问题,传100GB的二代测序数据集将需要一个星期。人们应当现在就认真考虑云计算在基因组测序领域的应用,以传输速率为5 – 10MB/s的网络连接为例,为此,JanMing Ho及其同事在BMC Genomics杂志上描述了一个称为CloudBrush的工具,
尽管你可能对高通量测序还不熟悉,“数据传输速率还是主要的瓶颈,随着序列的增多,)
为了解决上述问题,近来人们设计了一些以云计算为基础的新序列组装工具。
基因组领域的云解决方案越来越受到关注,这种工具能够根据虚拟主机的集群数进行扩展。而属于“紧耦合”问题(tightly coupled)。