iOS利用手机摄像头测心率
原理
简单介绍一下，网上可以查到很多关于手机测心率的这种项目，大概就是：把手指放在摄像头和闪光灯上，通过手指处脉搏跳动充血导致的细微颜色变化来确定心跳波动，确定波峰波谷，根据两个波峰之间的时间差来确定瞬时心率。
思路
首先，采集视频流，根据拿到的RGB颜色转成HSV颜色集，其实我们只用到了HSV的H。
对拿到的H进行一些处理，看跟人喜好或者具体情况，主要是用于后面的折线图和计算瞬时心率，如果有能力的话可以处理一下噪音数据，因为可能测的时候手指轻微抖动会造成一些不稳定的数据。
根据处理后的H就可以进行画折线图了，我是把处理后的H和时间戳进行了绑定，用来后面的计算心率。
根据处理后的H来确定波峰波谷，利用两个波谷之间的时间差计算心率。
实现
大致思路就是上面这样，下面来看一下代码具体实现以下。
1.首先我先初始化了一些数据,方便后面使用
//设备 @property(strong,nonatomic)AVCaptureDevice*device; //结合输入输出 @property(strong,nonatomic)AVCaptureSession*session; //输入设备 @property(strong,nonatomic)AVCaptureDeviceInput*input; //输出设备 @property(strong,nonatomic)AVCaptureVideoDataOutput*output; //输出的所有点 @property(strong,nonatomic)NSMutableArray*points; //记录浮点变化的前一次的值 staticfloatlastH=0; //用于判断是否是第一个福点值 staticintcount=0; //初始化 self.device=[AVCaptureDevicedefaultDeviceWithMediaType:AVMediaTypeVideo]; self.session=[[AVCaptureSessionalloc]init]; self.input=[[AVCaptureDeviceInputalloc]initWithDevice:self.deviceerror:nil]; self.output=[[AVCaptureVideoDataOutputalloc]init]; self.points=[[NSMutableArrayalloc]init];
2.设置视频采集流，为了节省内存，我没有输出视频画面
//开启闪光灯
if([self.deviceisTorchModeSupported:AVCaptureTorchModeOn]){
[self.devicelockForConfiguration:nil];
//开启闪光灯
self.device.torchMode=AVCaptureTorchModeOn;
//调低闪光灯亮度（为了减少内存占用和避免时间长手机发烫）
[self.devicesetTorchModeOnWithLevel:0.01error:nil];
[self.deviceunlockForConfiguration];
}
//开始配置inputoutput
[self.sessionbeginConfiguration];
//设置像素输出格式
NSNumber*BGRA32Format=[NSNumbernumberWithInt:kCVPixelFormatType_32BGRA];
NSDictionary*setting=@{(id)kCVPixelBufferPixelFormatTypeKey:BGRA32Format};
[self.outputsetVideoSettings:setting];
//抛弃延迟的帧
[self.outputsetAlwaysDiscardsLateVideoFrames:YES];
//开启摄像头采集图像输出的子线程
dispatch_queue_toutputQueue=dispatch_queue_create("VideoDataOutputQueue",DISPATCH_QUEUE_SERIAL);
//设置子线程执行代理方法
[self.outputsetSampleBufferDelegate:selfqueue:outputQueue];
//向session添加
if([self.sessioncanAddInput:self.input])[self.sessionaddInput:self.input];
if([self.sessioncanAddOutput:self.output])[self.sessionaddOutput:self.output];
//降低分辨率，减少采样率（为了减少内存占用）
self.session.sessionPreset=AVCaptureSessionPreset1280x720;
//设置最小的视频帧输出间隔
self.device.activeVideoMinFrameDuration=CMTimeMake(1,10);
//用当前的output初始化connection
AVCaptureConnection*connection=[self.outputconnectionWithMediaType:AVMediaTypeVideo];
[connectionsetVideoOrientation:AVCaptureVideoOrientationPortrait];
//完成编辑
[self.sessioncommitConfiguration];
//开始运行
[self.sessionstartRunning];
这里我降低了闪光灯亮度，降低了分辨率，减少了每秒钟输出的帧。主要就是为了减少内存的占用。（我手里只有一台6，没有测其他设备可不可以）
3.在output的代理方法中采集视频流
//captureOutput->当前outputsampleBuffer->样本缓冲connection->捕获连接
-(void)captureOutput:(AVCaptureOutput*)captureOutputdidOutputSampleBuffer:(CMSampleBufferRef)sampleBufferfromConnection:(AVCaptureConnection*)connection{
//获取图层缓冲
CVPixelBufferRefimageBuffer=CMSampleBufferGetImageBuffer(sampleBuffer);
CVPixelBufferLockBaseAddress(imageBuffer,0);
uint8_t*buf=(uint8_t*)CVPixelBufferGetBaseAddress(imageBuffer);
size_tbytesPerRow=CVPixelBufferGetBytesPerRow(imageBuffer);
size_twidth=CVPixelBufferGetWidth(imageBuffer);
size_theight=CVPixelBufferGetHeight(imageBuffer);
floatr=0,g=0,b=0;
floath,s,v;
//计算RGB
TORGB(buf,width,height,bytesPerRow,&r,&g,&b);
//RGB转HSV
RGBtoHSV(r,g,b,&h,&s,&v);
//获取当前时间戳（精确到毫秒）
doublet=[[NSDatedate]timeIntervalSince1970]*1000;
//返回处理后的浮点值
floatp=HeartRate(h);
//绑定浮点和时间戳
NSDictionary*point=@{[NSNumbernumberWithDouble:t]:[NSNumbernumberWithFloat:p]};
//下面按个人情况可以进行计算心率或者画心率图
}
到这里数据已经处理好了，后面可以根据数据画折线图，或者计算心率
计算RGB
voidTORGB(uint8_t*buf,floatww,floathh,size_tpr,float*r,float*g,float*b){
floatwh=(float)(ww*hh);
for(inty=0;y<hh;y++){
for(intx=0;x<ww*4;x+=4){
*b+=buf[x];
*g+=buf[x+1];
*r+=buf[x+2];
}
buf+=pr;
}
*r/=255*wh;
*g/=255*wh;
*b/=255*wh;
}
RGB转HSV
voidRGBtoHSV(floatr,floatg,floatb,float*h,float*s,float*v){
floatmin,max,delta;
min=MIN(r,MIN(g,b));
max=MAX(r,MAX(g,b));
*v=max;
delta=max-min;
if(max!=0)
*s=delta/max;
else{
*s=0;
*h=-1;
return;
}
if(r==max)
*h=(g-b)/delta;
elseif(g==max)
*h=2+(b-r)/delta;
else
*h=4+(r-g)/delta;
*h*=60;
if(*h<0)
*h+=360;
}
根据h处理浮点
floatHeartRate(floath){
floatlow=0;
count++;
lastH=(count==1)?h:lastH;
low=(h-lastH);
lastH=h;
returnlow;
}
4.分析数据，计算心率
这里我纠结了好长时间，试了几种不同的方法，都没有一个比较理想的结果，计算出来的特别不准。后来看了http://ios.jobbole.com/88158/这篇文章，后面优化的部分有一个基音算法，虽不明，但觉厉，对此表示非常感谢。吼吼吼。
原理:就是说划一个时间段,在这个时间段里面找到一个最低峰值,然后确定一个周期，然后分别在这个峰值前间隔0.5个周期的1周期里和这个峰值后间隔0.5个周期的1周期里找到一个最低峰值。然后根据这几个值来确定瞬时心率。
-(void)analysisPointsWith:(NSDictionary*)point{
[self.pointsaddObject:point];
if(self.points.count<=30)return;
intcount=(int)self.points.count;
if(self.points.count%10==0){
intd_i_c=0;//最低峰值的位置姑且算在中间位置c->center
intd_i_l=0;//最低峰值左面的最低峰值位置l->left
intd_i_r=0;//最低峰值右面的最低峰值位置r->right
floattrough_c=0;//最低峰值的浮点值
floattrough_l=0;//最低峰值左面的最低峰值浮点值
floattrough_r=0;//最低峰值右面的最低峰值浮点值
//1.先确定数据中的最低峰值
for(inti=0;i<count;i++){
floattrough=[[[self.points[i]allObjects]firstObject]floatValue];
if(trough<trough_c){
trough_c=trough;
d_i_c=i;
}
}
//2.找到最低峰值以后以最低峰值为中心找到前0.5-1.5周期中的最低峰值和后0.5-1.5周期的最低峰值
if(d_i_c>=1.5*T){
//a.如果最低峰值处在中心位置，即距离前后都至少有1.5个周期
if(d_i_c<=count-1.5*T){
//左面最低峰值
for(intj=d_i_c-0.5*T;j>d_i_c-1.5*T;j--){
floattrough=[[[self.points[j]allObjects]firstObject]floatValue];
if(trough<trough_l){
trough_l=trough;
d_i_l=j;
}
}
//右面最低峰值
for(intk=d_i_c+0.5*T;k<d_i_c+1.5*T;k++){
floattrough=[[[self.points[k]allObjects]firstObject]floatValue];
if(trough<trough_r){
trough_r=trough;
d_i_r=k;
}
}
}
//b.如果最低峰值右面不够1.5个周期分两种情况不够0.5个周期和够0.5个周期
else{
//b.1够0.5个周期
if(d_i_c<count-0.5*T){
//左面最低峰值
for(intj=d_i_c-0.5*T;j>d_i_c-1.5*T;j--){
floattrough=[[[self.points[j]allObjects]firstObject]floatValue];
if(trough<trough_l){
trough_l=trough;
d_i_l=j;
}
}
//右面最低峰值
for(intk=d_i_c+0.5*T;k<count;k++){
floattrough=[[[self.points[k]allObjects]firstObject]floatValue];
if(trough<trough_r){
trough_r=trough;
d_i_r=k;
}
}
}
//b.2不够0.5个周期
else{
//左面最低峰值
for(intj=d_i_c-0.5*T;j>d_i_c-1.5*T;j--){
floattrough=[[[self.points[j]allObjects]firstObject]floatValue];
if(trough<trough_l){
trough_l=trough;
d_i_l=j;
}
}
}
}
}
//c.如果左面不够1.5个周期一样分两种情况够0.5个周期不够0.5个周期
else{
//c.1够0.5个周期
if(d_i_c>0.5*T){
//左面最低峰值
for(intj=d_i_c-0.5*T;j>0;j--){
floattrough=[[[self.points[j]allObjects]firstObject]floatValue];
if(trough<trough_l){
trough_l=trough;
d_i_l=j;
}
}
//右面最低峰值
for(intk=d_i_c+0.5*T;k<d_i_c+1.5*T;k++){
floattrough=[[[self.points[k]allObjects]firstObject]floatValue];
if(trough<trough_r){
trough_r=trough;
d_i_r=k;
}
}
}
//c.2不够0.5个周期
else{
//右面最低峰值
for(intk=d_i_c+0.5*T;k<d_i_c+1.5*T;k++){
floattrough=[[[self.points[k]allObjects]firstObject]floatValue];
if(trough<trough_r){
trough_r=trough;
d_i_r=k;
}
}
}
}
//3.确定哪一个与最低峰值更接近用最接近的一个最低峰值测出瞬时心率60*1000两个峰值的时间差
if(trough_l-trough_c<trough_r-trough_c){
NSDictionary*point_c=self.points[d_i_c];
NSDictionary*point_l=self.points[d_i_l];
doublet_c=[[[point_callKeys]firstObject]doubleValue];
doublet_l=[[[point_lallKeys]firstObject]doubleValue];
NSIntegerfre=(NSInteger)(60*1000)/(t_c-t_l);
if(self.frequency)
self.frequency(fre);
if([self.delegaterespondsToSelector:@selector(startHeartDelegateRateFrequency:)])
[self.delegatestartHeartDelegateRateFrequency:fre];
}else{
NSDictionary*point_c=self.points[d_i_c];
NSDictionary*point_r=self.points[d_i_r];
doublet_c=[[[point_callKeys]firstObject]doubleValue];
doublet_r=[[[point_rallKeys]firstObject]doubleValue];
NSIntegerfre=(NSInteger)(60*1000)/(t_r-t_c);
if(self.frequency)
self.frequency(fre);
if([self.delegaterespondsToSelector:@selector(startHeartDelegateRateFrequency:)])
[self.delegatestartHeartDelegateRateFrequency:fre];
}
//4.删除过期数据
for(inti=0;i<10;i++){
[self.pointsremoveObjectAtIndex:0];
}
}
}
我目前是这样处理的，后面是用的前后两个峰值与最低峰值最接近的那个峰值的时间差，测了几次又和别的app比较了一下，基本都是正确的，最多也就是上下差1-2次每分钟。（在数据比较稳定的情况下，如果有更好的方法请推荐，谢谢）
5.画折线图这里用到了CoreGraphics
PS:首先，使用这个CoreGraphics要在View里面，并且要在View的drawRect:方法中使用，不然拿不到画布。我是为了封装单独建立了一个UIView的类。
a.首先还是数据，没有数据怎么画
@property(strong,nonatomic)NSMutableArray*points;
//在init中初始化数组
self.points=[[NSMutableArrayalloc]init];
//这个可以翻译过来，也是在init中
self.clearsContextBeforeDrawing=YES;
//外部调用方法
-(void)drawRateWithPoint:(NSNumber*)point{
//倒叙插入数组
[self.pointsinsertObject:pointatIndex:0];
//删除溢出屏幕数据
if(self.points.count>self.frame.size.width/6){
[self.pointsremoveLastObject];
}
dispatch_async(dispatch_get_main_queue(),^{
//这个方法自动调取drawRect:方法
[selfsetNeedsDisplay];
});
}
之前调setNeedsDisplay,一直没有走drawRect:方法，或者就直走了一次，然后去百度是说setNeedsDisplay会在系统空闲的时候执行drawRect:,然后我尝试着回归到主线程中调用，就好了。具体原因不是很清楚，也可能是因为要在主线程中修改View。
b.画折线的方法，具体怎么调整看个人心情了。
CGFloatww=self.frame.size.width;
CGFloathh=self.frame.size.height;
CGFloatpos_x=ww;
CGFloatpos_y=hh/2;
//获取当前画布
CGContextRefcontext=UIGraphicsGetCurrentContext();
//折线宽度
CGContextSetLineWidth(context,1.0);
//消除锯齿
//CGContextSetAllowsAntialiasing(context,false);
//折线颜色
CGContextSetStrokeColorWithColor(context,[UIColorredColor].CGColor);
CGContextMoveToPoint(context,pos_x,pos_y);
for(inti=0;i<self.points.count;i++){
floath=[self.points[i]floatValue];
pos_y=hh/2+(h*hh/2);
CGContextAddLineToPoint(context,pos_x,pos_y);
pos_x-=6;
}
CGContextStrokePath(context);
c.为了看起来好看，我还加了网格，当然也是在drawRect:中调用的
staticCGFloatgrid_w=30.0f;
-(void)buildGrid{
CGFloatwight=self.frame.size.width;
CGFloatheight=self.frame.size.height;
//获取当前画布
CGContextRefcontext=UIGraphicsGetCurrentContext();
CGFloatpos_x=0.0f;
CGFloatpos_y=0.0f;
//在wight范围内画竖线
while(pos_x<wight){
//设置网格线宽度
CGContextSetLineWidth(context,0.2);
//设置网格线颜色
CGContextSetStrokeColorWithColor(context,[UIColorgreenColor].CGColor);
//起点
CGContextMoveToPoint(context,pos_x,1.0f);
//终点
CGContextAddLineToPoint(context,pos_x,height);
pos_x+=grid_w;
//开始划线
CGContextStrokePath(context);
}
//在height范围内画横线
while(pos_y<height){
CGContextSetLineWidth(context,0.2);
CGContextSetStrokeColorWithColor(context,[UIColorgreenColor].CGColor);
CGContextMoveToPoint(context,1.0f,pos_y);
CGContextAddLineToPoint(context,wight,pos_y);
pos_y+=grid_w;
CGContextStrokePath(context);
}
pos_x=0.0f;pos_y=0.0f;
//在wight范围内画竖线
while(pos_x<wight){
CGContextSetLineWidth(context,0.1);
CGContextSetStrokeColorWithColor(context,[UIColorgreenColor].CGColor);
CGContextMoveToPoint(context,pos_x,1.0f);
CGContextAddLineToPoint(context,pos_x,height);
pos_x+=grid_w/5;
CGContextStrokePath(context);
}
//在height范围内画横线
while(pos_y<height){
CGContextSetLineWidth(context,0.1);
CGContextSetStrokeColorWithColor(context,[UIColorgreenColor].CGColor);
CGContextMoveToPoint(context,1.0f,pos_y);
CGContextAddLineToPoint(context,wight,pos_y);
pos_y+=grid_w/5;
CGContextStrokePath(context);
}
}
总结
写这个功能的时候，自己有很多思考，也参考了很多其他人的博客、代码还有别人的毕业论文，呵呵呵，还问了几个学医的同学，代码不难，数据处理的部分可能不太好弄，但是写完还是有点成就感的。
代码里还存在很多问题，后期有时间我会慢慢优化，欢迎指正。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。