<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META content="text/html; charset=iso-8859-1" http-equiv=Content-Type>
<META name=GENERATOR content="MSHTML 9.00.8112.16440">
<STYLE></STYLE>
</HEAD>
<BODY>
<DIV><FONT size=2 face=Arial>Greetings List,</FONT></DIV>
<DIV><FONT size=2 face=Arial>       The question 
is what kind of evaluation of OLPC usage do we want, and what is the most useful 
educational measure. </FONT></DIV>
<DIV><FONT size=2 
face=Arial>        </FONT></DIV>
<OL>
  <LI><FONT size=2 face=Arial>Document Activity Usage:  Are students 
  accessing the XOs, how often,  which activities:  this could be 
  answered by pulling the XO data to the school server and tablulating it.  
  Not hard to do, however the value as far as education isn't clear.  
  Possibly why no one has done that.</FONT></LI>
  <LI><FONT size=2 face=Arial>Document Conventional School Testing for XO 
  students:  This means measuring differences in the students performance 
  on conventional testing comparing students using XOs to those 
  without.   These outcomes are useful for those of us making a 
  case for funding, but educationally only somewhat useful.  Each 
  country organization might do this if they had sufficient funding to cover the 
  effort.</FONT></LI>
  <LI><FONT size=2 face=Arial>Long term impact:  Almost all sites are too 
  young to measure long term impact, which in the end is the best 
  measurement.</FONT></LI>
  <LI><FONT size=2 face=Arial>This program is learning through doing, through 
  solving problems.  The change in attitude toward learning is the most 
  important factor.  This can be measured by site visits, and inteviewing 
  students and teachers.   </FONT></LI></OL>
<DIV><FONT size=2 face=Arial>      What we need is a 
big grant to do some field research and get the data.  </FONT></DIV>
<DIV><FONT size=2 face=Arial></FONT> </DIV>
<DIV><FONT size=2 face=Arial>Sandra Thaxter<BR></FONT><A 
href="http://www.smallsolutionsbigideas.org"><FONT size=2 
face=Arial>www.smallsolutionsbigideas.org</FONT></A><BR><A 
href="mailto:sandra@smallsolutionsbigideas.org"><FONT size=2 
face=Arial>sandra@smallsolutionsbigideas.org</FONT></A><BR><FONT size=2 
face=Arial>(617) 320-1098</FONT></DIV>
<DIV><FONT size=2 face=Arial>----- Original Message ----- </FONT>
<DIV><FONT size=2 face=Arial>From: "Samuel Klein" <</FONT><A 
href="mailto:meta.sj@gmail.com"><FONT size=2 
face=Arial>meta.sj@gmail.com</FONT></A><FONT size=2 face=Arial>></FONT></DIV>
<DIV><FONT size=2 face=Arial>To: "olpc-open" <</FONT><A 
href="mailto:olpc-open@lists.laptop.org"><FONT size=2 
face=Arial>olpc-open@lists.laptop.org</FONT></A><FONT size=2 face=Arial>>; 
"Ahmed, Farhan" <</FONT><A href="mailto:farhan.ahmed@chicagobooth.edu"><FONT 
size=2 face=Arial>farhan.ahmed@chicagobooth.edu</FONT></A><FONT size=2 
face=Arial>></FONT></DIV>
<DIV><FONT size=2 face=Arial>Cc: <</FONT><A href="mailto:bdmoss@ku.edu"><FONT 
size=2 face=Arial>bdmoss@ku.edu</FONT></A><FONT size=2 
face=Arial>></FONT></DIV>
<DIV><FONT size=2 face=Arial>Sent: Sunday, January 29, 2012 11:14 
PM</FONT></DIV>
<DIV><FONT size=2 face=Arial>Subject: [Olpc-open] Fwd: Defining 
success</FONT></DIV></DIV>
<DIV><FONT face=Arial><BR><FONT size=2></FONT></FONT></DIV><FONT size=2 
face=Arial>Replying to the list.<BR><BR>On Mon, Jan 30, 2012 at 4:10 AM, Samuel 
Klein <</FONT><A href="mailto:meta.sj@gmail.com"><FONT size=2 
face=Arial>meta.sj@gmail.com</FONT></A><FONT size=2 face=Arial>> 
wrote:<BR>> Hello to you both.<BR>><BR>> On Sun, Jan 22, 2012 at 8:15 
PM, Ahmed, Farhan<BR>> <</FONT><A 
href="mailto:farhan.ahmed@chicagobooth.edu"><FONT size=2 
face=Arial>farhan.ahmed@chicagobooth.edu</FONT></A><FONT size=2 face=Arial>> 
wrote:<BR>><BR>>> Is there a methodology through which OLPC tracks the 
concrete educational<BR>>> development a child goes through after he or 
she gets access to a laptop? It<BR>>> seems that tracking a child's 
progress over the years will allow OLPC to<BR>>> make substantial 
scientific claims about its impact.<BR>><BR>> Agreed. There is no method 
shared among all deployments; each<BR>> country/school system has their own 
set of soft and hard measure of<BR>> development.<BR>><BR>>> I do 
understand the limited effectiveness of<BR>>> quantifying "educational 
development", but I'm sure there's a<BR>>> well-researched methodology 
widely used.<BR>><BR>> I don't know that it is theoretically limited in 
effectiveness;<BR>> however I am not aware of any single widely-used 
methodology across<BR>> different cultures or systems.<BR>><BR>>> 
Furthermore, with regard to the Sugar interface, is it enabled to 
collect<BR>>> metrics on usage patterns (anonymized, of course)? 
Information on how often<BR>>> certain activities are enabled and used, 
the times of day a laptop sees most<BR>>> usage, the average data usage 
(mesh or the internet) and other such metrics<BR>>> would allow more 
targeted development and prioritization. Once again, I<BR>>> could not 
find any such data on the website.<BR>><BR>> At a low technical level 
there is some capability to gather data - for<BR>> instance all machines 
'call home' once after they are turned on.<BR>> However beyond this it has 
never been used to my knowledge to do so --<BR>> implementations so far have 
privileged user privacy over research<BR>> efficacy. I would also love to see 
(anonymized) collection of data as<BR>> you describe.<BR>><BR>> Uruguay 
is the largest deployment that has gathered comprehensive data<BR>> on what 
activities are used for how long.<BR>><BR>> You can see theirs and other 
reports here:<BR>> </FONT><A 
href="http://wiki.laptop.org/go/OLPC_research"><FONT size=2 
face=Arial>http://wiki.laptop.org/go/OLPC_research</FONT></A><BR><FONT size=2 
face=Arial>><BR>>> My motivation here is to understand how OLPC 
prioritizes it work and backs<BR>>> its claims on the impact. I am doing 
this as part of a research project I<BR>>> have undertaken at my 
university (The University of Chicago Booth School of<BR>>> Business). I'd 
be happy to answer any questions.<BR><BR>Thanks for sharing.  Can you tell 
us more about your research?<BR><BR>Brian Moss writes:<BR>>> I'm currently 
writing my master's thesis on the OLPC program and why --<BR>>> despite 
the most honorable of intentions -- it has largely failed to live up 
to<BR>>> the hype.<BR><BR>Ditto - can you elaborate on your view of what 
this means?<BR><BR>Cheers, 
Sam.<BR>_______________________________________________<BR>Olpc-open mailing 
list<BR></FONT><A href="mailto:Olpc-open@lists.laptop.org"><FONT size=2 
face=Arial>Olpc-open@lists.laptop.org</FONT></A><BR><A 
href="http://lists.laptop.org/listinfo/olpc-open"><FONT size=2 
face=Arial>http://lists.laptop.org/listinfo/olpc-open</FONT></A><BR><BR><BR><FONT 
size=2 face=Arial>-----<BR>No virus found in this message.<BR>Checked by AVG - 
</FONT><A href="http://www.avg.com"><FONT size=2 
face=Arial>www.avg.com</FONT></A><BR><FONT size=2 face=Arial>Version: 
2012.0.1901 / Virus Database: 2109/4775 - Release Date: 
01/29/12<BR><BR></FONT></BODY></HTML>