Ambient Intelligence and Smart Environments 2009

Contents
Part I Introduction
Ambient Intelligence and Smart Environments: A State of the Art . . . . . 3
Juan Carlos Augusto, Hideyuki Nakashima, Hamid Aghajan
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Sensors, Vision, and Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3 Mobile and Pervasive Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4 Human-centered Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
5 Artificial Intelligence and Robotics . . . . . . . . . . . . . . . . . . . . . . . . . 17
6 Multi-Agents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
7 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
8 Societal Implications and Impact . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
9 Selected Research Projects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
10 Perspectives of the Area . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
11 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Part II Sensor, Vision and Networks
A Survey of Distributed Computer Vision Algorithms . . . . . . . . . . . . . . . . 35
Richard J. Radke
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2 Distributed Algorithms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3 Topology Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.1 Non-overlapping Topology Estimation . . . . . . . . . . . . . . . 40
3.2 Overlapping Topology Estimation . . . . . . . . . . . . . . . . . . . 41
4 Camera Network Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.1 Non-overlappingCamera Calibration . . . . . . . . . . . . . . . . 43
v
vi Contents
4.2 Overlapping Camera Calibration . . . . . . . . . . . . . . . . . . . . 44
4.3 ImprovingCalibration Consistency . . . . . . . . . . . . . . . . . . 45
5 Tracking and Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Video-Based People Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Marcus A. Brubaker, Leonid Sigal and David J. Fleet
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
1.1 Tracking as Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2 GenerativeModel for Human Pose . . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.1 Kinematic Parameterization . . . . . . . . . . . . . . . . . . . . . . . . 60
2.2 Body Geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.3 Image Formation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3 ImageMeasurements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.1 2D Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.2 Background Subtraction . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.3 AppearanceModels. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.4 Edges and Gradient Based Features . . . . . . . . . . . . . . . . . 66
3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4 MotionModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.1 Joint Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2 Smoothness and LinearDynamicalModels . . . . . . . . . . . 69
4.3 Activity SpecificModels . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.4 Physics-basedMotionModels . . . . . . . . . . . . . . . . . . . . . . 72
5 Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.1 Particle Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.2 Annealed Particle Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.3 Markov Chain Monte Carlo Filtering . . . . . . . . . . . . . . . . 78
6 Initialization and Failure Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . 79
6.1 Introduction to Discriminative Methods for Pose
Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
6.2 Discriminative Methods as Proposals for Inference . . . . 82
7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Locomotion Activities in Smart Environments . . . . . . . . . . . . . . . . . . . . . . 89
Björn Gottfried
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
1.1 Why LocomotionMatters. . . . . . . . . . . . . . . . . . . . . . . . . . 89
1.2 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2 Related Work on Motion Analysis and Smart Environments . . . . . 90
2.1 Motion Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.2 Precision. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.3 Viewpoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
2.4 Wayfinding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Contents vii
2.5 Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
2.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3 Locomotion Activities in Smart Environments . . . . . . . . . . . . . . . . 94
3.1 Smart Hospitals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3.2 Scenarios in a Smart Hospital . . . . . . . . . . . . . . . . . . . . . . 96
3.3 Characterising Locomotion Activities . . . . . . . . . . . . . . . . 98
4 The Representation of Locomotion Activities . . . . . . . . . . . . . . . . . 101
4.1 Spatiotemporal Information . . . . . . . . . . . . . . . . . . . . . . . . 101
4.2 Functional Specification . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.3 Allocentric View . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5 Locomotion Based Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.1 Planning Scenario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.2 Wayfinding Scenario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.3 Searching Scenario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.4 Monitoring Scenario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Tracking in Urban Environments Using Sensor Networks Based on
Audio-Video Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Manish Kushwaha, Songhwai Oh, Isaac Amundson, Xenofon Koutsoukos,
Akos Ledeczi
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
2 Challenges and RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
3 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
4 Audio Beamforming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5 Video Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6 Time Synchronization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.1 SynchronizationMethodology . . . . . . . . . . . . . . . . . . . . . . 128
6.2 Evaluation of HSN Time Synchronization . . . . . . . . . . . . 129
6.3 Synchronization Service . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
7 Multimodal Target Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
7.1 Sequential Bayesian Estimation. . . . . . . . . . . . . . . . . . . . . 132
7.2 SensorModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.3 Multiple-Target Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . 136
8 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
8.1 Sequential Bayesian Estimation. . . . . . . . . . . . . . . . . . . . . 137
8.2 MCMCDA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
9 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
viii Contents
Multi-Camera Vision for Surveillance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Noriko Takemura and Hiroshi Ishiguro
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
2 Camera Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
2.1 Fixed Camera. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
2.2 Active Camera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
2.3 Mixed System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
2.4 Multi-modal System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
2.5 Surveillance Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
2.6 Location and Subjects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
2.7 Occlusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
3 Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
3.1 Real-time cooperative multi-target tracking by dense
communication amongActive Vision Agents . . . . . . . . . 157
3.2 Tracking Multiple Occluding People by Localizing on
Multiple Scene Planes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
3.3 Applying a Form of Memory-based Attention Control
to Activity Recognition at a Subway Station . . . . . . . . . . 160
3.4 DMCtrac : DistributedMulti Camera Tracking . . . . . . . . 161
3.5 Abnormal behavior-detection using sequential
syntactical classification in a network of clustered
cameras. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
4 Industry Systems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
5 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
6 Further Reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
Part III Mobile and Pervasive Computing
Collaboration Support for Mobile Users in Ubiquitous Environments . . . 173
Babak A. Farshchian and Monica Divitini
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
2 Characteristics of Collaboration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
2.1 Collaboration and Shared Context . . . . . . . . . . . . . . . . . . . 174
2.2 Embodied Interactions and Artifacts as Resources . . . . . 177
2.3 Mobility of People and Resources . . . . . . . . . . . . . . . . . . . 178
2.4 Physical Distribution of People . . . . . . . . . . . . . . . . . . . . . 178
2.5 Flexibility and the Need for Tailoring . . . . . . . . . . . . . . . . 179
3 Existing Technology in Support of Ubiquitous Collaboration . . . . 180
4 HumanGrid as a Unifying Concept forAmI and CSCW. . . . . . . . 181
4.1 The Example of UbiBuddy. . . . . . . . . . . . . . . . . . . . . . . . . 183
4.2 Shared Context in Human Grid . . . . . . . . . . . . . . . . . . . . . 186
4.3 Embodiment in Human Grid . . . . . . . . . . . . . . . . . . . . . . . 186
4.4 Mobility in Human Grid . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
4.5 Support for Physical Distribution in Human Grid . . . . . . 187
Contents ix
4.6 Flexibility and Tailoring in a Human Grid . . . . . . . . . . . . 187
5 Implementation of HumanGrid: The UbiCollab Platform. . . . . . . 188
5.1 UbiNodeOverall Architecture . . . . . . . . . . . . . . . . . . . . . . 189
5.2 Collaboration InstanceManager . . . . . . . . . . . . . . . . . . . . 190
5.3 SessionManager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5.4 Collaboration SpaceManager . . . . . . . . . . . . . . . . . . . . . . 192
5.5 Service DomainManager . . . . . . . . . . . . . . . . . . . . . . . . . . 193
5.6 Resource DiscoveryManager . . . . . . . . . . . . . . . . . . . . . . 193
5.7 Identity Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
7 Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
Pervasive Computing Middleware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
Gregor Schiele, Marcus Handte and Christian Becker
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
2 Design Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
2.1 OrganizationalModel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
2.2 Provided Level of Abstraction . . . . . . . . . . . . . . . . . . . . . . 204
2.3 Supported Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
3 Spontaneous Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
3.1 Ubiquitous Communication and Interaction. . . . . . . . . . . 207
3.2 Integration of HeterogeneousDevices . . . . . . . . . . . . . . . 210
3.3 DynamicMediation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
4 ContextManagement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
4.1 Acquisition and Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
4.2 Modeling and Distribution . . . . . . . . . . . . . . . . . . . . . . . . . 217
4.3 Provisioning and Access . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
5 ApplicationAdaptation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
5.1 Inter-Application Adaptation . . . . . . . . . . . . . . . . . . . . . . . 219
5.2 Intra-ApplicationAdaptation . . . . . . . . . . . . . . . . . . . . . . . 222
6 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Case Study of Middleware Infrastructure for Ambient Intelligence
Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
Tatsuo Nakajima
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
2 High LevelAbstraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
3 Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
3.1 Middleware Infrastructure for Distributed Audio and
Video Appliances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
3.2 Middleware Infrastructure to Hide Complex Details in
Underlying Infrastructures . . . . . . . . . . . . . . . . . . . . . . . . . 237
3.3 Middleware Infrastructure to Support Spontaneous
Smart Object Integration . . . . . . . . . . . . . . . . . . . . . . . . . . 241
x Contents
3.4 Middleware Infrastructure for Context Analysis . . . . . . . 245
4 Middleware Design Issues for Ambient Intelligence . . . . . . . . . . . 249
4.1 High Level Abstraction andMiddlewareDesign . . . . . . . 249
4.2 Interface v.s. Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
4.3 Non Functional Properties . . . . . . . . . . . . . . . . . . . . . . . . . 250
4.4 Portability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
4.5 Human Factors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
5 Future Directions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
Collaborative Context Recognition for Mobile Devices . . . . . . . . . . . . . . . 257
Pertti Huuskonen, Jani Mäntyjärvi and Ville Könönen
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
1.1 Humans: Context-aware Animals . . . . . . . . . . . . . . . . . . . 258
2 Context FromCollaboration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
3 Mobile ContextAwareness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
3.1 Context Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
3.2 ApplicationAreas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
3.3 Context Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
3.4 Distributed ContextAwareness . . . . . . . . . . . . . . . . . . . . . 264
4 Making Rational Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
4.1 Distributed DecisionMaking . . . . . . . . . . . . . . . . . . . . . . . 265
4.2 Voting Protocols as Distributed Decision Making
Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
4.3 Voting as CCRMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
5 Case Study: Physical Activity Recognition . . . . . . . . . . . . . . . . . . . 270
5.1 Data Set and Test Settings . . . . . . . . . . . . . . . . . . . . . . . . . 270
5.2 Empirical Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
6 Context Recognition Platform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
7 TheWay Forward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
7.1 Energy Savings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
7.2 Risks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
7.3 Knowledge-based CCR?. . . . . . . . . . . . . . . . . . . . . . . . . . . 276
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
Security Issues in Ubiquitous Computing . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Frank Stajano
1 Fundamental Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
1.1 Ubiquitous (Pervasive, Sentient, Ambient. . . ) Computing 282
1.2 Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
1.3 Security Issues in UbiquitousComputing. . . . . . . . . . . . . 286
2 Application Scenarios and Technical Security Contributions . . . . 287
2.1 Wearable Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
2.2 Location Privacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
2.3 RFID. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
2.4 Authentication and Device Pairing . . . . . . . . . . . . . . . . . . 298
Contents xi
2.5 Beyond Passwords. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
3 Going Up a Level: the Rest of the Story. . . . . . . . . . . . . . . . . . . . . . 304
3.1 Security and Usability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
3.2 Understanding People . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
3.3 Motivations and Incentives . . . . . . . . . . . . . . . . . . . . . . . . . 307
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
Pervasive Systems in Health Care . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
Achilles Kameas, Ioannis Calemis
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
2 Overviewof PervasiveHealthcare Systems . . . . . . . . . . . . . . . . . . . 316
2.1 @HOME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
2.2 HEARTFAID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
2.3 ALARM-NET . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
2.4 CAALYX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
2.5 TeleCARE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
2.6 CHRONIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
2.7 MyHeart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
2.8 OLDES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
2.9 SAPHIRE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
3 ReferenceArchitecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
3.1 Input-Output System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
3.2 Local System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
3.3 Remote Subsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
4 The HEARTS System. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
4.1 Local Devices/Services . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
4.2 HEARTS-OS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
4.3 HEARTS Local SubsystemManager (LSM) . . . . . . . . . . 340
4.4 RemoteMonitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
6 Acknowledgement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
Part IV Human-centered Interfaces
Human-centered Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Nicu Sebe
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
2 What is Human-centeredComputing? . . . . . . . . . . . . . . . . . . . . . . . 350
2.1 Gateways and Barriers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
2.2 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
2.3 Scope of HCC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
2.4 HCC, HCI, CSCW, User-centered Design, and Human
Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
3 Areas ofHuman-centeredComputing . . . . . . . . . . . . . . . . . . . . . . . 356
3.1 Multimedia Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
xii Contents
3.2 Multimedia Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
3.3 Multimedia Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
4 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
4.1 Human Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
4.2 UbiquitousDevices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
4.3 Users with Disabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
4.4 Public and Private Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . 362
4.5 Virtual Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
4.6 Art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
4.7 Other . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
5 Integrating HCC into a Real (Human) World . . . . . . . . . . . . . . . . . 363
5.1 Integrating Modalities and Media . . . . . . . . . . . . . . . . . . . 364
5.2 Integrating Access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
5.3 Integrating Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
6 Research Agenda for HCC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
End-user Customisation of Intelligent Environments . . . . . . . . . . . . . . . . . 371
Jeannette Chin, Victor Callaghan and Graham Clarke
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
2 The Home of the Future A Vision . . . . . . . . . . . . . . . . . . . . . . . . . 372
3 ContemporaryWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
3.1 Pre-programmedRules . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
3.2 Agent-programmedRules . . . . . . . . . . . . . . . . . . . . . . . . . 375
3.3 User-programmedRules . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
3.4 Supporting Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
4 Pervasive interactive Programming (PiP) An Example of
End-User Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
4.1 PiP Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
4.2 PiP System Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
4.3 How the SystemWorks. . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
5 The dCompOntology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
5.1 dComp Rationale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
5.2 The dCompOntology An Overview . . . . . . . . . . . . . . . 388
6 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
6.1 PiP Testbed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
6.2 dComp PerformanceEvaluation . . . . . . . . . . . . . . . . . . . . 394
6.3 The PiP Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
6.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
7 ConcludingDiscussion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
Contents xiii
Intelligent Interfaces to Empower People with Disabilities . . . . . . . . . . . . 409
Margrit Betke
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
2 The CameraMouse. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
3 Intelligent Devices for People with Motion Impairments . . . . . . . . 411
4 Camera-Based Music Therapy for People with Motion
Impairments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
5 EnablingUsers to Create Their Own Smart Environments . . . . . . 415
6 Assistive Software for Users with Severe Motion Impairments . . . 415
7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
7.1 Successful Design of Camera-based Interfaces for
People with Disabilities Requires a User-oriented
Approach to ComputerVision Research. . . . . . . . . . . . . . 420
7.2 Designing Interfaces for People with Disabilities
Research Efforts in Human-Computer Interaction . . . . . . 421
7.3 Progress in Assistive Software Development . . . . . . . . . . 422
7.4 The Importance of Computational Social Science to
Intelligent Interface Design . . . . . . . . . . . . . . . . . . . . . . . . 423
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424
Visual Attention, Speaking Activity, and Group Conversational Analysis
in Multi-Sensor Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
Daniel Gatica-Perez and Jean-Marc Odobez
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
2 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
2.1 On-line Regulation ofGroup Interaction . . . . . . . . . . . . . 434
2.2 Assistance of Remote Group Interaction . . . . . . . . . . . . . 436
3 Perceptual Components: Speaking Turns and Visual Attention . . . 438
3.1 Estimating Speaking Turns. . . . . . . . . . . . . . . . . . . . . . . . . 438
3.2 Estimating Visual Focus of Attention . . . . . . . . . . . . . . . . 440
4 From Speaking Activity and Visual Attention to Social
Inference:DominanceModeling. . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
4.1 Dominance in Social Psychology . . . . . . . . . . . . . . . . . . . 451
4.2 Dominance in Computing . . . . . . . . . . . . . . . . . . . . . . . . . 452
4.3 Dominance Estimation from Joint Visual Attention and
SpeakingActivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
5 Concluding Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457
Using Multi-modal Sensing for Human Activity Modeling in the Real
World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463
Beverly L. Harrison, Sunny Consolvo, and Tanzeem Choudhury
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463
2 Technologies for Tracking Human Actvities . . . . . . . . . . . . . . . . . . 464
2.1 Methods for Logging Physical Activity . . . . . . . . . . . . . . 464
2.2 The Mobile Sensing Platform (MSP) and UbiFit
GardenApplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
xiv Contents
2.3 User Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468
3 Usability, Adaptability, and Credibility . . . . . . . . . . . . . . . . . . . . . . 469
3.1 Usability of Mobile Inference Technology . . . . . . . . . . . . 469
3.2 Adaptability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
3.3 Credibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
Recognizing Facial Expressions Automatically from Video . . . . . . . . . . . . 479
Caifeng Shan and Ralph Braspenning
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
2 ProblemSpace and State of the Art . . . . . . . . . . . . . . . . . . . . . . . . . 480
2.1 Level of Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
2.2 Static Versus Dynamic Expression . . . . . . . . . . . . . . . . . . 482
2.3 Facial Feature Extraction and Representation . . . . . . . . . 483
2.4 Expression Subspace Learning . . . . . . . . . . . . . . . . . . . . . 487
2.5 Facial Expression Classification . . . . . . . . . . . . . . . . . . . . 487
2.6 Spontaneous Versus Posed Expression . . . . . . . . . . . . . . . 489
2.7 Expression Intensity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
2.8 Controlled Versus Uncontrolled Data Acquisition . . . . . . 490
2.9 Correlationwith Bodily Expression . . . . . . . . . . . . . . . . . 492
2.10 Databases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
3 Facial Expression Recognition with Discriminative Local Features 495
3.1 Local Binary Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
3.2 LearningDiscriminative LBP-HistogramBins . . . . . . . . 496
3.3 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497
4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
Sharing Content and Experiences in Smart Environments . . . . . . . . . . . . 509
Johan Plomp, Juhani Heinilä, Veikko Ikonen, Eija Kaasinen and Pasi
Välkkynen
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 509
2 What is Experience,Can You Share It? . . . . . . . . . . . . . . . . . . . . . . 510
2.1 Defining Experience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510
2.2 ExperienceDesignModeling . . . . . . . . . . . . . . . . . . . . . . . 510
2.3 On Sharing Experiences . . . . . . . . . . . . . . . . . . . . . . . . . . . 512
3 The Changing Role of the User in Content Provision (Prosumers) 513
4 Smart Environments and Experience Sharing Features . . . . . . . . . 514
4.1 From Ubiquitous Computing to Digital Ecologies . . . . . 514
4.2 Features for Sharing Content and Experiences. . . . . . . . . 515
5 Examples of Research in Sharing Content and Experiences . . . . . 518
5.1 Video ContentManagement in Candela . . . . . . . . . . . . . . 518
5.2 Context Aware Delivery and Interaction in Nomadic
Media . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
5.3 Kontti - Context Aware Services for Mobile Users . . . . . 521
Contents xv
5.4 m:Ciudad - AMetropolis of Ubiquitous Services . . . . . . 524
5.5 SharingwithMy Peer - ExpeShare . . . . . . . . . . . . . . . . . . 524
5.6 Ubimedia Based onMemory Tags . . . . . . . . . . . . . . . . . . 526
6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 529
7 Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 529
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 529
User Interfaces and HCI for Ambient Intelligence and Smart
Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533
Andreas Butz
1 Input/OutputDevices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533
1.1 Displays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533
1.2 Interactive Display Surfaces . . . . . . . . . . . . . . . . . . . . . . . . 535
1.3 Tangible/Physical Interfaces . . . . . . . . . . . . . . . . . . . . . . . . 537
1.4 Adapting Traditional Input Devices . . . . . . . . . . . . . . . . . 538
1.5 Multi-Device User Interfaces . . . . . . . . . . . . . . . . . . . . . . . 540
2 Humans Interacting with the Smart Environment . . . . . . . . . . . . . . 540
2.1 Metaphors and Conceptual Models . . . . . . . . . . . . . . . . . . 540
2.2 Physicality as a Particularly Strong Conceptual Model . . 541
2.3 Another Example: the Peephole Metaphor . . . . . . . . . . . . 543
2.4 Human-centricUIs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
3 Designing User Interfaces for Ambient Intelligence and Smart
Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
3.1 The User-centered Process . . . . . . . . . . . . . . . . . . . . . . . . . 545
3.2 Novel Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545
4 Evaluating User Interfaces for Ambient Intelligence and Smart
Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546
4.1 Adaptation of Existing Evaluation Techniques . . . . . . . . 546
4.2 Novel Evaluation Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . 546
5 Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
5.1 Applications in the ParcTab project . . . . . . . . . . . . . . . . . . 547
5.2 The MIT Intelligent Room . . . . . . . . . . . . . . . . . . . . . . . . . 548
5.3 Implicit interaction: theMediaCup . . . . . . . . . . . . . . . . . . 549
5.4 Tangible Interaction: TheMediaBlocks . . . . . . . . . . . . . . 550
5.5 Multi Device interaction: Sony CSL Interactive
Workspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
5.6 Hybrid Interfaces: The PhotoHelix . . . . . . . . . . . . . . . . . . 552
5.7 Summary and Perspective . . . . . . . . . . . . . . . . . . . . . . . . . 553
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
Multimodal Dialogue for Ambient Intelligence and Smart Environments 557
Ramón López-Cózar and Zoraida Callejas
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
2 Context Awareness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558
2.1 Context Detection and Processing . . . . . . . . . . . . . . . . . . . 559
2.2 User Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
xvi Contents
3 Handling of Input Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 562
3.1 Abstracting the Environment . . . . . . . . . . . . . . . . . . . . . . . 562
3.2 Processing Multimodal Input . . . . . . . . . . . . . . . . . . . . . . . 563
4 Dialogue Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564
4.1 Interaction Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566
4.2 Confirmation strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 567
5 Response Generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 567
6 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
6.1 Contextual Evaluation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
6.2 Evaluation from the Perspective of Human-computer
Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570
7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 572
Part V Artificial Intelligence and Robotics
Smart Monitoring for Physical Infrastructures . . . . . . . . . . . . . . . . . . . . . . 581
Florian Fuchs, Michael Berger, and Claudia Linnhoff-Popien
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 581
2 InfrastructureMonitoring in the Context of Ambient Intelligence 582
2.1 State-of-the-Art in InfrastructureMonitoring. . . . . . . . . . 584
2.2 Context-Awareness in Ambient Intelligence . . . . . . . . . . 584
2.3 Knowledge Representation and Reasoning in the
SemanticWeb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586
3 Pattern-based Modeling of Context Information and
Infrastructure Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586
3.1 Key Terms and Concepts of Condition Monitoring . . . . . 587
3.2 Ontology Design Pattern for Infrastructure Conditions . . 588
4 SmartMonitoringArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591
5 Reasoning overDistributed Context Information . . . . . . . . . . . . . . 594
5.1 Answering ConjunctiveQueries . . . . . . . . . . . . . . . . . . . . 595
5.2 Implementation as a Framework . . . . . . . . . . . . . . . . . . . . 599
6 European RailwayMonitoring as a Case Study. . . . . . . . . . . . . . . . 600
7 Discussion and Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603
Spatio-Temporal Reasoning and Context Awareness . . . . . . . . . . . . . . . . . 605
Hans W. Guesgen and Stephen Marsland
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605
2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606
3 Sensory Input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609
4 Spatio-TemporalReasoning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609
5 SymbolicApproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614
6 Machine LearningApproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
6.1 Frequent Pattern DataMining . . . . . . . . . . . . . . . . . . . . . . 617
6.2 GraphicalModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 620
Contents xvii
6.3 NoveltyDetection andHabituation . . . . . . . . . . . . . . . . . . 622
6.4 Other Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
7 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627
From Autonomous Robots to Artificial Ecosystems . . . . . . . . . . . . . . . . . . 631
Fulvio Mastrogiovanni, Antonio Sgorbissa, and Renato Zaccaria
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631
2 State-of-the-art: Integrated Frameworks for Robots in Smart
Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633
2.1 Ambience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633
2.2 PEIS Ecology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
2.3 Ubibot: Sobots, Embots and Mobots . . . . . . . . . . . . . . . . . 635
2.4 The Artificial Ecosystem . . . . . . . . . . . . . . . . . . . . . . . . . . 636
3 Application Scenario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
3.1 Cooperation and Competition for Transportation and
Surveillance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 640
3.2 Ambience,Ubibot and PEIS Ecology atWork. . . . . . . . . 642
4 Case Study: the Artificial Ecosystem Approach . . . . . . . . . . . . . . . 645
4.1 Basic Principles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645
4.2 Cooperation and Competition in the Reference Scenario 651
4.3 Distributed knowledge representation and reasoning . . . 657
5 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663
Behavior Modeling for Detection, Identification, Prediction, and
Reaction (DIPR) in AI Systems Solutions. . . . . . . . . . . . . . . . . . . . . . . . . . . 665
Rachel E. Goshorn, Deborah E. Goshorn, Joshua L. Goshorn, and Lawrence
A. Goshorn
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665
2 AI and BehaviorModeling for DIPR Subsystems. . . . . . . . . . . . . . 668
2.1 DIPR Detection Subsystem . . . . . . . . . . . . . . . . . . . . . . 668
2.2 DIPR Identification Subsystem . . . . . . . . . . . . . . . . . . . 670
2.3 DIPR Predict Subsystem. . . . . . . . . . . . . . . . . . . . . . . . . 672
2.4 DIPR Reaction Subsystem . . . . . . . . . . . . . . . . . . . . . . . 676
3 Infrastructure forAI Systems Solutions . . . . . . . . . . . . . . . . . . . . . . 676
3.1 Physical Infrastructure forAI Systems Solutions . . . . . . 677
3.2 OverlayArchitecture forAI Systems Solutions . . . . . . . . 678
4 ApplicationModels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 680
4.1 ApplicationModel (A): AI DecisionMaking . . . . . . . . . 681
4.2 Application Model (B): Abnormal Behavior Detection . 682
4.3 Application Model (C): Enabling Smart Environments 686
4.4 Application Model (D): Environment or Ambient
Intelligence (Learning) . . . . . . . . . . . . . . . . . . . . . . . . . . . 689
4.5 Application Model (E): Turbocharging Detection
Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 690
xviii Contents
5 AdvancedDIPR Systems Engineering . . . . . . . . . . . . . . . . . . . . . . . 692
5.1 Advanced Fusion Methods Using the DIPR System . . . . 692
5.2 Adaptive Learning in the DIPR System . . . . . . . . . . . . . . 692
6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695
Part VI Multi-Agents
Multi-Agent Social Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699
Itsuki Noda, Peter Stone, Tomohisa Yamashita and Koichi Kurumatani
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699
2 Issues on Multiagent Social Simulation . . . . . . . . . . . . . . . . . . . . . . 700
3 Autonomous Vehicles at Intersections . . . . . . . . . . . . . . . . . . . . . . . 701
3.1 The IntersectionManagement Protocol . . . . . . . . . . . . . . 703
3.2 Main Result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706
3.3 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708
3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710
4 Evaluation of Dial-a-Ride Systemby Simulation . . . . . . . . . . . . . . 711
4.1 ProblemDomain and Formalization . . . . . . . . . . . . . . . . . 711
4.2 Simulation Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 712
4.3 Results and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713
4.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 715
5 UserModel Constructed Based on SensorNetwork . . . . . . . . . . . . 715
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 715
5.2 Integrated Exhibition Support System . . . . . . . . . . . . . . . 716
5.3 Proofing Experiments in Expo 2005 Aichi . . . . . . . . . . . . 720
5.4 Tour TrendAnalysis and Its Application . . . . . . . . . . . . . 721
5.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724
6 Concluding Remark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724
Multi-Agent Strategic Modeling in a Specific Environment . . . . . . . . . . . . 727
Matjaz Gams and Andraz Bezek
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727
2 Overviewof the Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 728
3 The Multi-Agent Strategy Discovering Algorithm . . . . . . . . . . . . . 731
3.1 Domain-DependentKnowledge . . . . . . . . . . . . . . . . . . . . 732
3.2 Graphical Representation . . . . . . . . . . . . . . . . . . . . . . . . . . 733
3.3 Symbolic Representation . . . . . . . . . . . . . . . . . . . . . . . . . . 736
4 HumanAnalysis of Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 738
5 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740
5.1 RoboCup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740
5.2 3vs2 Keepaway . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
6 Advantages of StrategicModeling . . . . . . . . . . . . . . . . . . . . . . . . . . 744
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 745
Contents xix
Learning Activity Models for Multiple Agents in a Smart Space . . . . . . . 747
Aaron Crandall and Diane J. Cook
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 747
2 Testbeds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 749
3 Data Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 751
4 Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753
5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754
5.1 Time Delta Enhanced Classification . . . . . . . . . . . . . . . . . 757
5.2 MarkovModel Classification Accuracy . . . . . . . . . . . . . . 760
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 762
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763
Mobile Agents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767
Ichiro Satoh
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767
1.1 Mobility and Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . 769
2 Mobile Agent Platform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 770
2.1 Remote Procedure Call . . . . . . . . . . . . . . . . . . . . . . . . . . . . 771
2.2 Mobile Agent Languages . . . . . . . . . . . . . . . . . . . . . . . . . . 773
2.3 Agent ExecutionManagement . . . . . . . . . . . . . . . . . . . . . . 774
2.4 Inter-agent Communication . . . . . . . . . . . . . . . . . . . . . . . . 775
2.5 LocatingMobile Agents . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
2.6 Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
2.7 Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 777
3 Mobile AgentApplications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 777
3.1 Remote Information Retrieval . . . . . . . . . . . . . . . . . . . . . . 777
3.2 NetworkManagement. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778
3.3 Cloud Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 779
3.4 Mobile Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 779
3.5 Software Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 779
3.6 Active Networking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780
3.7 Active Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
4 Ambient Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 781
4.1 Mobile Agent-based Middleware for Ambient
Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 782
4.2 Context-awareMobile Agent . . . . . . . . . . . . . . . . . . . . . . . 782
4.3 Personal-Assistant Agents . . . . . . . . . . . . . . . . . . . . . . . . . 783
5 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785
Part VII Applications
Ambient Human-to-Human Communication . . . . . . . . . . . . . . . . . . . . . . . 789
Aki Härmä
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 789
2 The Long Call . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 790
3 Spatial Attributes Of Presence. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 792
xx Contents
4 Ambient Speech Technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 795
4.1 Ambient Telephone Architecture . . . . . . . . . . . . . . . . . . . . 796
4.2 Speech Capture And Enhancement . . . . . . . . . . . . . . . . . . 797
4.3 Speech Transmission . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802
4.4 Spatial Speech Reproduction . . . . . . . . . . . . . . . . . . . . . . . 802
5 TrackingAnd Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807
6 Calibration And Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807
7 Ambient Visual Communication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 809
8 Future Research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810
9 Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
Smart Environments for Occupancy Sensing and Services . . . . . . . . . . . . 819
Susanna Pirttikangas, Yoshito Tobe, and Niwat Thepvilojanapong
1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
2 Detecting Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
2.1 Infrared . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 820
2.2 Ultrasonic Sound . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 820
2.3 FMRadio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823
2.4 WiFi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 823
2.5 Ultra-Wideband . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824
2.6 Vision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824
2.7 Pressure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825
3 Estimation Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826
3.1 Location Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826
3.2 WiFi Locationing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 827
3.3 GSMcells andGPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 827
3.4 Bayes Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829
3.5 Particle Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829
4 FromMeasurements toMeaning and Services . . . . . . . . . . . . . . . . 830
4.1 Location-Aware Reminders . . . . . . . . . . . . . . . . . . . . . . . . 830
4.2 A Scenario on Routine Learning . . . . . . . . . . . . . . . . . . . . 830
5 Platforms of smart environments . . . . . . . . . . . . . . . . . . . . . . . . . . . 834
5.1 EasyLiving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 834
5.2 Aware Home . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835
5.3 PlaceLab House_n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 836
5.4 Robotic Room . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837
6 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 839
Smart Offices and Intelligent Decision Rooms . . . . . . . . . . . . . . . . . . . . . . . 845
Carlos Ramos, Goreti Marreiros, Ricardo Santos, Carlos Filipe Freitas
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 845
2 Smart Offices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 846
2.1 Active Badge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 849
2.2 Monica SmartOffice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 849
Contents xxi
2.3 Stanfords InteractiveWorksapaces . . . . . . . . . . . . . . . . . . 850
2.4 Intelligent Environment Laboratory of IGD Rostock . . . 850
2.5 Sens-R-Us . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 851
2.6 Smart Doorplate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 851
2.7 Ambient Agoras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 851
3 Intelligent Meeting Rooms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 852
3.1 The IDIAP SmartMeeting Room . . . . . . . . . . . . . . . . . . . 853
3.2 SMaRT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853
3.3 M4 and AMI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 853
3.4 NIST Smart Space Project . . . . . . . . . . . . . . . . . . . . . . . . . 854
3.5 MIT Intelligent Room Project . . . . . . . . . . . . . . . . . . . . . . 855
4 LAID - Laboratory of Ambient Intelligence for Decision Support 855
4.1 UbiquitousGroupDecisionMaking . . . . . . . . . . . . . . . . . 857
4.2 Ubiquitous SystemArchitecture . . . . . . . . . . . . . . . . . . . . 858
4.3 ABS4GD andWebMeeting Plus . . . . . . . . . . . . . . . . . . . . 860
4.4 Idea Generation Techniques . . . . . . . . . . . . . . . . . . . . . . . . 865
4.5 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 865
5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869
6 Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 870
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 870
Smart Classroom: Bringing Pervasive Computing into Distance
Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 875
Yuanchun Shi, Weijun Qin, Yue Suo, Xin Xiao
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 875
2 Smart Classroom: Sensor-Rich Smart Environment . . . . . . . . . . . . 877
2.1 The Layout of Smart Classroom . . . . . . . . . . . . . . . . . . . . 877
2.2 A Typical User Experience Scenario in Smart Classroom 878
3 Key Multimodal Interface and Context-Awareness Technologies . 879
3.1 Location Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 880
3.2 Direct Manipulation based on Laser Pointer Tracking . . 883
3.3 Speaker Tracking based on Microphone Array and
Location Sensing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 887
3.4 Context-awareness in Smart Classroom . . . . . . . . . . . . . . 890
4 Large-Scale Real-Time Collaborative Distance Learning
Supporting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 896
4.1 Totally Ordered ReliableMulticast . . . . . . . . . . . . . . . . . . 896
4.2 Adaptive Multimedia Transport Model . . . . . . . . . . . . . . . 897
4.3 SameView: Real-Time Interactive Distance Learning
Application in Smart Classroom . . . . . . . . . . . . . . . . . . . . 898
5 Smart Platform: Multiagent-Based Infrastructure . . . . . . . . . . . . . . 900
5.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 901
5.2 The Features and Design Objectives . . . . . . . . . . . . . . . . . 902
6 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903
xxii Contents
Ambient Intelligence in the City . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 905
Marc Böhlen and Hans Frei
1 OverviewandMotivation and Limitations . . . . . . . . . . . . . . . . . . . . 905
2 Ambient intelligence and Urbanism a Reality Check . . . . . . . . . 906
3 Ambient Intelligence and Philosophies of Technology . . . . . . . . . . 908
4 Out of Balance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909
4.1 Hydras New Heads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910
4.2 Information Cities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911
5 Ambient Agoras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912
5.1 Combat Zones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914
6 Amateur Ambient Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 915
6.1 Slow Space Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 916
6.2 Unusual Encounters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 917
6.3 Mobile Devices Everywhere . . . . . . . . . . . . . . . . . . . . . . . 917
7 Ambient Intelligence for The People . . . . . . . . . . . . . . . . . . . . . . . . 918
7.1 Knowledge fromManyMinds . . . . . . . . . . . . . . . . . . . . . . 919
8 Remaking Public Space, with and in Spite of Ambient Intelligence 919
8.1 Paths of Surveillance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 920
8.2 Staging City Life . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
8.3 Paths of Production . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921
8.4 Personal Pollution Control . . . . . . . . . . . . . . . . . . . . . . . . . 922
8.5 Full Body Ambient Intelligence . . . . . . . . . . . . . . . . . . . . 922
9 AmI in the City, Revitalized . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925
10 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 926
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 927
The Advancement ofWorld Digital Cities . . . . . . . . . . . . . . . . . . . . . . . . . . 933
Mika Yasuoka, Toru Ishida and Alessandro Aurigi
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 933
2 American CommunityNetworks . . . . . . . . . . . . . . . . . . . . . . . . . . . 935
3 European Digital Cities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 937
4 Asian City Informatization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 939
5 Advances in Information and Communication Technologies . . . . . 941
6 Technologies in Digital City Kyoto . . . . . . . . . . . . . . . . . . . . . . . . . 942
6.1 The Information Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 943
6.2 The Interface Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 945
6.3 The Interaction Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 948
6.4 Lessons Learned . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 949
7 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 950
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 951
Contents xxiii
Part VIII Societal Implications and Impact
Human Factors Consideration for the Design of Collaborative Machine
Assistants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 955
Sung Park, Arthur D. Fisk, andWendy A. Rogers
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 955
2 CollaborativeMachineAssistants (CMAs) . . . . . . . . . . . . . . . . . . . 956
3 User Acceptance of CMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 957
3.1 What is Acceptance? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 957
3.2 User Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 958
3.3 Technology Characteristics . . . . . . . . . . . . . . . . . . . . . . . . 961
3.4 Relational Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . 963
4 Design Guidelines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 969
5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 971
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 972
Privacy Sensitive Surveillance for Assisted Living A Smart Camera
Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
Sven Fleck and Wolfgang Straßer
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979
2 Classification of AAL & Video Surveillance Systems . . . . . . . . . . 981
3 RelatedWork. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 982
3.1 Related Work Surveillance . . . . . . . . . . . . . . . . . . . . . . . 982
3.2 RelatedWork Smart Cameras . . . . . . . . . . . . . . . . . . . . . 984
4 Identified Problems of Current Approaches and Resulting Impact 985
4.1 Privacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 985
5 The Proposed SmartSurv Approach for AAL . . . . . . . . . . . . . . . . . 987
5.1 The Smart Camera Paradigm . . . . . . . . . . . . . . . . . . . . . . . 987
5.2 SmartSurv 3D Surveillance Architecture . . . . . . . . . . . . . 987
5.3 Privacy Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 988
5.4 Smart Camera Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . 989
5.5 SafeSenior - The Installation at An Assisted Living
Home . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 989
6 Smart Camera Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 991
6.1 Background Modeling and AutoInit . . . . . . . . . . . . . . . . . 991
6.2 Tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 992
6.3 2D→3D ConversionUnit . . . . . . . . . . . . . . . . . . . . . . . . . 993
6.4 Handover . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993
6.5 Activity Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993
6.6 The Classification & Activity Recognition Flow . . . . . . . 995
7 Visualization Fully Decoupled from Sensor Layer . . . . . . . . . . . . . 997
7.1 3D Visualization Node - XGRT . . . . . . . . . . . . . . . . . . . . . 997
7.2 Google Earth as Visualization Node . . . . . . . . . . . . . . . . . 998
7.3 Web Application forVisualization . . . . . . . . . . . . . . . . . . 1000
7.4 Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1001
xxiv Contents
8 Conclusion and Impact . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1003
8.1 Future Directions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1004
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1005
Data Mining for User Modeling and Personalization in Ubiquitous
Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1009
Alejandro Jaimes
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1009
2 UserModeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1010
3 Data Mining & Knowledge Discovery (KDD) . . . . . . . . . . . . . . . . 1013
4 Context&Mobile UserModeling . . . . . . . . . . . . . . . . . . . . . . . . . . 1015
5 DataMining in UserModeling & Applications . . . . . . . . . . . . . . . 1020
6 Human Factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1021
7 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1024
8 Conclusions&FutureDirections . . . . . . . . . . . . . . . . . . . . . . . . . . . 1025
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1027
Experience Research: a Methodology for Developing Human-centered
Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1033
Boris de Ruyter and Emile Aarts
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1033
1.1 FromEntertaining to Caring . . . . . . . . . . . . . . . . . . . . . . . 1034
1.2 From System Intelligence to Social Intelligence . . . . . . . 1035
2 ExperienceResearch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1037
2.1 Context Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1038
2.2 Lab Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1040
2.3 Field Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1041
3 ExperienceLab Infrastructure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1042
3.1 HomeLab: the Home Environment . . . . . . . . . . . . . . . . . . 1042
3.2 ShopLab: the Retail Environment . . . . . . . . . . . . . . . . . . . 1043
3.3 CareLab: the Assisted Living Environment . . . . . . . . . . . 1044
4 The ExperienceLab as an Assessment Instrument. . . . . . . . . . . . . . 1045
4.1 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1046
4.2 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1046
4.3 Materials. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1047
4.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1048
4.5 Discussions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1052
5 Case Study of the ExperienceResearch Approach . . . . . . . . . . . . . 1053
5.1 Context-Mapping Study . . . . . . . . . . . . . . . . . . . . . . . . . . . 1053
5.2 Laboratory Study. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1055
5.3 Field Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1057
6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1058
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1058
Contents xxv
Part IX Projects
Computers in the Human Interaction Loop . . . . . . . . . . . . . . . . . . . . . . . . . 1065
A.Waibel, R. Stiefelhagen, R. Carlson, J. Casas, J. Kleindienst, L. Lamel, O.
Lanz, D. Mostefa, M. Omologo, F. Pianesi, L. Polymenakos, G. Potamianos,
J. Soldatos, G. Sutschet, J. Terken
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1065
2 Audio-Visual Perceptual Technologies . . . . . . . . . . . . . . . . . . . . . . . 1067
2.1 Speech Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1068
2.2 Person Tracking. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1070
2.3 Person Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1073
2.4 Interaction Cues: Gestures, Body Pose, Head Pose,
Attention . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1074
2.5 Activity Analysis, SituationModeling . . . . . . . . . . . . . . . 1076
2.6 Audio-Visual Output Technologies . . . . . . . . . . . . . . . . . . 1078
2.7 Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1078
2.8 Natural Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1079
3 Technology Evaluations and Data Collection . . . . . . . . . . . . . . . . . 1080
3.1 Data Collection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1081
3.2 Corpus Annotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1084
4 Software Infrastructure. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1085
4.1 SitCom - The Situation Composer. . . . . . . . . . . . . . . . . . . 1087
4.2 Agent Infrastructure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1088
5 CHIL Services. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1090
5.1 TheMemory Jog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1091
5.2 The CollaborativeWorkspace . . . . . . . . . . . . . . . . . . . . . . 1093
5.3 Managing the Social Interaction: The Relational
Cockpit and the Relational Report . . . . . . . . . . . . . . . . . . . 1096
5.4 The Connector: A Virtual Secretary in Smart Offices . . . 1100
6 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1101
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1102
Eye-based Direct Interaction for Environmental Control in
Heterogeneous Smart Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1111
Fulvio Corno, Alastair Gale, Päivi Majaranta, and Kari-Jouko Räihä
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1111
2 The COGAIN network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1113
3 Domotic Technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1114
3.1 Overview of Domotic Technologies . . . . . . . . . . . . . . . . . 1115
3.2 Architecture for Intelligent Domotic Environment . . . . . 1119
3.3 The DOG DomoticOSGi Gateway . . . . . . . . . . . . . . . . . . 1122
4 Eye-based EnvironmentalControl . . . . . . . . . . . . . . . . . . . . . . . . . . 1125
4.1 Overviewof Eye Based EnvironmentalControl . . . . . . . 1125
4.2 The ART system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1127
4.3 Eye Based Environmental Control and Communication
Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1129
xxvi Contents
5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1130
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1130
Middleware Architecture for Ambient Intelligence in the Networked
Home . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1133
Nikolaos Georgantas, Valerie Issarny, Sonia Ben Mokhtar, Yerom-David
Bromberg, Sebastien Bianco, Graham Thomson, Pierre-Guillaume Raverdy,
Aitor Urbieta and Roberto Speicys Cardoso
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1133
2 Achieving Interoperability in AmI Environments . . . . . . . . . . . . . . 1135
2.1 The Amigo Service Architecture for Interoperability . . . 1136
2.2 Service Discovery Interoperability . . . . . . . . . . . . . . . . . . 1137
2.3 Service Communication Interoperability . . . . . . . . . . . . . 1139
3 AmIi Interoperable ServiceDiscovery . . . . . . . . . . . . . . . . . . . . . . . 1141
3.1 ASDM: A Model for Semantic and Syntactic Service
Specification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1142
3.2 ASDL: A Language for Semantic and Syntactic Service
Specification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1144
3.3 InteroperableMatching of Service Capabilities . . . . . . . . 1147
3.4 RankingHeterogeneousMatching Results . . . . . . . . . . . . 1149
4 AmIi Interoperable Service Communication . . . . . . . . . . . . . . . . . . 1150
4.1 Interoperable Service Discovery and Communication . . 1150
4.2 RPC Communication Stack . . . . . . . . . . . . . . . . . . . . . . . . 1153
4.3 Event-based Interoperability . . . . . . . . . . . . . . . . . . . . . . . 1155
4.4 AmIi-COMInstances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1157
5 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1158
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1160
The PERSONA Service Platform for AAL Spaces . . . . . . . . . . . . . . . . . . . 1165
Mohammad-Reza Tazari and Francesco Furfari and Juan-Pablo Lázaro
Ramos and Erina Ferro
1 An Introduction to the PERSONA Project . . . . . . . . . . . . . . . . . . . . 1165
2 Requirements on a Service Platform for AAL Spaces . . . . . . . . . . 1167
2.1 User Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1167
2.2 Technical Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . 1169
3 Evaluation of Existing Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1170
4 The PERSONA ArchitecturalDesign. . . . . . . . . . . . . . . . . . . . . . . . 1173
4.1 The Abstract Physical Architecture . . . . . . . . . . . . . . . . . . 1173
4.2 The Interoperability Framework . . . . . . . . . . . . . . . . . . . . 1174
4.3 The PERSONA PlatformServices . . . . . . . . . . . . . . . . . . 1177
4.4 TheMiddleware. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1181
4.5 The OntologicalModeling . . . . . . . . . . . . . . . . . . . . . . . . . 1184
5 Sensing the environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1185
5.1 Wireless Sensor Networks . . . . . . . . . . . . . . . . . . . . . . . . . 1186
5.2 ZigBee Networks Integration . . . . . . . . . . . . . . . . . . . . . . . 1188
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1191
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1191
Contents xxvii
ALADIN - a Magic Lamp for the Elderly? . . . . . . . . . . . . . . . . . . . . . . . . . 1195
Edith Maier and Guido Kempter
1 ALADIN -Magic Lighting for the Elderly? . . . . . . . . . . . . . . . . . . 1195
1.1 The Impact of Lighting on Peoples Health and
Wellbeing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1196
1.2 Wellbeing - a Multifaceted Concept . . . . . . . . . . . . . . . . . 1197
2 ALADINs Journey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1198
2.1 Theoretical and Methodological Underpinnings . . . . . . . 1198
2.2 AnalyzingUser Requirements . . . . . . . . . . . . . . . . . . . . . . 1199
2.3 Tests in a Laboratory Setting . . . . . . . . . . . . . . . . . . . . . . . 1200
2.4 User Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1202
3 TheModernVersion of the Enchanted Lamp . . . . . . . . . . . . . . . . . 1204
3.1 Technical Architecture - Overview . . . . . . . . . . . . . . . . . . 1205
3.2 Hardware Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1206
3.3 Software Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1209
4 Discussion of Field Test Results and Outlook . . . . . . . . . . . . . . . . . 1216
4.1 Findings fromField Trials . . . . . . . . . . . . . . . . . . . . . . . . . 1216
4.2 OutlookOn ALADINs Future . . . . . . . . . . . . . . . . . . . . . 1217
4.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1219
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1220
Japanese Ubiquotous Network Project: Ubila . . . . . . . . . . . . . . . . . . . . . . . 1223
Masayoshi Ohashi
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1223
2 Ubilas Vision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1225
3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1225
4 Various Ambient Service Designs and Prototypes . . . . . . . . . . . . . 1226
4.1 Basic Component Technology . . . . . . . . . . . . . . . . . . . . . . 1226
4.2 Pilot Applications and Services . . . . . . . . . . . . . . . . . . . . . 1227
4.3 Collection and Dissemination of User Profiles. . . . . . . . . 1230
5 Field Trials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1234
5.1 Live CommerceAkiba . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1234
5.2 TemperatureMonitoringwith Airy Notes . . . . . . . . . . . . 1235
5.3 Lifelog Trial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1235
6 Creation of Videos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1237
6.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1237
6.2 First Video: Small Stories in 2008 . . . . . . . . . . . . . . . . . . . 1237
6.3 SecondVideo: Aura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1238
7 Building and Operating Smart Spaces . . . . . . . . . . . . . . . . . . . . . . . 1239
7.1 Akihabara Smart Space. . . . . . . . . . . . . . . . . . . . . . . . . . . . 1239
7.2 Yurakucho Smart Space (uPlatea) . . . . . . . . . . . . . . . . . . . 1239
7.3 Kitakyushu Smart Space. . . . . . . . . . . . . . . . . . . . . . . . . . . 1240
8 Network or ProtocolOriented R&D . . . . . . . . . . . . . . . . . . . . . . . . . 1240
8.1 Protocol Enhancement: OSNAP and CASTANET . . . . . 1241
8.2 Adaptive Network Control Based on Network Context . 1242
8.3 Automatic Network Configuration . . . . . . . . . . . . . . . . . . 1243
xxviii Contents
9 Defining ContextAware SystemArchitecture . . . . . . . . . . . . . . . . . 1243
9.1 UbiquitousNetworkArchitecture and Context . . . . . . . . 1243
9.2 Contributions to ITU-T. . . . . . . . . . . . . . . . . . . . . . . . . . . . 1244
10 Symposiumand Contributions to Academia and Fora . . . . . . . . . . 1244
11 Related Activities and Future Trends in Japan . . . . . . . . . . . . . . . . . 1246
11.1 National R&D Projects in Parallel to Ubila . . . . . . . . . . . 1246
11.2 Other Ubiquitous Computing Related R&D Projects in
Japan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1246
11.3 Next Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1247
12 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1247
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1248
Ubiquitous Korea Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1251
Minkoo Kim, We Duke Cho, Jaeho Lee, Rae Woong Park, Hamid Mukhtar,
and Ki-Hyung Kim
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1251
2 Ubiquitous Computing Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1252
2.1 Project Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1252
2.2 Vision: Ubiquitous Smart Space(USS) . . . . . . . . . . . . . . . 1252
2.3 Reference System Architecture and Deployment of USS 1252
2.4 R&D Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1252
2.5 Actual Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1253
2.6 Sub-projects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1254
2.7 Test Bed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1256
3 Intelligent Service Robots in Ubiquitous Environment . . . . . . . . . 1256
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1256
3.2 Task andKnowledgeManagement Framework . . . . . . . . 1257
3.3 TaskManager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1259
3.4 KnowledgeManager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1259
3.5 Service Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1261
3.6 Results and Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 1262
4 U-Health Projects in Korea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1263
4.1 Concepts of u-Health . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1263
4.2 Why u-Health?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1264
4.3 U-Health Projects in Korea . . . . . . . . . . . . . . . . . . . . . . . . 1266
4.4 Todays Reality to Overcome . . . . . . . . . . . . . . . . . . . . . . . 1269
5 USN Technology for Nation-wide Monitoring . . . . . . . . . . . . . . . . 1269
5.1 IP-USN as an Integrating Technology . . . . . . . . . . . . . . . . 1270
5.2 Design Goals ofWSNManagement . . . . . . . . . . . . . . . . . 1273
5.3 LNMP Architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1274
5.4 NationwideDeployment in Korea . . . . . . . . . . . . . . . . . . . 1275
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1276