A Scalable Distributed Information

A Scalable Distributed Information Management System
∗
Praveen Yalagandula
[e-mail]
Mike Dahlin
[e-mail]
Department of Computer Sciences
The University of Texas at Austin
Austin, TX 78712
ABSTRACT
We present a Scalable Distributed Information Management Sys-
tem (SDIMS) that
aggregates
information about large-scale net-
worked systems and that can serve as a basic building block for a
broad range of large-scale distributed applications by providing de-
tailed views of nearby information and summary views of global in-
formation. To serve as a basic building block, a SDIMS should have
four properties: scalability to many nodes and attributes, flexibility
to accommodate a broad range of applications, administrative iso-
lation for security and availability, and robustness to node and net-
work failures. We design, implement and evaluate a SDIMS that (1)
leverages Distributed Hash Tables (DHT) to create scalable aggre-
gation trees, (2) provides flexibility through a simple API that lets
applications control propagation of reads and writes, (3) provides
administrative isolation through simple extensions to current DHT
algorithms, and (4) achieves robustness to node and network recon-
figurations through lazy reaggregation, on-demand reaggregation,
and tunable spatial replication. Through extensive simulations and
micro-benchmark experiments, we observe that our system is an or-
der of magnitude more scalable than existing approaches, achieves
isolation properties at the cost of modestly increased read latency
in comparison to flat DHTs, and gracefully handles failures.
Categories and Subject Descriptors
C.2.4 [
Computer-Communication Networks
]: Distributed Sys-
tems—
Network Operating Systems, Distributed Databases
General Terms
Management, Design, Experimentation
Keywords
Information Management System, Distributed Hash Tables, Net-
worked System Monitoring
∗
This work is supported in part by the National Science Foun-
dation (CNS-0326001) and the Texas Advanced Technology Pro-
gram. Dahlin was also supported by an IBM Faculty Partnership
award.
Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page. To copy otherwise, to
republish, to post on servers or to redistribute to lists, requires prior specific
permission and/or a fee.
SIGCOMM’04,
Aug. 30–Sept. 3, 2004, Portland, Oregon, USA.
Copyright 2004 ACM 1-58113-862-8/04/0008 ...
$
5.00.
1. INTRODUCTION
The goal of this research is to design and build a Scalable Dis-
tributed Information Management System (SDIMS) that
aggregates
information about large-scale networked systems and that can serve
as a basic building block for a broad range of large-scale distributed
applications. Monitoring, querying, and reacting to changes in
the state of a distributed system are core components of applica-
tions such as system management [15, 31, 37, 42], service place-
ment [14, 43], data sharing and caching [18, 29, 32, 35, 46], sensor
monitoring and control [20, 21], multicast tree formation [8, 9, 33,
36, 38], and naming and request routing [10, 11]. We therefore
speculate that a SDIMS in a networked system would provide a
“distributed operating systems backbone” and facilitate the devel-
opment and deployment of new distributed services.
For a large scale information system,
hierarchical aggregation
is a fundamental abstraction for scalability. Rather than expose all
information to all nodes, hierarchical aggregation allows a node to
access detailed views of nearby information and summary views of
global information. In a SDIMS based on hierarchical aggregation,
different nodes can therefore receive different answers to the query
“find a [nearby] node with at least 1 GB of free memory” or “find
a [nearby] copy of file foo.” A hierarchical system that aggregates
information through reduction trees [21, 38] allows nodes to access
information they care about while maintaining system scalability.
To be used as a basic building block, a SDIMS should have
four properties. First, the system should be scalable: it should
accommodate large numbers of participating nodes, and it should
allow applications to install and monitor large numbers of data at-
tributes. Enterprise and global scale systems today might have tens
of thousands to millions of nodes and these numbers will increase
over time. Similarly, we hope to support many applications, and
each application may track several attributes (e.g., the load and
free memory of a system’s machines) or millions of attributes (e.g.,
which files are stored on which machines).
Second, the system should have
flexibility
to accommodate a
broad range of applications and attributes. For example,
rea

Results (Indonesian) 1:

Sistem manajemen informasi didistribusikan Scalable∗Praveen [e-mail] [e-mail] ilmu komputerUniversity of Texas di AustinAustin, TX 78712ABSTRAKKami hadir Scalable didistribusikan informasi manajemen Sys-tem (SDIMS) yangagregatinformasi tentang skala besar bersih-sistem bekerja dan yang dapat berfungsi sebagai sebuah blok bangunan dasar untukberbagai skala besar didistribusikan aplikasi dengan menyediakan de-ekor pemandangan terdekat informasi dan pandangan ringkasan global di-pembentukan. Untuk melayani sebagai sebuah blok bangunan dasar, SDIMS harus memilikiempat sifat: skalabilitas banyak node dan atribut, fleksibilitasuntuk mengakomodasi berbagai aplikasi, administrasi iso-hal yang sanggat menarik untuk keamanan dan ketersediaan, dan ketahanan untuk node dan bersih-bekerja kegagalan. Kami merancang, melaksanakan dan mengevaluasi SDIMS bahwa (1)memanfaatkan didistribusikan Hash tabel (DHT) untuk membuat scalable aggre-pohon-pohon gation, (2) menyediakan fleksibilitas melalui API sederhana yang memungkinkanaplikasi kontrol penyebaran membaca dan menulis, (3) menyediakanAdministrasi isolasi melalui sederhana ekstensi untuk DHT arusalgoritma, dan (4) mencapai ketahanan node dan jaringan recon-figurations melalui reaggregation malas, reaggregation berdasarkan permintaan,dan replikasi spasial yang merdu. Melalui simulasi luas danpercobaan mikro-benchmark, kita mengamati bahwa sistem kami bisa atau -der besarnya lebih scalable daripada pendekatan yang ada, mencapaisifat-sifat isolasi dengan sopan peningkatan latensi Bacadibandingkan dengan datar DHTs, dan anggun menangani kegagalan.Kategori dan subjek deskriptorC.2.4 [Jaringan komputer-komunikasi]: Didistribusikan Sys -Tems —Sistem operasi jaringan, database terdistribusiPersyaratan umumManajemen, Desain, eksperimenKata kunciSistem informasi manajemen, didistribusikan tabel Hash, Net-bekerja sistem pemantauan∗Pekerjaan ini didukung sebagian oleh National Science Foun-dation (CNS-0326001) dan Texas Advanced teknologi Pro-gram. Dahlin juga didukung oleh Fakultas kemitraan dengan IBMpenghargaan.Izin untuk membuat digital atau hard copy dari semua atau bagian dari pekerjaan ini untukpenggunaan pribadi atau kelas diberikan tanpa biaya yang salinantidak membuat atau didistribusikan untuk keuntungan atau keuntungan komersial dan salinan ituberuang pemberitahuan ini dan kutipan lengkap pada halaman pertama. Untuk menyalin atau, untukdipublish ulang, posting di server atau untuk mendistribusikan ke daftar, memerlukan sebelumnya spesifikizin dan/atau biaya.SIGCOMM'04,Agustus 30-September 3, 2004, Portland, Oregon, USA.Hak Cipta 2004 ACM 1-58113-862-8/04/0008...$5,00.1. PENDAHULUANTujuan dari penelitian ini adalah untuk merancang dan membangun Scalable Dis-dalam informasi manajemen sistem (SDIMS) yangagregatinformasi tentang sistem jaringan yang berskala besar dan yang dapat melayanisebagai sebuah blok bangunan dasar untuk berbagai skala besar didistribusikanaplikasi. Pemantauan, query, dan bereaksi terhadap perubahan dalamkeadaan sistem terdistribusi adalah komponen inti dari applica-Layanan tions seperti sistem manajemen [15, 31, 37, 42], tempat-ment [14, 43], data berbagi dan caching [18, 29, 32, 35, 46], sensorpemantauan dan kontrol [20, 21], pembentukan multicast pohon [8, 9, 33,36, 38], dan penamaan dan permintaan perutean [10, 11]. Kami karena ituberspekulasi bahwa SDIMS dalam sistem jaringan akan memberikan"didistribusikan tulang punggung sistem operasi" dan memfasilitasi pem -bangunan ekonomi dan penggunaan layanan didistribusikan baru.Untuk skala besar sistem informasi,hierarki agregasiadalah abstraksi mendasar untuk skalabilitas. Alih-alih mengekspos semuainformasi untuk semua node, hirarkis agregasi memungkinkan sebuah node untukmengakses tampilan rinci informasi terdekat dan pemandangan ringkasaninformasi global. Dalam SDIMS berdasarkan hierarki agregasi,node berbeda karena itu dapat menerima jawaban yang berbeda untuk query"menemukan sebuah node [terdekat] dengan minimal 1 GB memori" atau "menemukan[terdekat] salinan file foo." Sistem hierarki yang agregatinformasi melalui pengurangan pohon [21, 38] memungkinkan node untuk mengaksesinformasi mereka peduli tentang sambil mempertahankan sistem skalabilitas.Untuk digunakan sebagai sebuah blok bangunan dasar, SDIMS harus memilikiempat sifat. Pertama, sistem harus scalable: seharusnyamenampung node berpartisipasi dalam jumlah besar, dan itu harusmemungkinkan aplikasi untuk menginstal dan memantau sejumlah besar data pada-upeti. Perusahaan dan skala global sistem hari mungkin memiliki puluhanribuan sampai jutaan node dan angka-angka ini akan meningkatkandari waktu ke waktu. Demikian pula, kami berharap untuk mendukung banyak aplikasi, dansetiap aplikasi dapat melacak beberapa atribut (misalnya, beban danmembebaskan memori sistem mesin) atau jutaan atribut (misalnya,file yang disimpan pada mesin yang).Kedua, sistem harusfleksibilitasuntuk mengakomodasiberbagai macam aplikasi dan atribut. Sebagai contoh,Rea

Results (Indonesian) 2:

Sebuah Scalable Terdistribusi Sistem Informasi Manajemen
*
Praveen Yalagandula
[e-mail]
Mike Dahlin
[e-mail]
Departemen Ilmu Komputer
The University of Texas di Austin
Austin, TX 78712
ABSTRAK
Kami menyajikan Scalable Distributed Management Information sys
tem (SDIMS) yang
mengumpulkan
informasi tentang skala besar net-
sistem bekerja dan yang dapat berfungsi sebagai sebuah blok bangunan dasar untuk
berbagai skala besar aplikasi terdistribusi dengan menyediakan de-
ekor views penayangan informasi dan ringkasan terdekat dari di- global yang
pembentukan . Untuk melayani sebagai sebuah blok bangunan dasar, SDIMS harus memiliki
empat sifat: skalabilitas untuk banyak node dan atribut, fleksibilitas
untuk mengakomodasi berbagai aplikasi, iso- administrasi
lation untuk keamanan dan ketersediaan, dan ketahanan untuk node dan net-
kegagalan kerja. Kami merancang, melaksanakan dan mengevaluasi SDIMS yang (1)
memanfaatkan Terdistribusi Tabel Hash (DHT) untuk membuat agregat scalable
pohon agregasi, (2) memberikan fleksibilitas melalui API sederhana yang memungkinkan
propagasi aplikasi kendali membaca dan menulis, (3) memberikan
isolasi administrasi melalui ekstensi sederhana untuk DHT saat
algoritma, dan (4) mencapai ketahanan untuk node dan rekonstruksi jaringan
figurasi melalui malas reaggregation, on-demand reaggregation,
dan replikasi spasial merdu. Melalui simulasi ekstensif dan
percobaan mikro-benchmark, kita mengamati bahwa sistem kami adalah atau-
der rentang yang lebih terukur dari pendekatan yang ada, mencapai
sifat isolasi pada biaya sederhana meningkat baca latency
dibandingkan dengan DHTs datar, dan anggun menangani kegagalan.
Categories dan Subjek Deskriptor
C.2.4 [
Computer-Jaringan Komunikasi
]: Terdistribusi sistemik
tems-
Sistem Jaringan operasi, Database Terdistribusi
Umum Persyaratan
Manajemen, Desain, Eksperimentasi
Kata kunci
Sistem Informasi Manajemen, Tabel Hash Terdistribusi, Net-
bekerja monitoring System
*
karya ini didukung sebagian oleh National Science Foun-
dation (CNS-0326001) dan Texas Advanced Technology Pro-
gram. Dahlin juga didukung oleh IBM Fakultas Kemitraan
penghargaan.
Izin untuk membuat salinan digital atau keras semua atau bagian dari pekerjaan ini untuk
penggunaan pribadi atau ruang kelas diberikan tanpa biaya asalkan salinan yang
tidak dibuat atau didistribusikan untuk keuntungan atau keuntungan komersial dan bahwa salinan
menanggung pemberitahuan ini dan kutipan penuh pada halaman pertama. Untuk menyalin sebaliknya, untuk
menerbitkan, untuk posting di server atau untuk mendistribusikan ke daftar, membutuhkan tertentu sebelum
izin dan / atau biaya.
SIGCOMM'04,
Agustus 30-September 3, 2004, Portland, Oregon, USA.
Copyright 2004 ACM 1-58113-862-8 / 04/0008 ...
$
5,00.
1. PENDAHULUAN
Tujuan dari penelitian ini adalah untuk merancang dan membangun sebuah Dis- Scalable
tributed Sistem Informasi Manajemen (SDIMS) yang
mengumpulkan
informasi tentang sistem jaringan skala besar dan yang dapat berfungsi
sebagai blok bangunan dasar untuk berbagai skala besar didistribusikan
aplikasi . Pemantauan, query, dan bereaksi terhadap perubahan
keadaan sistem terdistribusi adalah komponen inti dari applica-
tions seperti manajemen sistem [15, 31, 37, 42], layanan tempat-
ment [14, 43], berbagi data dan caching [18, 29, 32, 35, 46], sensor
monitoring dan kontrol [20, 21], pembentukan pohon multicast [8, 9, 33,
36, 38], dan penamaan dan permintaan routing yang [10, 11]. Oleh karena itu kami
berspekulasi bahwa SDIMS dalam sistem jaringan akan menyediakan
"sistem operasi terdistribusi backbone" dan memfasilitasi bangan
ngunan dan penyebaran layanan terdistribusi baru.
Untuk sistem informasi skala besar,
agregasi hirarkis
adalah abstraksi fundamental untuk skalabilitas. Daripada mengekspos semua
informasi ke semua node, agregasi hirarkis memungkinkan node untuk
mengakses tampilan rinci penayangan informasi dan ringkasan terdekat dari
informasi global. Dalam SDIMS berdasarkan agregasi hirarkis,
node yang berbeda oleh karena itu dapat menerima jawaban yang berbeda untuk query
"menemukan simpul [dekatnya] dengan setidaknya 1 GB memori bebas" atau "menemukan
sebuah [dekatnya] salinan file foo." Sebuah sistem hirarkis yang mengumpulkan
informasi melalui pohon pengurangan [21, 38] memungkinkan node untuk mengakses
informasi yang dibutuhkan dengan mempertahankan sistem skalabilitas.
untuk digunakan sebagai sebuah blok bangunan dasar, SDIMS harus memiliki
empat sifat. Pertama, sistem harus scalable: harus
mengakomodasi sejumlah besar node yang berpartisipasi, dan harus
memungkinkan aplikasi untuk menginstal dan memantau sejumlah besar data di-
upeti. Perusahaan dan sistem skala global saat ini mungkin memiliki puluhan
ribu hingga jutaan node dan angka-angka ini akan meningkat
dari waktu ke waktu. Demikian pula, kami berharap untuk mendukung banyak aplikasi, dan
setiap aplikasi dapat melacak beberapa atribut (misalnya, beban dan
memori mesin sistem ini) atau jutaan atribut (misalnya,
file mana yang disimpan di mana mesin).
Kedua, sistem harus memiliki
fleksibilitas
untuk mengakomodasi
berbagai aplikasi dan atribut. Sebagai contoh,
rea