4. Case studies
The full ARAMIS method has been applied at test sites
in several European countries (Denmark, France, Netherlands,
Slovenia and Slovakia). With regard to the audit a
1-day training session was arranged to familiarise the auditors
with the approach and audit protocols for the nine
delivery systems. Audit experience within the ARAMIS
group ranged from none to some. The protocols were
too abstract for the inexperienced auditors, and therefore,
sample questions were added to the protocols that covered
the most salient issues. After the training session the
audit tool was also developed, to support the auditors and
to provide them with a means to print out customized
questionnaires.
Being primarily a research project, it was recommended
to execute the ARAMIS audit with at least two auditors and
an observer, to monitor the audit process and to make notes of
things that worked well or went wrong. It is not clear whether
all audit teams were composed as such but the feedback to
the developers of the audit was limited.
As the final results of all audits are not available at the
writing of this paper, no detailed overview can be given. The
feedback that has been provided has been incorporated in the
discussion below.
5. Discussion
Considering the growing interest in what is called nowadays
scenario based auditing the development of an audit
technique that supports this approach is necessary. The audit
technique described in this paper takes (major hazard) scenarios
and barriers solutions as its starting point and works
its way through the management systems supporting these.
The audit assessments result in a final number called the Mindex,
which can be used to adjust SIL-values of barriers in
scenarios under scrutiny.
First of all, research such as this would benefit significantly
from a multitrait–multimethod approach [13,14], in
which the relationships between convergent and divergent
measurements are compared. Such an approach would indicate
how the audit would relate to other measurements
and performance indicators. However, because of the nonexperimental
design of this study no strict rules can be followed.
Companies often have to be seduced into the research
setting and expect something – sometimes even more than
something – in return. Researchers are often eager to satisfy
just this demand and do not allow themselves the liberty of
scientific discovery.
From a scientific point of view, the issues of validity and
reliability of the audit assessments are most important. With
regard to the face validity of the audit the following can be put
forward. No serious gaps between the nine delivery systems
of the ARAMIS audit and company specific safety management
systems (SMSs) were found. Some companies did have
sub-systems that concerned themselves with, for instance,
safety at home or traffic safety, which is not covered in the
ARAMIS audit. What seems to be lacking though, is an indication
of relative importance of the delivery systems. At the
moment all systems are equally important.
How a particular SMS is broken down into meaningful
parts and how many of these are truly needed, remains a
difficult issue to tackle (content validity). For instance, most
large companies have a sub-system called auditing, which
is covered in the ‘learning and change management’ of the
ARAMIS audit. Nevertheless, the model put forward in this
paper remains open for scrutiny and falsification.
The question whether the audit protocols and diagrams
sufficiently cover the actual management processes and therefore
provide a ‘true’ assessment of the delivery systems
(construct and criterion validity) cannot be answered. Often,
auditors talked about the delivery systems as a whole, using
the (graphic) diagrams rather than exploring them step-bystep.
This is yet another difficult issue of how to arrive at
valid and reliable auditing results. Obviously, when adhering
to strict protocols the reliability will be heightened (i.e. random
error will be less). However, the measurements might
still be systematically wrong, diminishing their validity. At
the moment, inexperienced auditors do need more support to
find their way through the delivery systems and associated
protocols whereas more experienced auditors will probably
default to their familiar systems in case of confusion. Both
Results (
Thai) 3:
[Copy]Copied!
4 . กรณีศึกษา
เต็ม Aramis วิธีได้ถูกใช้ในการทดสอบเว็บไซต์
ในหลายประเทศในยุโรป ( เดนมาร์ก , ฝรั่งเศส , เนเธอร์แลนด์ ,
สโลวีเนีย และสโลวาเกีย ) ทั้งนี้ ในการตรวจสอบการฝึกอบรมถูกจัดประเภท
เพื่อทําความรวมกับวิธีการและการตรวจสอบโปรโตคอลสำหรับเก้า
จัดส่งระบบ การตรวจสอบประสบการณ์ภายในกลุ่ม Aramis
มีค่าจากผู้ใดบ้างโปรโตคอล คือ
นามธรรมมากเกินไปสำหรับผู้สอบบัญชี มือใหม่ และดังนั้น
ตัวอย่างคำถามถูกเพิ่มไปยังโปรโตคอลที่ปกคลุม
ประเด็นเด่นที่สุด หลังจากการฝึกซ้อม
เครื่องมือตรวจสอบถูกพัฒนา เพื่อสนับสนุนผู้สอบบัญชีและ
เพื่อให้พวกเขาด้วยวิธีการพิมพ์เอง
เป็นหลัก แบบสอบถามโครงการวิจัยมีข้อเสนอแนะดังนี้
การตรวจสอบ Aramis อย่างน้อยสองผู้สอบบัญชีและ
ผู้สังเกตการณ์การตรวจสอบกระบวนการตรวจสอบ และเพื่อให้บันทึกของ
สิ่งที่ดีหรือผิดพลาด มันไม่ชัดเจนว่า
ทีมตรวจสอบจำนวนดังกล่าวแต่ติชม
นักพัฒนาของการตรวจสอบ ( .
เป็นผลลัพธ์สุดท้ายของการตรวจสอบจะไม่สามารถใช้ได้ที่
เขียนกระดาษนี้ไม่มีรายละเอียดภาพรวมสามารถได้รับ
ข้อมูลที่ได้รับได้ถูกรวมอยู่ในการสนทนาด้านล่าง
.
5 การอภิปราย
พิจารณาเพิ่มความสนใจในสิ่งที่เรียกว่าทุกวันนี้
สถานการณ์ตามการพัฒนาการตรวจสอบที่สนับสนุนวิธีการนี้
เทคนิคการตรวจสอบที่จำเป็น การตรวจสอบ
เทคนิคอธิบายไว้ในกระดาษนี้ใช้หลัก ( อันตราย ) สถานการณ์
และอุปสรรค โซลูชั่น เป็นจุดเริ่มต้นและผลงาน
ทางผ่านระบบสนับสนุนเหล่านี้ .
การประเมิน ตรวจสอบผลในอันดับสุดท้ายที่เรียกว่า mindex
, ซึ่งสามารถใช้ในการปรับค่าซิลของอุปสรรคในสถานการณ์ภายใต้การตรวจสอบ
.
ครั้งแรกของทั้งหมด งานวิจัย เช่น นี้ จะเป็นประโยชน์อย่างมาก
จาก multitrait –วิธีการ 13,14 multimethod [ ] ,
ซึ่งความสัมพันธ์ระหว่างการสื่อสาร
การวัดเปรียบเทียบ วิธีการดังกล่าวจะระบุว่า การตรวจสอบจะเกี่ยวข้องกับ
วัดอื่น ๆ และตัวชี้วัดประสิทธิภาพ อย่างไรก็ตาม เนื่องจากการออกแบบ nonexperimental
การศึกษาไม่มีกฎที่เข้มงวดสามารถปฏิบัติตาม .
บริษัทมักจะต้องถูกล่อลวงเข้าไปในการวิจัย และการหวังอะไร )
บางครั้งยิ่งกว่าอะไร–ตอบแทน นักวิจัยมักจะกระตือรือร้นที่จะตอบสนองความต้องการ
เพียงแค่นี้ และไม่อนุญาตให้ตัวเอง
เสรีภาพของการค้นพบทางวิทยาศาสตร์ จากมุมมองของนักวิทยาศาสตร์ ประเด็นของความถูกต้องและความน่าเชื่อถือของการตรวจสอบการประเมิน
เป็นสำคัญที่สุด กับหน้า
เรื่องความถูกต้องของการตรวจสอบต่อไปนี้สามารถใส่
ไปข้างหน้า ไม่ร้ายแรง ช่องว่างระหว่างเก้าระบบการจัดส่ง
ของ Aramis ตรวจสอบและระบบการจัดการ
ความปลอดภัยเฉพาะบริษัท SMSs ) พบว่า บาง บริษัท ทำระบบที่เกี่ยวข้องกับตัวเองได้
เพื่อความปลอดภัย เช่น ที่บ้าน หรือเพื่อความปลอดภัยในการจราจร ซึ่งไม่ครอบคลุมใน
ตรวจสอบอารามิส สิ่งที่ดูเหมือนจะขาด แต่เป็นข้อบ่งชี้
ความสำคัญสัมพัทธ์ของการส่งมอบระบบ ในช่วงเวลาที่ทุกระบบที่สำคัญ
พอๆ กันวิธีการเฉพาะ SMS แบ่งออกเป็นส่วนมีความหมาย
และกี่เหล่านี้อย่างแท้จริงต้องการ ยังคงเป็นปัญหาที่ยากที่จะแก้ไข
( ตามเนื้อหา ) ตัวอย่างเช่น บริษัท ที่มีขนาดใหญ่ที่สุด มีการตรวจสอบระบบย่อย
เรียกว่า ซึ่งครอบคลุมในการเรียนรู้และการจัดการการเปลี่ยนแปลงของ
ตรวจสอบอารามิส แต่นางแบบใส่ไปข้างหน้าในกระดาษนี้ยังคงเปิดสำหรับการตรวจสอบ และการบิดเบือน
.
คำถามว่าตรวจสอบโปรโตคอลและแผนภาพ
เพียงพอครอบคลุมการจัดการกระบวนการจริงและดังนั้น
ให้การประเมิน ' ความจริง ' ของระบบการจัดส่ง
( สร้างและกระหมุบกระหมิบ ) ไม่สามารถตอบได้ มักจะ
ผู้สอบบัญชีพูดถึงระบบการจัดส่งโดยรวม โดยใช้
( กราฟิก ) แผนภาพมากกว่าการสำรวจพวกเขาขั้นตอน bystep .
นี่เป็นอีกหนึ่งปัญหาของวิธีการที่ยากที่จะมาถึง
ถูกต้องและเชื่อถือได้ผลการตรวจสอบ แน่นอนเมื่อยึดมั่น
โปรโตคอลเข้มงวดความน่าเชื่อถือจะเพิ่มขึ้น ( เช่นข้อผิดพลาดแบบสุ่ม
จะน้อยลง ) อย่างไรก็ตาม การวัดอาจ
ยังคงเป็นระบบไม่ถูกต้อง ให้ความถูกต้องของพวกเขา
ช่วงเวลาที่ผู้สอบบัญชีมือใหม่ต้องการการสนับสนุนเพิ่มเติม
หาทางผ่านระบบการจัดส่งที่เกี่ยวข้องกับโปรโตคอลและผู้สอบบัญชีที่มีประสบการณ์มากขึ้น
อาจจะเริ่มต้นที่คุ้นเคยของพวกเขาระบบในกรณีของความสับสน ทั้ง
Being translated, please wait..