Trade Federation เป็นกรอบการทดสอบอย่างต่อเนื่องสำหรับการทดสอบบนอุปกรณ์ Android หากต้องการเรียกใช้ชุดทดสอบความเข้ากันได้ (CTS) ขั้นแรกให้อ่าน ภาพรวมของ Trade Federation เพื่อดูคำอธิบายของกรอบการทดสอบ Tradefed
หากต้องการรันแผนการทดสอบ:
- ตั้งค่าอุปกรณ์ภายใต้การทดสอบ (DUT) ตามการ ตั้งค่าอุปกรณ์ Android
- ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้งทั้ง Android Debug Bridge (adb) และ Android Asset Packaging Tool (AAPT) เวอร์ชันล่าสุด และเพิ่มตำแหน่งของเครื่องมือเหล่านั้นในเส้นทางระบบของเครื่องของคุณ สำหรับข้อมูลเกี่ยวกับการติดตั้งเครื่องมือเหล่านั้น โปรดดู การตั้งค่า CTS: ADB และ AAPT
- ดาวน์โหลด CTS บิวด์ที่เผยแพร่ลง ในเครื่องโฮสต์ Linux ของคุณและแตกไฟล์ซิบบิลด์ไปยังตำแหน่งโฮสต์
- เชื่อมต่ออุปกรณ์อย่างน้อยหนึ่งเครื่อง เพื่อเตรียม DUT:
- กดปุ่ม โฮม เพื่อตั้งค่าอุปกรณ์ให้เป็นหน้าจอหลัก
- อย่าใช้ DUT สำหรับงานอื่นใด
- ให้ DUT อยู่ในตำแหน่งคงที่เพื่อหลีกเลี่ยงการกระตุ้นการทำงานของเซ็นเซอร์
- หันกล้องของอุปกรณ์ไปที่วัตถุที่สามารถโฟกัสได้
- อย่ากดปุ่มใดๆ บนอุปกรณ์ในขณะที่ CTS กำลังทำงาน การกดปุ่มหรือสัมผัสหน้าจอของ DUT จะรบกวนการทดสอบที่ทำงานอยู่ และอาจทำให้การทดสอบล้มเหลว
เรียกใช้สคริปต์ cts-tradefed ของ คอนโซล CTS จากโฟลเดอร์ที่แพ็กเกจ CTS ถูกคลายซิป บนเชลล์บรรทัดคำสั่งของโฮสต์ ให้รัน:
./android-cts/tools/cts-tradefed
รันแผนการทดสอบเริ่มต้น (ประกอบด้วยแพ็คเกจการทดสอบทั้งหมด):
cts-tradefed > run cts
หากคุณต้องการปรับปรุงเวลาดำเนินการทดสอบ คุณสามารถ แบ่งการทดสอบ ในอุปกรณ์หลายเครื่องได้ Sharding ต้องการให้โฮสต์เชื่อมต่ออุปกรณ์อย่างน้อยสองเครื่อง แต่แนะนำให้ใช้อุปกรณ์หกเครื่องขึ้นไปเพื่อประสิทธิภาพ เมื่อแบ่งอุปกรณ์มากกว่า 1 เครื่อง:
สำหรับ Android 9 ขึ้นไป ให้ใช้ตัวเลือกคำสั่ง
--shard-count number_of_shards
สำหรับ Android 8.1 และต่ำกว่า ให้ใช้ตัวเลือกคำสั่ง
--shards number_of_shards
หากคุณไม่ต้องการรันชุดทดสอบทั้งหมด คุณสามารถรัน แผน CTS ที่คุณเลือกได้จากบรรทัดคำสั่ง:
run cts --plan test_plan_name
หากต้องการค้นหาชื่อแผนการทดสอบ:
สำหรับ Android 7.0 และสูงกว่า หากต้องการดูรายการโมดูลทดสอบ ให้ป้อน
list modules
สำหรับ Android 6.0 และต่ำกว่า หากต้องการดูรายการแผนการทดสอบในพื้นที่เก็บข้อมูล ให้ป้อน
list plans
สำหรับ Android 6.0 และต่ำกว่า หากต้องการดูรายการแพ็กเกจทดสอบในพื้นที่เก็บข้อมูล ให้ป้อน
list packages
สำหรับตัวเลือกคำสั่งเพิ่มเติมขึ้นอยู่กับเวอร์ชัน CTS โปรดดูที่ การอ้างอิงคำสั่งคอนโซล หรือใต้ "ช่วยเหลือทั้งหมด" ในคอนโซล Tradefed
เรียกใช้เซสชันการลองใหม่หลายครั้งจนกว่าโมดูลการทดสอบทั้งหมดจะเสร็จสมบูรณ์ และจำนวนความล้มเหลวในการทดสอบจะเหมือนกันในสองเซสชันการลองใหม่ครั้งล่าสุด
สำหรับ Android 9 ขึ้นไป ให้ใช้
run retry --retry session_number --shard-count number_of_shards
สำหรับ Android 7.0–8.1 ให้ใช้
run cts --retry session_number --shards number_of_shards
สำหรับตัวเลือกคำสั่ง Retry เพิ่มเติมขึ้นอยู่กับเวอร์ชัน CTS โปรดดูที่ CTS v2 Command Console
หากต้องการทำความเข้าใจรายละเอียดการใช้งานสำหรับการลอง CTS อีกครั้ง โปรดดูที่ Trade Federation Suite Retry
เรียกใช้เซสชันการลองใหม่เฉพาะกับการทดสอบที่มีการกำหนดพารามิเตอร์ที่ล้มเหลวเท่านั้น ผ่านการทดสอบแบบกำหนดพารามิเตอร์แล้วจะไม่ลองอีกครั้ง
สำหรับ Android 11 และสูงกว่า ตัวเลือกคำสั่งลองใหม่ต่อไปนี้จะเปิดใช้งานตามค่าเริ่มต้นในคำสั่ง
run cts
:run retry --retry
--new-parameterized-handling
ดูความคืบหน้าของการทดสอบและผลลัพธ์ที่รายงานบนคอนโซล
เรียกใช้ CTS โดยใช้ Android Test Station
Android Test Station เป็นเครื่องมือทดสอบอัตโนมัติที่นักพัฒนา Android และวิศวกรทดสอบสามารถใช้เพื่อใช้อินเทอร์เฟซผู้ใช้สำหรับการเรียกใช้ชุดการทดสอบมาตรฐาน ใช้งานได้กับ ชุดทดสอบความเข้ากันได้ของ Android (CTS)
เครื่องมือนี้เผยแพร่ต่อสาธารณะผ่าน คู่มือผู้ใช้ ATS และโค้ดของเครื่องมือเป็นแบบโอเพ่นซอร์สใน AOSP ( multitest_transport
, tradefed_cluster
)
เรียกใช้ CTS สำหรับโหมดสำรอง
CTS 10 R4 release เพิ่มแผนการทดสอบสำหรับอุปกรณ์ที่มีโหมดอื่นหรือสำหรับอุปกรณ์ที่มีมากกว่าหนึ่งหน้าจอ ดำเนินการแผนการทดสอบโหมดทางเลือกโดยใช้ run cts-foldable
กรณีทดสอบที่ผ่านหรือไม่ผ่านสำหรับโหมดหน้าจอสำรองจะถูกต่อท้ายด้วยค่าจาก display_mode
เช่น testcase1[display_mode=0]
ใน CTS 13 นั้น DeviceStateManager API อนุญาตให้โมดูลทดสอบที่มีตัวเลือกการกำหนดค่าต่อไปนี้ทำงานบนสถานะอุปกรณ์ที่แตกต่างกันของอุปกรณ์แบบพับได้ การดำเนินการทดสอบจะเป็นไปโดยอัตโนมัติใน CTS โดยอิงตามสถานะการพับจอแสดงผลที่กำหนดไว้ในอุปกรณ์ โดยไม่จำเป็นต้องรันแผนการทดสอบ cts-foldable
<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />
การทดสอบหลายอุปกรณ์ใน CTS
Android 13 ขึ้นไปรองรับการทดสอบหลายอุปกรณ์ การทดสอบที่ต้องใช้อุปกรณ์หลายเครื่องจะดำเนินการโดยอัตโนมัติระหว่างการทำงานของ CTS CTS 13 มีการทดสอบหลายอุปกรณ์ซึ่งจะทริกเกอร์โดยอัตโนมัติเมื่อใช้ชาร์ดดิ้ง แม้ว่าการทดสอบไม่จำเป็นต้องเปลี่ยนแปลงการตั้งค่าทางกายภาพเพิ่มเติม แต่จำเป็นต้อง ติดตั้ง virtualenv
เพื่อให้การทดสอบทำงานได้อย่างถูกต้อง สำหรับรายละเอียด โปรดดู Multi-Devices Suites
เรียกใช้การทดสอบหลายอุปกรณ์
หากต้องการรันการทดสอบหลายอุปกรณ์อย่างอิสระ ให้ใช้โค้ดต่อไปนี้:
cts-tradefed > run cts-multidevice
รองรับตัวเลือกปกติทั้งหมด หากต้องการกำหนดเป้าหมายอุปกรณ์เฉพาะ ให้เพิ่ม --serial <serial1> --serial <serial2>
และอื่นๆ สำหรับจำนวนอุปกรณ์ที่เป็นเป้าหมาย
หากต้องการทริกเกอร์การทดสอบหลายอุปกรณ์โดยอัตโนมัติ ให้ใช้การแบ่งส่วน เช่นเดียวกับใน --shard-count 2